1
1
框架组件
提问帖
有回复
使用vllm0.9.2调用Qwen2.5会出现乱码!但是Qwen3不会出问题 各位大佬们请问是为什么!!
2026-03-05 15:05:03
143
拉取的docker如下: export IMAGE=image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.9.2-ubuntu22.04-dtk25.04-das1.6-py3.10-20250916-rc2 docker run -itd --shm-size 200g --network=host --name development --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /opt/hyhal/:/opt/hyhal/:ro -v /htxjj:/data -e ALLREDUCE_STREAM_WITH_COMPUTE=1 -e HSA_FORCE_FINE_GRAIN_PCIE=1 -e NCCL_IB_HCA=mlx5_0:1 -e NCCL_IB_DISABLE=0 -e NCCL_MAX_NCHANNELS=16 -e NCCL_MIN_NCHANNELS=16 -e NCCL_NET_GDR_READ=1 -e NCCL_DEBUG=INFO -e NCCL_MIN_P2P_NCHANNELS=16 -e NCCL_NCHANNELS_PER_PEER=16 -e HIP_USE_GRAPH_QUEUE_POOL=1 -e VLLM_ENABLE_MOE_FUSED_GATE=0 -e VLLM_ENFORCE_EAGER_BS_THRESHOLD=44 -e VLLM_RPC_TIMEOUT=1800000 $IMAGE bash #-e NCCL_SOCKET_IFNAME #-e GLOO_SOCKET_IFNAME
全部评论(2)
只看楼主
Y
yangzhong
1楼
出现乱码可能是fa的问题,建议您使用vllm092较新日期的镜像或者vllm0.11等新版本镜像,镜像地址https://developer.sourcefind.cn/servicelist/detail?post_id=61036870-b3c7-11f0-9989-acde48001122&active=TagDownload
3/5
L
loongsir
回复 @yangzhong
好的,我用的K100暂时用不了vllm0.11,我尝试一下较新的vllm092
3/5
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据