镜像:image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu22.04-dtk24.04.2-py3.10
DCU: Z100L 1张
操作系统版本:kylin-sp2-x86
驱动版本:rock-5.7.1-6.2.18-1.ky10.x86_64
使用vllm部署qwen2-7b和qwen2-1.5b模型服务,生成内容乱码

python -m vllm.entrypoints.openai.api_server --model /home/models/Qwen2-7B-Instruct/ --enforce-eager --dtype float16 --trust-remote-code -tp 1

暂无数据
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.5.0-dtk24.04.1-ubuntu20.04-py310-zk-v1
用这个镜像呢加1