2
AI人工智能
vllm 0.3.3 Qwen1.5可支持部署，但是回答胡言乱语，是代码移植的问题，还是vllm部署模型的时候需要指定特殊的参数配置
2024-06-04 19:15:50
213

使用的是你们封装的vllm 0.3.3 rocm版本
部署qwen1.5 14B和qwen1.5 72b int都是可以的，四卡部署
部署命令：  CUDA_VISIBLE_DEVICES='0,1,2,3' python -m vllm.entrypoints.openai.api_server --model Qwen1.5-14B-Chat --enforce-eager --tensor-parallel-size 4 --trust-remote-code --dtype float16 --max-model-len 4096 --max-num-seqs 100 --gpu-memory-utilization 0.95 

测试脚本

attachmentId-image.png

各种乱七八糟的回答：

attachmentId-image.png

attachmentId-image.png

 

全部评论（7）
只看楼主
网
网友Wkszvc
楼主
2楼
Z100L和dtk23.10
2024/6/7
Z
zhuwenwen
回复 @网友Wkszvc
Z100L使用这个镜像试一下：docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.3.3-dtk24.04-zk-centos7.6-py310-v2 ，运行步骤参考README：https://developer.hpccube.com/codes/modelzoo/qwen1.5_vllm
2024/6/17
网
网友ijiqk2
回复 @网友Wkszvc
这个镜像，qwen1.5 72b chat core dump
2024/6/18
Z
zhuwenwen
回复 @网友Wkszvc
使用最新的镜像，参考https://developer.hpccube.com/codes/modelzoo/qwen1.5_vllm来解决
2024/6/20
Z
zhuwenwen
1楼
使用的卡和dtk是什么
2024/6/5
网
网友Wkszvc
回复 @zhuwenwen
这个有固定类型的卡和dtk 24版本的要求吗？具体应该是哪些版本
2024/6/7
Z
zhuwenwen
回复 @zhuwenwen

K100_AI使用镜像：docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.3.3-dtk24.04-centos7.6-py310-v1

Z100L&K100使用镜像：docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.3.3-dtk23.10-py38
2024/6/15
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据