1
DeepSeek
求教:如何不使用容器部署vllm,运行大模型
2025-03-17 14:28:47
131

由于开发组安全要求,不使用容器,直接在服务器上(海光DCU k100AI)部署的话有没有提供vllm0.6.6安装的方式,与vllm提供的官方版本0.6.6是一致的吗?需要做什么修改?

 

全部评论(4)
只看楼主
T
tianlh
1楼
https://das.sourcefind.cn:55011/portal/#/installation?id=9385225c-6b7a-11ef-bf92-005056904552&type=frame 在这里下载vllm whl,注意跟环境中的python dtk版本对应,这是适配DCU的vllm,跟官方有区别。用户端不需要额外修改什么,确认环境版本安装whl文件即可。
2025/3/17
安
安心
回复 @tianlh
老师,咱们有0.6.6版本的vllm支持安装吗?链接里最新的支持是0.6.2版本
2025/3/17
安
安心
回复 @tianlh
老师咱们的部署文档内是支持0.6.6的
2025/3/17
T
tianlh
回复 @tianlh
vllm 0.6.6 whl已上传社区,请在这里下载https://download.sourcefind.cn:65024/4/main/vllm/DAS1.5
2025/3/17
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据