https://das.sourcefind.cn:55011/portal/#/installation?id=9385225c-6b7a-11ef-bf92-005056904552&type=frame 在这里下载vllm whl,注意跟环境中的python dtk版本对应,这是适配DCU的vllm,跟官方有区别。用户端不需要额外修改什么,确认环境版本安装whl文件即可。
由于开发组安全要求,不使用容器,直接在服务器上(海光DCU k100AI)部署的话有没有提供vllm0.6.6安装的方式,与vllm提供的官方版本0.6.6是一致的吗?需要做什么修改?

暂无数据