6
框架组件
海光K100AI什么时候发布vllm-0.10.2的定制docker镜像?
2025-10-28 09:34:27
172
现在很多开源的ocr和文档模型效果都非常好了,比如最近大火的deepseek-ocr,还有paddleocr-vl以及mineru2.5都是vl多模态模型,这些都已经被0.10.2的vllm推理引擎所支持了,但是现在海光K100支持最高的vllm版本只支持到v0.9.2,没办法部署这些比较新的模型,包括qwen3-next-80b目前也不支持。
全部评论(2)
只看楼主
Z
zc
1楼
你好,目前内部计划跳过vllm0.10.2版本,下一代版本为0.11.0,正式发版时间还需等待,deepseek-ocr使用vllm085应该可以支持,可以参考https://sourcefind.cn/#/model-zoo/1980559219280183298
2025/10/28
网
网友yfri9U
回复 @zc
你好,paddleocr-vl 这个模型,海光应该用哪个工具去运行呢,能提供 http 服务
2025/10/28
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据