数学库
海光K100_ai卡支持Qwen3-30B-A3B-Instruct-2507模型嘛 海康威视服务器
2025-10-30 15:59:19
265
海光K100_ai卡支持Qwen3-30B-A3B-Instruct-2507模型嘛 海康威视服务器
全部评论（13）
只看楼主
C
codingmiao
3楼
能跑起来，看我这个帖子里的启动脚本，但是速度很慢，看有没有大佬能给个优化建议或者性能排查方案 https://forum.sourcefind.cn/thread/6064ecb2-b855-11f0-8cf8-0242ac150003
2025/11/3
刘
刘冠岑
回复 @codingmiao
海光就这种速度，忍忍吧
2025/11/4
恭
恭喜我自己
2楼
这个模型K100_ai 64G的单张是不是跑不起来？
2025/10/31
T
test_mhd4l1wfbkam
回复 @恭喜我自己
我的有四张这个卡但是在看光源用哪个镜像:leiben:emoji
2025/10/31
T
test_mhd4l1wfbkam
回复 @恭喜我自己
目前还在测试阶段第一次用这个东西
2025/10/31
恭
恭喜我自己
回复 @test_mhd4l1wfbkam
我用的这个镜像 image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.1-rc5-rocblas104381-0915-das1.6-py3.10-20250916-rc2 模型用的是Qwen3-30B-A3B，它和Qwen3-30B-A3B-Instruct-2507应该差不多， 因为只有一张卡，完全使用GPU是启动不了，修改了参数，使用GPU和内存可以启动，但是性能差很多，目前在找寻基于这个模型支持int8量化的方法，如果兄台有好方法，请指教一二，谢谢。
2025/10/31
全部8条回复
网
网友DdIUGT
1楼
zhichi
2025/10/30
T
test_mhd4l1wfbkam
回复 @网友DdIUGT
好的谢谢
2025/10/30
没有更多内容了
--
楼主
Level.6
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据