数学库
提问帖
有回复
K100_AI分别部署Qwen3-32B和Qwen3-30B-A3B-instruct-2507的精度支持问题
2026-01-30 10:28:46
151
使用K100_AI分别部署Qwen3-32B和Qwen3-30B-A3B-instruct-2507时，默认的精度是FP16还是BF16，还是说可以指定精度？
全部评论（4）
只看楼主
王
王静波
2楼
你好，我想问下是用的哪个镜像K100_AI
2/4
L
litzh
1楼
Qwen3-32B和Qwen3-30B-A3B-instruct-2507部署精度默认使用权重文件中config.json配置，即默认bf16
1/30
Q
QAZ
回复 @litzh
1）用K100_AI卡部署上述两个模型，可以设置支持FP8精度吗？
2）vllm启动参数，我设置了--dtype float16，是不是就会按照FP16的精度来运行的？
1/30
W
wangs
回复 @QAZ
k100-ai上目前不支持fp8
2/1
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据