4
Qwen
好吧我到底应该选择哪一个？
2026-06-06 09:13:04
163
硬件：K100AI * 4 我希望使用的是qwen3-235b-a22b-GPTQ-INT4或者AWQ模型，毕竟需要配合64注意力头整除而且总显存只有256G 接着我看vllm上面说AMD GPU仅支持GGUF和FP8，但是K100AI又不支持FP8 那么我希望用千问的模型我该使用哪一个才好？ 已经折腾了好久好久，要么没法运行起来要么就会胡言乱语，无力感特别强
全部评论（5）
只看楼主
Y
yyds
1楼
https://modelscope.cn/models/Eco-Tech/Qwen3.6-27B-w8a8 模型权重，对应的推理镜像可直接拉取，命令：docker pull harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-qwen3.6-20260423 镜像适配dtk-26.04版本。
6/9
A
aikur
回复 @yyds
27B的模型其实干不了什么事情，需要一个大一点的模型才行。我可以用这个跑Qwen3.5-122B-A10B-AWQ-8bit吗？https://modelscope.cn/models/cyankiwi/Qwen3.5-122B-A10B-AWQ-8bit
因为硬件的问题只能考虑量化版本的模型，已经要炸锅了
6/10
A
aikur
回复 @yyds
或者我可以跑GGUF的模型吗？最近试验的时候会提示 packaging.version.InvalidVersion: Invalid version: 'N/A'
这是我在什么地方缺了什么东西才会导致这种结果吗？还是我应该用什么办法解决
6/10
Y
yyds
回复 @aikur
可以尝试使用这个镜像拉下服务，harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413
6/10
全部4条回复
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据