光合开发者社区-论坛

模型适配

【光源上线】Qwen3.6

2026-05-11 14:51:59

1163

Qwen3.6 是一款采用混合专家 (MoE) 架构并包含视觉编码器的多模态因果语言模型。此版本重点优化了智能体编程 (Agentic Coding) 的准确率，并引入了思维保留 (Thinking Preservation) 机制，特别适合长上下文和复杂的代码仓库开发任务。光源已上线！https://developer.sourcefind.cn/modelzoo/list/qwen3.6/detail?post_id=2e1c4942-4d05-11f1-8262-0242ac150003

alterman

6楼

不知道有没有群可以讨论

6/5

alterman

5楼

你好，我的设备是 8台 K100_AI 显卡，使用的vllm 镜像是 harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.15.1-ubuntu22.04-dtk26.04-py3.10，部署的模型是从huggingface 上下载的 Qwen/Qwen3-Next-80B-A3B-Instruct，通过HIP_VISIBLE_DEVICES=0,1,2,3 VLLM_ATTENTION_BACKEND=XFORMERS nohup vllm serve ./Qwen3-Next-80B-A3B-Instruct/model --served-model-name qwent-next --max-model-len 10240 --enforce-eager --tensor-parallel-size 4 --port ${port} --gpu-memory-utilization 0.85 报错 RuntimeError: unified 2D attention not support gfx928 platform，不知道怎么处理

6/5

ghdevadmin

回复 @alterman

您可以发一个帖，我们技术同事看到了会回复

6/5

alterman

回复 @ghdevadmin

OK，多谢，我吧vllm 换成v18 可以了，不知道你们现在推荐什么版本的vllm 适合跑在K100_AI 上

6/8

wuqqq

4楼

请问K100-AI上支持通过llamafactory对qwen3.6进行lora微调训练吗？有没有可用的训练镜像？或者构建训练镜像的文档？

5/27

刘

刘宏伟

3楼

请问k100-ai可以跑了吗？

5/13

mjglmvuid0dt

回复 @刘宏伟

可以跑，加一个环境变量expoert VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0

5/13

刘

刘宏伟

回复 @mjglmvuid0dt

请问下vllm的启动参数怎么选的呀？

5/16

Pixe1

2楼

k100ai是被你们放弃了吗？新的模型一个都用不了，qwen3coder用8卡k100ai加载起来又慢又笨。

5/12

huangyy

1楼

K100-AI 能不能跑？每秒多少 tonkes?

5/11

ghdevadmin

回复 @huangyy

目前还在测试中

5/12

chenhongwei8

回复 @huangyy

试了感觉不太行啊6token/s 不知道是不是我配置的问题

5/13