海光优化适配工作重心，希望不要始终都围绕BW1100，希望不要始终都放在大参数量模型上！绝大多数用户不是大厂用户吧？绝大多数用户用的是K100-AI或者更老的显卡吧？很多单位经费有限，都希望单机能同时跑多个小参数量大模型（每个小参数量模型都有各自的特长），而不是用多台机器耗在一个功能单一的大参数量模型上！就算跑大参数量模型，也希望在一台8卡的K100-AI就搞定！中等参数量大模型希望在4卡搞定！ 优化适配工作，建议以小参数量模型为主，例如：Qwen3.6-27B，目前海光没有对该类稠密架构大模型做优化，Qwen3.6-27B的推理速度非常低，4卡K100-AI的每秒token仅仅10多个。目前海光一味的去追求MoE稀疏架构大模型的优化（例如：Qwen3.6-35B-A3B），虽然MoE在速度上表现的较好，4卡K100-AI的每秒token能达到55个，然而在实测中发现，在做文档错别字及语法校验时，就算开启思考模式的情况下，Qwen3.6-35B-A3B对错别字校验完全是视而不见，相反Qwen3.6-27B就能非常精准的识别出来！而且更为奇葩的现象就是，海光目前提供的vLLM0.18镜像，跑AWQ量化版相比原始精度版，其速度反而更低，约为原始精度版的一半！ K100-AI和英伟达显卡的性能对比，我用4块T4显卡分别部署了Qwen3.6-27B-AWQ和Qwen3.6-35B-A3B-AWQ，每秒token分别达到36和72。T4是2018年发布的老显卡，其计算能力是7.5，K100-AI和英伟达的A100对标，A100的计算能力是8.0，K100-AI就算干不过A100，其性能也要比T4明显好吧？ 再说说海光对新款大模型的适配吧，今年从2月份开始，海光把大多数精力都耗在BW1100和DeepSeek-V4适配上，经过两个多月的适配，DeepSeek-V4都发布了，海光给出了解决方案：https://developer.sourcefind.cn/codes/modelzoo/deepseek-v4，这个方案用DeepSeeK给出的torchrun推理模式，仅仅是单用户娱乐啊，而且在K100-AI环境里实测，速度超级慢，推理的速度是每秒约2个token！更别说用vLLM、sglang来适配了，更别说工具调用了！ 说到大模型的工具、技能调用能力，我做了很多试验，和vLLM的版本息息相关！在vLLM0.17及以上的版本，其工具、技能调用才能满足实际工作需要，相比vLLM0.15.1，其工具调用的精准性大幅度提升和响应时间大幅度缩减。实际工作中测试，vLLM0.15.1在工具调用的精准性方面，错误率很高，响应也慢，严重影响正常使用。在vLLM0.19.1及以上版本，修补了很多BUG，工作中实测其工具、技能调用能力上，没有出现错误调用，响应时间也令人满意。海光在vLLM0.15.1上，耗费了大量的时间做大模型适配，和今年大模型对工具、技能调用的主流相违背！ 在工具技能调用方面，在响应时间上，sglang相比vllm要快很多，sglang达到了毫秒级响应（我自己亲测了很多次），然而海光在sglang对大模型的适配工作进度非常缓慢。