1、【vllm】qwq-32b在vllm-0.8.5环境下并发测试崩溃

问题描述： qwq-32b在vllm-0.8.5环境下并发测试崩溃

镜像：image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250521-fixpy-rocblas0521-beta2

服务启动：export ALLREDUCE_STREAM_WITH_COMPUTE=1

export HIP_VISIBLE_DEVICES=0,1

export HSA_FORCE_FINE_GRAIN_PCIE=1

vllm serve /data/llm-models/qwq-32B/ --trust-remote-code --dtype float16 --max-model-len 32000 --tensor-parallel-size 2 --port 6100 --gpu-memory-utilization 0.95

测试命令：vllm bench serve --model /data/llm-models/qwq-32B/ --num-prompts 64 --random-input-len 256 --random-output-len 512 --port 6100 --trust-remote-code --ignore-eos --max-concurrency 64

请求发送时突然服务崩溃。

绕过方法：设置--enforce-eager参数可以正常推理

结论： runtime侧分析原因：将command入队时失败，command为空指针，原因是new Command时内存不足导致失败。此问题已在dtk-25.04.1中修复。

解决方案： 此问题已在dtk-25.04.1中修复，下载链接：http://10.16.4.1:8000/dtk-pkg/dtk25.04.1/20250513/DTK-25.04.1-rc1-ubuntu20.04-x86_64.tar.gz

2、Ollama 0.9.0编译后执行乱码

问题链接： https://forum.sourcefind.cn/thread/1179

问题描述： 8卡K100_AI上Ollama 0.9.0编译后执行乱码，目前情况是，可以认到HCU，能够加载模型到HCU，但run model就会出现乱码，永远返回都是GGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG

结论： ollama 还没支持到0.9.0版本，目前DCU上ollama最高支持到0.6.7版本。

当前ollama支持到0.6.7，且支持的模型和官方对应版本对齐。

解决方案： 可以拉取ollama0.6.7版本，git clone -b 0.6.7 http://developer.sourcefind.cn/codes/OpenDAS/ollama.git --depth=1