官方帖子：https://developer.sourcefind.cn/codes/modelzoo/deepseek-v4-int Deepseek-V4-Flash-0731模型地址：https://modelscope.cn/models/hygon/DeepSeek-V4-Flash-0731-Channel-INT8-w8a8 Docker启动镜像容器： ``` docker run -it \ --shm-size 256g \ --network=host \ --name deepseek-v4-flash-int \ --privileged \ --device=/dev/kfd \ --device=/dev/dri \ --device=/dev/mkfd \ --group-add video \ --cap-add=SYS_PTRACE \ --security-opt seccomp=unconfined \ -u root \ -v /opt/hyhal/:/opt/hyhal/:ro \ -v /path/to/DeepSeek-V4-Flash-INT8/:/models/:ro \ -v /path/to/deepseek-v4-int/:/workspace/deepseek-v4-int/ \ -w /workspace/deepseek-v4-int \ harbor.sourcefind.cn:5443/dcu/admin/base/custom:dsv4-flash-k100ai-sglang0.5.12-20260728 bash ``` #注意： 如果需要支持工具调用和推理。官方仓库中的chat_template.jinja是有问题的。 建议替换start_sglang.sh脚本中sglang的启动参数如下： sglang_args=( --model-path "$MODEL_PATH" --served-model-name "Deepseek-V4-Flash" --host "$SGLANG_HOST" --port "$SGLANG_PORT" --trust-remote-code --tp 8 --cuda-graph-max-bs 128 --chunked-prefill-size 8192 --quantization compressed-tensors --kv-cache-dtype bfloat16 --max-running-requests 128 --reasoning-parser deepseek-v4 --tool-call-parser deepseekv4 --disable-radix-cache --disable-flashinfer-autotune ) 启动命令：SERVED_MODEL_NAME=DeepSeek-V4-Flash ENABLE_MTP=true SPECULATIVE_NUM_STEPS=3 bash start_sglang.sh 运行后可调试： curl http://localhost:30001/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "DeepSeek-V4-Flash", "messages": [{"role": "user", "content": "你的知识更新截止时间？"}], "chat_template_kwargs": {"thinking": true, "reasoning_effort": "max"} }' 实测，平均推理速度：25 TPS （当前实测速度10TPS，待调参更新） 目前模型参数中包含DSpark参数，建议更新Docker镜像源