您好！您遇到的 Gemma-3-27b-it 模型响应内容重复、混乱的原因在于使用的 vLLM 0.9.2与Gemma-3 模型架构之间存在底层算子（Kernel）的兼容性缺陷。解决方案为换用最新镜像即可解决。
0
6
0
0
海光K100-AI 64GB*2 部署gemma-3-27b-it 响应内容重复
2026-01-09 12:02:15
198
这个是启动命令：
version: '3.8'
services:
mgoat-attacker:
image: harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226
container_name: mgoat-attacker
network_mode: host
privileged: true
shm_size: 30g
devices:
- /dev/kfd
- /dev/dri
group_add:
- video
cap_add:
- SYS_PTRACE
security_opt:
- seccomp=unconfined
volumes:
- /opt/hyhal:/opt/hyhal
- /home/deploy/ai-safety-deploy/attacker-model:/model/attacker-model
environment:
- HIP_VISIBLE_DEVICES=0,1
- NCCL_DEBUG=info
- NCCL_P2P_DISABLE=1
- HSA_FORCE_FINE_GRAIN_PCIE=1
- NCCL_MIN_NCHANNELS=16
- NCCL_MAX_NCHANNELS=16
- VLLM_USE_FLASH_ATTN_PA=0
```
command: >
bash -c "python -m vllm.entrypoints.openai.api_server
--model /model/attacker-model
--served-model-name 'attacker-model'
--dtype 'bfloat16'
--host '0.0.0.0'
--port 32312
--trust-remote-code
--gpu-memory-utilization 0.85
--tensor-parallel-size 2
--max-num-seqs 16
--max-model-len 45000"
```
全部评论（6）
只看楼主
H
1/15
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据