1
1
模型应用
使用llama factory微调qwen2.5，用vllm部署推理
2025-05-09 17:48:30
172

使用llama factory微调qwen2.5，模型已经可以正常回答，但是部署好vllm之后，模型的回答变得不对劲了。搜了一下可能是chat_template的问题，推理的chat_template要和vllm部署的chat_template完全一致。

求助各位大佬，如何获取到llama factory的chat_template（qwen）
或者，还有别的原因吗？

 

全部评论（7）
只看楼主
A
ANYA
1楼

1、您模型可以正常回答是使用的微调之后的模型吗，是如何测试的

2、您可以把vllm部署的环境大致发一下，例如使用的哪一个镜像，使用的加速卡的型号是什么，以及使用vllm交互的时候具体用的什么方式，最好把代码发一下。

如果方便的话，fintune之后的模型也可以附上链接，方便我们复现问题
2025/5/11
网
网友rtSrqf
回复 @ANYA

1、是微调之后的的模型，测试是在llama-factory的webui界面提问的，用的huggingface推理

2、vllm是vllm-0.6.2+das.opt3.dtk2504-cp310-cp310-manylinux_2_28_x86_64.whl，卡是k100ai*4，vllm启动命令是python -m vllm.entrypoints.openai.api_server --model /saves_model/qwen_32b-5.9 --served-model-name QWEN_32 --tensor-parallel-size 4 --host 0.0.0.0 --max-num-seqs 256 --max-model-len 4500 --port 8000，用的命令在下一条回复。
2025/5/12
网
网友rtSrqf
回复 @ANYA

from openai import OpenAI

openai_api_key = "EMPTY"

openai_api_base = "http://localhost:8000/v1"

client = OpenAI(api_key=openai_api_key,base_url=openai_api_base)

models =client.models.list()

model = models.data[0].id

prompt ="请问你是谁？"

completion = client.completions.create(model=model,prompt=prompt)

res = completion.choices[0].text.strip()
2025/5/12
A
ANYA
回复 @ANYA

和服务交互可以采用类似这种形式试试看：

curl http://localhost:8000/v1/completions \

-H "Content-Type: application/json" \

-d '{

"model": "/home/modelzoo/DeepSeek-R1-Distill-Qwen-14B/",

"prompt": "甲乙两班共有学生98人，甲班比乙班多6人，求两班各有多少人？",

"max_tokens": 300,

"temperature": 0

}'
2025/5/12
全部6条回复
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据