光合开发者社区-论坛

⁶

数学库

提问帖

有回复

Z100，基于CHITU部署大模型推理

2026-01-20 10:01:39

174

有没有人使用chitu再Z100上部署过大模型的啊，求出个教程

全部评论（9）

只看楼主

热

热心网友

1楼

https://github.com/thu-pacman/chitu/blob/public-main/docs/zh/DEVELOPMENT.md 可以以参考这个文档中的海光示例，pytorch从 https://download.sourcefind.cn:65024/4/main/pytorch/DAS1.7 这个网址里下载

1/20

suncd

回复 @热心网友

不太行，vllm 0.9.2+das.opt1.beta.dtk25041 requires xgrammar==0.1.19; platform_machine == "x86_64" or platform_machine == "aarch64" or platform_machine == "arm64", but you have xgrammar 0.1.29 which is incompatible.但xgrammar==0.1.19 这个版本没有BatchGrammarMatcher，导致cannot import name 'BatchGrammarMatcher' from 'xgrammar'

1/20

热

热心网友

回复 @suncd

那就用xgrammar 0.1.29就行，vllm 0.9.2+das.opt1.beta.dtk25041 requires xgrammar==0.1.19这种不是强依赖，可以忽略

1/21

suncd

回复 @热心网友

还是报错了，执行命令：

export ROCR_VISIBLE_DEVICES=0,1

torchrun --nproc_per_node 1 single_req_test.py request.max_new_tokens=64 models=Qwen3-0.6B models.ckpt_dir=/work/home/suncd_asiainfo/Qwen3-0.6B infer.pp_size=1 infer.tp_size=1,

报错信息：

default_generator = torch.cuda.default_generators[i] IndexError: tuple index out of range,

我的torch.cuda.is_available()和torch.cuda.device_count()都是正常的

1/21

全部8条回复

没有更多内容了

楼主

0 点赞

0 帖子

楼主热帖

暂无数据