光合开发者社区-论坛

编译器

Z100L编译llama.cpp与运行qwen gguf问题

2024-11-21 09:39:49

214

参考了 https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#hipblas

如果用的是Z100L的卡的话，target选择gfx926。
编译成功了但启动时也没报错但打印的信息是用的CPU。
请问这样是否是编译成功，或者请给出编llama.cpp的脚本。

另外请问是否支持llama.cpp上启动gguf模型，如果支持，请给命令指导

cmake -S . -B build -DCMAKE_POSITION_INDEPENDENT_CODE=on -DLLAMA_CCACHE=OFF -DLLAMA_NATIVE=off -DLLAMA_AVX=on -DLLAMA_AVX2=off -DLLAMA_AVX512=off -DLLAMA_FMA=off -DLLAMA_F16C=off -DCMAKE_BUILD_TYPE=Release -DLLAMA_SERVER_VERBOSE=off -DLLAMA_HIPBLAS=on -DCMAKE_C_COMPILER=/opt/dtk/llvm/bin/clang -DCMAKE_CXX_COMPILER=/opt/dtk/llvm/bin/clang++ -DGGML_HIPBLAS=ON-DAMDGPU_TARGETS=gfx926 -DGPU_TARGETS=gfx926 echo "build step2..." for f in `ag xhip build -l` do sed -i 's/^$C_FLAGS.*$ -xhip --cuda-gpu-arch=gfx926$.*$/\1 --gpu-max-threads-per-block=1024 \2/g' $f sed -i 's/^$CXX_FLAGS.*$/\1 --gpu-max-threads-per-block=1024/g' $f done cmake --build build --config Release -- -j 8 echo "build done..."