您好！我总结一下 1：从源码编译llamacpp git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp LLAMA_CURL=1 make llama-cli 2:下载模型 hf guff格式的模型 huggingface-cli download --resume-download bartowski-local-dir llama3-1b-gguf 3：起服务 ./llama-cli -m llama3-1b-gguf/Llama-3.2-1B-Instruct-IQ3_M.gguf -p "You are a helpful assistant" -cnv --chat-template chatml

参考一下这里 https://developer.sourcefind.cn/codes/OpenDAS/llama.cpp