大语言模型本地部署踩坑记录

声明：本文部分内容使用AI辅助生成，经人工编辑、审核和补充个人经验。 更新说明：本文最后更新于 2026-05-05，技术栈版本信息基于 Python 3.11、llama-cpp-python 0.2.90、PyTorch 2.3、CUDA 12.1。 大语言模型本地部署踩坑记录搞了大半年大模型本地部署，从最早的Llama 2折腾到现在的Llama 3和Qwen 3，踩的坑能写本书。记录一下部署