AI与大模型使用踩坑记录
AI与大模型使用踩坑记录去年开始折腾AI大模型，从文本生成到图像生成，踩了不少坑。记录一下实战经验和心得。 国内主流大模型 模型 公司 特点 ChatGLM 智谱AI 中文优化，128K上下文 文心一言 百度 多模态，搜索整合 通义千问 阿里 开源，多尺寸 讯飞星火 科大讯飞 语音能力强 豆包 字节跳动 多场景应用 Kimi Moonshot 超长上下文 智谱清言
分类：: 大模型LLM
LLM本地部署踩坑记录：ChatGLM、Vicuna、InternLM实战经验
LLM本地部署踩坑记录：ChatGLM、Vicuna、InternLM实战经验去年折腾了快半年的大模型本地部署，踩了不少坑，记录一下供参考。主要涉及ChatGLM-6B、Vicuna、InternLM这几个模型的部署和优化。 硬件与软件环境部署大模型最头疼的就是硬件门槛。我整理了当时测试过的配置： 模型 显存需求 推荐配置 ChatGLM-6B 12GB+ RTX 3060 12GB