适用场景:本地 AI 开发调试,多模型切换对比。
工作流:
- 下载安装 LM Studio
- 在模型库中搜索下载 GGUF 格式模型(如 Qwen、DeepSeek、Llama 系)
- 图形化加载模型,选择量化等级(Q4/Q5/Q8)
- 开启本地服务器,用 OpenAI 兼容 API 接入 Cherry Studio 等客户端
效果:一个界面管理多个模型,量化等级可视化调整,工作室做模型效果对比评测的效率工具。
进阶技巧:
- 用 lm studio 的 My Models 面板对比不同量化等级的输出质量
- 开启 Local Server 后可在任意支持 OpenAI API 的应用中调用
- 配合模型文件合并功能可 DIY 自己的模型
硬件参考:8GB 显存可流畅运行 7B Q4 模型,32GB 内存可运行 35B-A3B 这类 MoE 模型。