本地 AI 模型入门：怎么选适合自己的方案
本地模型的价值不只是“断网也能聊天”。它还可以减少敏感文本离开设备的机会、避免按次调用费用，并让个人脚本获得较稳定的接口。不过，本地运行并不自动等于安全或免费：模型文件需要存储空间，推理会占用内存、显存和电力，安装的软件也仍可能联网。选择前应先明确任务和可接受的速度。
先检查硬件
首先查看显卡显存和系统内存。4 GB 显存只能作为较低门槛参考，能否顺畅运行取决于模型参数量、量化方式、上下文长度和使用的软件；没有独立显卡也可以尝试 CPU 或统一内存方案，但速度可能更慢。不要只看模型名称中的参数量，实际下载页面通常会列出不同量化文件的体积。
安装前建议记录：可用磁盘空间、显存或统一内存、操作系统、是否需要中文、最长输入大约多少，以及主要任务是问答、代码、摘要还是结构化提取。长上下文会额外占用内存；“可以加载”也不代表速度足以日常使用。
两类容易上手的方案
- 跟着浏览器走：Chrome 浏览器内置 AI 适合体验网页内的摘要、翻译或改写。模型和接口由浏览器管理，部署简单，但对 Chrome 版本、设备资格和首次下载有要求。
- 自己管理模型：用 Ollama 下载本地模型 适合命令行、桌面客户端和程序接口。下载软件与模型时需要网络，完成后哪些功能可以离线运行则取决于所用客户端和任务。
选择模型的实用步骤
- 先选择一个小模型验证安装、中文输出和速度，不要一开始下载多个大文件。
- 用自己的三到五个真实样例比较，例如一段会议记录、一段代码和一个格式化任务。
- 同时记录首字等待、持续生成速度、内存占用、事实错误和是否遵守输出格式。
- 小模型不够用时，再逐步提高模型规模或换更合适的量化，而不是只增加提示词长度。
- 如果任务需要最新事实或联网检索，应明确增加搜索/知识库流程；本地模型本身不会自动知道实时信息。
隐私与安全
“模型在本地”只描述推理位置。客户端的更新检查、遥测、插件和外部工具仍可能产生网络请求。处理敏感资料前，应确认软件来源、网络行为和日志位置，并关闭不需要的云端回退。模型输出也可能包含错误命令或不安全代码，执行前必须人工检查。
常见问题
没有独立显卡还能用吗？
可以尝试 CPU 或共享/统一内存，但要接受更慢的速度。先用短上下文和小模型测量真实体验，再决定是否升级硬件。
参数越大越好吗？
不一定。任务适配、量化质量、上下文设置与提示结构都会影响结果。能稳定运行并完成真实任务的小模型，通常比经常内存不足的大模型更实用。