本地部署，是让模型推理在自己控制的设备上执行；量化则用较低精度表示权重等数值，降低资源需求。两者经常同时出现，但“下载到本地”“完全离线”“显存够用”仍是三个需要分别确认的问题。
本地与在线，差别在计算和数据经过哪里
在线服务通常在远端执行推理，本机负责提交输入、显示输出。本地运行需要取得可用模型文件、匹配的推理程序和计算资源；可以利用 GPU，也可以使用 CPU，或在不同设备之间分担，具体取决于运行时与模型。
本地方案的吸引力包括控制数据路径、离线工作及定制流程，但前提是相关组件也在本地。应用仍可能调用云模型、搜索、插件或遥测；不能凭安装位置就断言数据不会离开电脑。Ollama 文档也将云功能与本地运行区分说明。Ollama FAQ
成本也不只有调用费，还包括下载和存储、硬件占用、电费与维护时间；模型许可是否允许目标用途，需要按具体模型确认。“开放权重”不自动等于无条件免费使用。
7B 模型的权重怎样估算
假设模型恰好包含70亿个参数，且每个参数统一使用表中位数，纯权重载荷可按“参数量×位数÷8”估算：
| 表示位数 | 字节数 | 十进制 GB | 约合 GiB |
|---|---|---|---|
| 32 bit | 28,000,000,000 | 28 | 26.08 |
| 16 bit | 14,000,000,000 | 14 | 13.04 |
| 8 bit | 7,000,000,000 | 7 | 6.52 |
| 4 bit | 3,500,000,000 | 3.5 | 3.26 |
GB按10亿字节、GiB按2的30次方字节计算。这里是理想化载荷，不是文件或运行内存的保证值。量化比例、缩放因子、未量化部分、文件元数据、KV缓存、激活和临时工作区都可能额外占用空间。上下文更长、批量或并发更大，需求也会变化。
因此不能从“4 bit权重约3.5GB”推出“3.5GB显存就一定能运行”，更不能把7B、13B或70B分别绑定到固定显卡门槛。
更低位数不保证更快，也不保证无损
FP16/BF16与INT8/INT4不是同一种数值格式；实际量化还涉及算法、分组、校准与计算内核。硬件不支持相应加速路径时，小模型文件也未必带来更低延迟。质量损失则要按任务、模型和量化方法评估，不能承诺4 bit对所有任务“感受不到差别”。Hugging Face量化概览
怎样判断是否值得本地运行
先固定一组真实但不敏感的任务，再比较：
- 模型、量化文件、推理程序与许可是否匹配。
- 目标上下文和并发下，峰值内存/显存是否可接受。
- 首次响应、持续生成速度、输出质量和失败情形是否满足需要。
- 所需工具、知识文件及网络调用能否满足数据路径要求。
- 长期维护成本是否比现有方式更合适。
Ollama等工具可以简化运行入口，但不能代替容量和任务评估。没有离线或控制需求、只想偶尔使用时，不必为了“本地”二字迁移整套工作流；确有需求时，也从能覆盖任务的小范围验证开始，而非先凭参数量购买硬件。