理解模型规模时，先分清三个问题：训练怎样改变参数，参数量表示多大的可学习结构，完成训练需要多少计算。它们有关联，但不能用“参数越多就一定越聪明”替代对数据、结构和任务的判断。
一次训练步骤在做什么
常见神经网络训练包含前向计算、损失计算、反向传播和优化器更新。前向得到预测；损失衡量预测与目标的差异；反向传播计算损失对参数的梯度；优化器按规则更新参数。
以线性模型 y = wx + b 为例，w 与 b 是可学习参数。给定样本和损失，训练尝试调整它们，让整体目标改善。梯度不是“正确答案本身”，优化过程也不保证每个新样本都更准确。PyTorch 自动微分教程
预训练通常利用广泛数据学习表示；微调在已有模型上继续优化特定目标；推理则用现有参数处理输入。一次普通推理请求不等于又训练了一遍模型。
参数量表示什么
参数量统计模型中相应权重等数值的规模，不是存储了多少条事实的直接计数。报告时还应区分总参数、可训练参数与特定计算路径实际激活的参数。
常见十进制量级：
| 标记 | 数量 |
|---|---|
| 1B | 10^9，即 10 亿 |
| 7B | 7×10^9，即 70 亿 |
| 70B | 70×10^9，即 700 亿 |
| 1T | 10^12，即 1 万亿 |
B、T 不是 Token 数，也不是显存容量。仅按参数个数乘一个权重精度估算，会漏掉训练时的梯度、优化器状态、激活和临时缓冲等占用。
FLOPs 与 FLOP/s 不同
FLOPs 常用于表示浮点运算量；FLOP/s 表示每秒浮点运算能力。比较报告时要留意作者是否把 FLOPS 当成速率缩写，以及使用的精度、稀疏条件和计数规则。
按 SI 前缀，peta 对应 10^15，exa 对应 10^18。假设一项任务需 10^15 次浮点运算、实际持续速度为 10^12 次每秒，简单相除得到 1,000 秒。这只是单位演算，不是某个模型或显卡的性能预测。SI 前缀定义
真实运行还会受内存带宽、通信、数据读取、利用率和并行策略影响。厂商标出的峰值能力不能直接当作训练全程的持续速度。
用任务证据评价模型
参数规模、训练数据质量与覆盖、模型结构、训练目标和评估方式需要放在一起看。同样规模的模型可能在不同任务上表现不同；学习曲线与独立测试能支持具体结论，单个硬件数字或聊天印象不能替代这些证据。