#BERT

学习笔记 · 2026年10月25日

Transformer 与 BERT 学习笔记：结构、注意力与预训练任务

从注意力公式、编码器解码器和位置表示读 Transformer，再比较 BERT 的双向编码、MLM、NSP 与微调方式。