学习笔记 · 2026年10月25日 Transformer 与 BERT 学习笔记：结构、注意力与预训练任务 从注意力公式、编码器解码器和位置表示读 Transformer，再比较 BERT 的双向编码、MLM、NSP 与微调方式。 #论文笔记#Transformer#BERT