セルフアテンション

Transformerアーキテクチャの中核機構。文中の各トークンが他のすべてのトークンとの関連度（アテンションスコア）を計算し、文脈を考慮した表現を獲得する。「銀行」が「川の銀行」と「金融機関の銀行」で異なる意味を持つことを文脈から判断できる。Multi-head Attentionで複数の観点を同時に学習する。