前回 　2021年に発表されたElhageらの研究「Transformerの回路の数学的フレームワーク」は、Transformerの内部処理が、人間にも可読な「回路」として記述できることを示した。 　この論文が扱ったのは、特殊ではあるが単純な対象、順伝播層を含まないTransformerモデルを対象である。 　それによってTransformer層の二つの副層の内でも、多頭注意層の性質を追究した...