言語の数理とLLMの知能 ―言葉を計算で繋ぐメカニズム-―

※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。大規模言語モデル（LLM）の本質の解説　生成AIの1つである大規模言語モデル（LLM）は、言語を操る数理モデルの1つのあり方です。LLMを活用するシステムの研究・開発は、その不確実性の高さや制御の難しさから、多くの試行錯誤を要します。そのため、より効率的に、より効果的に課題解決をするためには、LLMがテキストを生成する仕組みの理解や、LLMを強化する方法論に向き合うことは欠かせません。また同時に、言語をつかさどる暗黙的な規則性を炙り出す、LLMとは異なるタイプの数理モデルにも目を向けるべきでしょう。これらの知見は、地に足のついた試行錯誤へと繋がります。　上記のような知見は、計算言語学という領域で蓄積されています。本書は、LLM時代における計算言語学の「言語の理論としての側面」と、「言語の工学としての側面」に着目した入門書です。本書により、LLMをはじめとする言語の数理モデルが読者の皆さまの手札の1つとなり、より多くの実務的課題・学術的課題が解き明かされることを願います。第1章　自然言語の数理1.1　計算言語学とは1.2　言語の理論としての計算言語学1.3　言語の工学としての計算言語学1.4　まとめと本書の構成第2章　形式的手法による言語学2.1　意味現象2.2　依存型意味論序説2.3　未指定型による形式証明の制御第3章　大規模言語モデルの仕組み3.1　言語モデルによるテキストの生成3.2　大規模言語モデルのパイプライン3.3　Transformerの機構3.4　大規模言語モデルの学習3.5　大規模言語モデルの評価3.6　データセットの作成方法3.7　次章へ向けて第4章　大規模言語モデルは何を理解しているか4.1　注意機構の分析4.2　プロービング4.3　Logit lens：語彙空間への射影4.4　次章へ向けて第5章　大規模言語モデルの実用5.1　大規模言語モデルの軽量化・高速化5.2　RAG：大規模言語モデルの知識拡張5.3　LLMエージェント：自律・推論・動態付録　数学と機械学習の基礎参考文献