About this ebook
生成AIの1つである大規模言語モデル（LLM）は、言語を操る数理モデルの1つのあり方です。LLMを活用するシステムの研究・開発は、その不確実性の高さや制御の難しさから、多くの試行錯誤を要します。そのため、より効率的に、より効果的に課題解決をするためには、LLMがテキストを生成する仕組みの理解や、LLMを強化する方法論に向き合うことは欠かせません。また同時に、言語をつかさどる暗黙的な規則性を炙り出す、LLMとは異なるタイプの数理モデルにも目を向けるべきでしょう。これらの知見は、地に足のついた試行錯誤へと繋がります。
上記のような知見は、計算言語学という領域で蓄積されています。本書は、LLM時代における計算言語学の「言語の理論としての側面」と、「言語の工学としての側面」に着目した入門書です。本書により、LLMをはじめとする言語の数理モデルが読者の皆さまの手札の1つとなり、より多くの実務的課題・学術的課題が解き明かされることを願います。
このような方におすすめ
LLM開発者、言語学者
主要目次
第1章 自然言語の数理
1.1 計算言語学とは
1.2 言語の理論としての計算言語学
1.3 言語の工学としての計算言語学
1.4 まとめと本書の構成
第2章 形式的手法による言語学
2.1 意味現象
2.2 依存型意味論序説
2.3 未指定型による形式証明の制御
第3章 大規模言語モデルの仕組み
3.1 言語モデルによるテキストの生成
3.2 大規模言語モデルのパイプライン
3.3 Transformerの機構
3.4 大規模言語モデルの学習
3.5 大規模言語モデルの評価
3.6 データセットの作成方法
3.7 次章へ向けて
第4章 大規模言語モデルは何を理解しているか
4.1 注意機構の分析
4.2 プロービング
4.3 Logit lens：語彙空間への射影
4.4 次章へ向けて
第5章 大規模言語モデルの実用
5.1 大規模言語モデルの軽量化・高速化
5.2 RAG：大規模言語モデルの知識拡張
5.3 LLMエージェント：自律・推論・動態
付録 数学と機械学習の基礎
参考文献
About the author
船蔵 颯（ふなくら はやて）
株式会社キカガク 機械学習講師を経て、現在はデータサイエンティスト。