大規模言語モデルは何をしているのか 次の単語を予測する仕組み
山崎講師こんにちは。ゆうせいです。
ChatGPTのような対話AIを使っていると、こちらの意図を理解して答えているように感じます。
しかし、中身で起きていることは、もっと単純です。
「次に来る単語は何か」
この問いに答え続けているだけです。それを何百回も繰り返した結果が、画面に表示される文章になります。
この記事では、その仕組みを順に追います。研修で受講者に説明する際の説明手順も示します。
結論
大規模言語モデルの正体は、三つの文で言い切れます。
| 要点 | 内容 |
|---|---|
| 次の単語を予測する関数 | 文章を受け取り、次に来る単語の確率を返す |
| 学習とはパラメータの調整 | 数千億個の数値を、予測が当たるよう調整する |
| 並列処理が転換点だった | Transformerによって文章を一度に処理できるようになった |
特に一番目を、研修では強調してください。
「理解して答えている」という説明は、誤解を招きます。「次に来そうな単語を選び続けている」と説明するほうが、実態に近く、限界の理解にもつながります。
以下、順に見ていきます。
1 脚本の比喩から始める
状況を想像する
短い映画の脚本を見つけたとします。
人間とAIアシスタントの会話の場面です。ただし、人間の発言だけが残っており、AIの返答部分は破り取られています。
続きを埋める機械
ここで、不思議な機械があるとします。
どんな文章を入れても、次に来る単語を妥当に予測してくれる機械です。
手順
この機械を使えば、破れた部分を埋められます。
| 手順 | 内容 |
|---|---|
| 1 | 残っている部分を機械に入れる |
| 2 | AIの返答の最初の単語が予測される |
| 3 | その単語を付け足して、また機械に入れる |
| 4 | 次の単語が予測される |
| 5 | これを繰り返す |
少しずつ脚本が伸びていき、会話が完成します。
これが対話AIの正体
驚くかもしれませんが、対話AIを使っているとき、実際に起きているのはこれです。
裏側では、次のような文章が用意されています。
「以下は、ユーザーと親切なAIアシスタントの会話です」
そこに、あなたが入力した文章が追加されます。そして、AIアシスタントならこう答えるだろう、という単語が次々と予測されます。
その結果が、画面に表示されます。
練習問題1
対話AIが応答を生成する仕組みを、脚本の比喩を使って説明してください。
解答を示します。
人間の発言だけが書かれた脚本があり、AIの返答部分が空白になっている状態を考えます。
モデルは、そこまでの文章を見て、次に来そうな単語を一つ予測します。その単語を末尾に加え、再び次の単語を予測します。
この繰り返しによって、AIの返答が一単語ずつ生成されます。
補足します。この仕組みには、重要な含意があります。
モデルは、返答全体を計画してから書き始めるわけではありません。一単語ずつ、その時点で最もありそうなものを選んでいます。
練習問題2
「モデルは質問の意図を理解して答えている」という説明の問題点を指摘してください。
解答を示します。
実際に行われているのは、次に来る単語の確率を計算することです。理解という言葉が指す内容とは異なります。
この説明は、モデルの能力を過大に評価させる可能性があります。結果として、モデルが誤った情報を自信を持って出力する現象が理解できなくなります。
補足します。ただし、「理解していない」と断言することにも慎重であるべきです。
理解とは何かという問い自体が、哲学的な議論の対象です。研修では、「次の単語を予測している」という動作の事実を伝え、理解という言葉の使用は避けることをおすすめします。
2 確率として予測する
一つに決めるわけではない
モデルは、次の単語を一つだけ選ぶのではありません。
考えられるすべての単語に対して、確率を割り当てます。
具体例
「今日は良い天気なので」という文章に続く単語を考えます。
| 候補 | 確率 |
|---|---|
| 散歩 | 0.15 |
| 外 | 0.12 |
| 洗濯 | 0.08 |
| 公園 | 0.06 |
| ... | ... |
数万種類の候補すべてに、確率が付きます。
なぜ最大のものを選ばないのか
常に最も確率の高い単語を選ぶと、文章が単調になります。
同じような言い回しが繰り返され、機械的な印象になります。
少し外れた選択をする
そこで、確率に従ってランダムに選びます。
確率0.15の単語は15%の頻度で、0.08の単語は8%の頻度で選ばれます。
この仕組みにより、文章が自然になります。
同じ質問でも答えが変わる理由
ここに、よく受ける質問の答えがあります。
「なぜ同じことを聞いても毎回違う答えが返るのですか」
モデル自体は決定的です。同じ入力に対して、常に同じ確率分布を返します。
しかし、その確率に従ってランダムに選ぶため、結果が変わります。
温度という設定
このランダムさを制御する設定があります。温度と呼ばれます。
| 温度 | 振る舞い |
|---|---|
| 低い | 確率の高い単語に集中する。安定するが単調 |
| 高い | 低確率の単語も選ばれる。多様だが破綻しやすい |
用途によって使い分けます。正確さを求める場面では低く、創造的な文章では高くします。
練習問題3
モデル自体は決定的であるにもかかわらず、同じ入力に対して異なる出力が得られる理由を説明してください。
解答を示します。
モデルが返すのは、各単語の確率です。この確率分布は、同じ入力に対して常に同じになります。
しかし、実際に出力する単語は、その確率に従ってランダムに選ばれます。選択の段階に乱数が入るため、結果が変わります。
補足します。温度を0に設定すると、常に最も確率の高い単語が選ばれます。
この場合、出力は毎回同じになります。再現性が必要な用途では、この設定を使います。
練習問題4
温度を高く設定した場合と低く設定した場合で、それぞれどのような用途に適しているか答えてください。
解答を示します。
低く設定した場合は、正確さが求められる用途に適しています。事実の要約、データの抽出、コードの生成などです。安定した出力が得られます。
高く設定した場合は、多様性が求められる用途に適しています。アイデア出し、創作、複数案の提示などです。ただし、内容が破綻する可能性も高くなります。
補足します。研修で試すなら、同じ質問を温度を変えて数回実行させると効果的です。
出力の違いを目で見ると、この設定の意味が体感できます。
3 学習データの規模
途方もない量
モデルは、大量の文章を処理することで予測の仕方を学びます。多くはインターネットから集めたものです。
規模を実感するために、計算してみます。
GPT-3の学習に使われた文章を、人間が読むとします。24時間365日、休まず読み続けたとして、2,600年以上かかる量です。
これは初期の大規模モデルの話であり、その後のモデルはさらに多くの文章を使っています。
計算量も同様
学習にかかる計算量も、想像を超えています。
1秒間に10億回の足し算と掛け算ができると仮定します。
最大級の言語モデルの学習に必要な演算を、この速度で行うと何年かかるでしょうか。
1年でしょうか。1万年でしょうか。
答えは、1億年を大きく超えます。
この数字の意味
人間が手作業で行える規模ではありません。
GPUという専用の計算装置を大量に並べ、並列に処理して初めて現実的な時間に収まります。
練習問題5
1秒間に 
解答を示します。
1億年の秒数を計算します。
演算回数を計算します。
約 
補足します。この数字は、日常の感覚では捉えられません。
地球上の砂粒の数が 
4 パラメータという名のつまみ
巨大な機械のつまみ
学習を、大きな機械のつまみを調整する作業だと考えてください。
モデルの振る舞いは、多数の連続値によって完全に決まります。これらをパラメータ、または重みと呼びます。
つまみを動かせば、次の単語に対する確率が変わります。
何が「大規模」なのか
大規模言語モデルの「大規模」とは、このパラメータの数を指します。
数千億個に達することもあります。
人間は設定しない
重要な点です。
これらのパラメータを、人間が意図的に設定することはありません。
最初はすべて乱数です。その状態では、意味のない文字列を出力します。
そこから、大量の例文をもとに繰り返し調整されます。
前回までの記事とのつながり
この記事を読んでいる方は、これまでの連載でニューラルネットワークの学習を追ってきたかもしれません。
手書き数字認識のネットワークでは、パラメータが13,002個でした。
言語モデルでは、それが数千億個になります。規模は違いますが、やっていることは同じです。コスト関数を定義し、勾配降下法で最小化します。
練習問題6
パラメータ数13,002個のネットワークと、パラメータ数1,000億個の言語モデルでは、何が同じで何が違いますか。
解答を示します。
同じなのは、学習の仕組みです。パラメータを乱数で初期化し、コスト関数を定義し、勾配を求めて更新する。この流れは変わりません。
違うのは、規模と、それに伴う実務上の制約です。計算資源、学習データの量、学習にかかる時間が桁違いです。また、規模が大きくなると、事前に想定していなかった能力が現れることがあります。
補足します。規模の違いが質の違いを生むという現象は、研究の関心事になっています。
小さなモデルでは見られなかった能力が、ある規模を超えると現れる。この現象は創発と呼ばれます。ただし、評価方法の影響だという指摘もあり、議論が続いています。
5 事前学習の中身
一つの訓練例で何が起きるか
学習の仕組みを、一つの例で見ます。
訓練に使う文章が、次のものだとします。
「昨日は雨が降った」
手順
| 手順 | 内容 |
|---|---|
| 1 | 最後の単語を除いた部分をモデルに入れる |
| 2 | モデルが次の単語を予測する |
| 3 | 正解と比較する |
| 4 | 正解を選びやすくなるようパラメータを調整する |
具体的には、「昨日は雨が」までを入力し、「降った」と予測してほしいわけです。
調整の方向
誤差逆伝播法を使い、パラメータを調整します。
調整の目的は二つです。
| 目的 | 内容 |
|---|---|
| 上げる | 正解の単語が選ばれる確率を少し上げる |
| 下げる | それ以外の単語が選ばれる確率を少し下げる |
訓練例の長さ
訓練例は、数語の場合もあれば、数千語の場合もあります。
長い文章であれば、その中の各位置で予測を行います。一つの文章から、多くの訓練信号が得られます。
見たことのない文章にも対応できる
何兆もの例で学習すると、訓練データに対する予測が正確になります。
そして、それだけではありません。見たことのない文章に対しても、妥当な予測ができるようになります。
これが汎化です。単なる暗記であれば、この現象は起きません。
練習問題7
「今日の会議は午後から」という文章を訓練例として使う場合、モデルに何を入力し、何を正解として扱いますか。
解答を示します。
「今日の会議は午後」までを入力し、「から」を正解として扱います。
実際には、文章中の各位置で同様の予測が行われます。「今日の」の次に「会議」、「今日の会議」の次に「は」、というように、複数の訓練信号が得られます。
補足します。この方式を自己教師あり学習といいます。
人間がラベルを付ける必要がありません。文章自体が、正解を含んでいるためです。
この点が、大規模言語モデルを可能にした鍵です。ラベル付けの工数という制約がないため、インターネット上の膨大な文章をそのまま使えます。
6 事前学習だけでは足りない
目的がずれている
事前学習で身に付くのは、次の能力です。
「インターネット上の文章の続きを、もっともらしく書く」
これは、良いAIアシスタントであることとは違います。
ずれの具体例
たとえば、次のような入力があったとします。
「日本の首都はどこですか」
事前学習だけのモデルは、こう続けるかもしれません。
「日本の首都はどこですか。この問題の答えは次のページにあります」
インターネット上には、質問が並んだ問題集のようなページもあります。その続きとして、もっともらしい予測です。
しかし、求めていた答えではありません。
人間のフィードバックによる強化学習
そこで、もう一段階の訓練を行います。
人間のフィードバックによる強化学習と呼ばれます。英語ではReinforcement Learning from Human Feedbackで、RLHFと略されます。
何をするのか
| 手順 | 内容 |
|---|---|
| 1 | モデルに複数の応答を生成させる |
| 2 | 作業者が、役に立たない応答や問題のある応答に印を付ける |
| 3 | どの応答が好ましいかを評価する |
| 4 | その評価をもとにパラメータを調整する |
結果として、利用者が好む応答を返しやすくなります。
二段階の位置づけ
整理します。
| 段階 | 目的 | 使うデータ |
|---|---|---|
| 事前学習 | 言語の規則性を獲得する | 大量の文章 |
| 強化学習 | アシスタントらしく振る舞う | 人間の評価 |
後者がなければ、現在の対話AIは成立しません。
練習問題8
事前学習だけを行ったモデルが、対話AIとして適さない理由を説明してください。
解答を示します。
事前学習の目的は、文章の続きを予測することです。インターネット上の文章として自然な続きを生成します。
しかし、利用者が求めているのは、質問への回答や依頼の遂行です。この二つは別の目的です。
たとえば質問を入力しても、事前学習だけのモデルは、質問をさらに並べたり、無関係な文章を続けたりすることがあります。
補足します。この乖離を埋めるのが、人間のフィードバックによる強化学習です。
役に立つ、安全である、指示に従う。こうした性質は、事前学習では身に付きません。
7 Transformerが変えたもの
2017年より前
かつての言語モデルは、文章を単語ごとに順番に処理していました。
1語目を処理し、その結果を使って2語目を処理し、というように進みます。
並列化できない
この方式には問題があります。
2語目の処理は、1語目の結果を待たなければ始められません。順番が決まっているため、並列に実行できないのです。
GPUは、多数の計算を同時に行うことで速度を稼ぐ装置です。順番待ちが発生すると、その利点を活かせません。
Transformerの登場
2017年、Googleの研究チームがTransformerを発表しました。
この構造の特徴は、文章全体を一度に処理することです。
先頭から順に読むのではなく、すべてを同時に取り込みます。
並列処理が可能になった
結果として、GPUの性能を最大限に引き出せるようになりました。
これにより、学習できるモデルの規模が飛躍的に大きくなりました。現在の大規模言語モデルは、この構造の上に成り立っています。
練習問題9
Transformer以前の言語モデルが並列処理に向かなかった理由を説明してください。
解答を示します。
文章を単語ごとに順番に処理していたためです。
次の単語の処理には、前の単語の処理結果が必要でした。この依存関係があるため、同時に計算することができません。
補足します。GPUは、多数の計算を並列に実行することで高速化を実現する装置です。
順番待ちが発生する処理では、この特性を活かせません。Transformerによって制約が外れたことが、規模の拡大を可能にしました。
8 Transformerの内部
第一段階 単語を数値に変換する
Transformerの最初の処理は、各単語に長い数値の並びを対応させることです。
なぜでしょうか。学習の仕組みが、連続値でしか動かないためです。
言語を扱うには、まず数値に変換する必要があります。
数値の並びが意味を表す
この数値の並びは、単語の意味を何らかの形で符号化していると考えられます。
似た意味の単語は、似た数値の並びを持つ傾向があります。
第二段階 アテンション
Transformerを特徴づけるのが、アテンションと呼ばれる操作です。
この操作により、数値の並びどうしが互いに情報をやり取りします。そして、周囲の文脈に応じて意味を更新します。
しかも、すべて並列に行われます。
具体例
「銀行」という単語を考えます。
この単語だけでは、金融機関なのか、川の土手なのか分かりません。英語のbankであれば、なおさらです。
アテンションによって、周囲の単語の情報が取り込まれます。近くに「川」という単語があれば、土手を意味する方向へ数値が更新されます。
第三段階 フィードフォワードネットワーク
Transformerには、もう一つの操作があります。
順伝播型のニューラルネットワークです。これまでの記事で扱った、重みとバイアスによる層です。
この部分が、学習した言語の規則性を蓄える容量を提供します。
繰り返し
この二種類の操作を、何度も繰り返します。
| 操作 | 役割 |
|---|---|
| アテンション | 文脈に応じて意味を更新する |
| フィードフォワード | 学習した規則性を適用する |
繰り返すたびに、各数値の並びが豊かになっていきます。次の単語を予測するために必要な情報が、次第に蓄積されます。
最後の処理
最終的に、系列の最後のベクトルに対して処理を行います。
このベクトルは、入力された文章全体の文脈と、学習で獲得した知識の両方の影響を受けています。
ここから、次の単語の確率が計算されます。
図解案
研修資料では、次の構成が有効です。
左に単語の列を並べ、それぞれから右へ矢印を引きます。矢印の先に「アテンション」の箱、その次に「フィードフォワード」の箱を置きます。この二つを囲んで「繰り返し」と書きます。最後に、右端から確率分布が出る形にします。
練習問題10
アテンションとフィードフォワードネットワークは、それぞれどのような役割を果たしますか。
解答を示します。
アテンションは、単語どうしが情報をやり取りする操作です。周囲の文脈に応じて、各単語の意味の表現を更新します。
フィードフォワードネットワークは、学習した言語の規則性を蓄え、適用する部分です。文脈のやり取りは行いません。
補足します。この二つが交互に配置される構造には、意味があります。
アテンションが情報を混ぜ、フィードフォワードが各位置で処理を行う。役割が分かれています。
これまでの記事で扱った、行列積とアダマール積の役割分担にも通じる考え方です。混ぜる操作と、個別に処理する操作が交互に現れます。
練習問題11
「銀行」という単語の意味が、文脈によって更新される仕組みを説明してください。
解答を示します。
アテンションによって、周囲の単語の情報が取り込まれます。
「川の銀行」であれば、「川」という単語の情報が「銀行」の数値表現に影響し、土手を意味する方向へ更新されます。
「銀行に預金する」であれば、「預金」の情報が影響し、金融機関を意味する方向へ更新されます。
補足します。日本語では漢字によって区別されますが、英語のbankでは表記が同じです。
この曖昧性の解消は、自然言語処理の古典的な課題でした。アテンションは、この問題に有効に働きます。
9 なぜ説明が難しいのか
設計と振る舞いのずれ
研究者は、各処理の枠組みを設計しています。
しかし、具体的な振る舞いは、数千億個のパラメータがどう調整されたかによって決まります。
創発という現象
設計者が意図していなかった能力が現れることがあります。
これを創発と呼びます。
説明できない理由
個々の予測がなぜそうなったのかを特定することは、非常に困難です。
数千億個のパラメータが相互に影響し合った結果だからです。どの数値がどう効いたのかを、人間が追うことはできません。
これまでの記事とのつながり
この連載の第2回で、手書き数字認識のネットワークについて書きました。
中間層の重みを可視化しても、人間が意図した線分や輪は現れませんでした。ノイズ画像に対しては、自信を持って誤った答えを返しました。
パラメータが13,002個でも、そうなります。数千億個であれば、なおさらです。
研修で伝えるべきこと
性能が高いことと、動作を説明できることは別です。
この区別を、はっきり伝えてください。
医療や金融のように、判断の根拠を示す必要がある領域では、この点が導入の障壁になります。
練習問題12
大規模言語モデルの出力がなぜそうなったのかを説明することが難しい理由を述べてください。
解答を示します。
出力が、数千億個のパラメータの相互作用によって決まるためです。
個々のパラメータがどのように寄与したかを追跡することは、現実的にできません。また、研究者が設計したのは処理の枠組みであり、具体的な振る舞いは学習の結果として現れたものです。
補足します。この課題に取り組む分野があります。
解釈可能性の研究と呼ばれ、モデル内部で何が起きているかを解明しようとする試みが続いています。
疎なオートエンコーダを使って特徴を抽出する手法など、進展もあります。ただし、完全な説明には至っていません。
10 研修での教え方
このテーマを扱う場合の設計案です。
60分の構成
| 時間 | 内容 | 形式 |
|---|---|---|
| 5分 | 脚本の比喩。次の単語を予測する | 講義 |
| 10分 | 確率として予測する。温度の話 | 講義 |
| 5分 | 練習問題3と4 | 個人 |
| 10分 | 学習の規模。計算量の実感 | 講義 |
| 10分 | 事前学習と強化学習の二段階 | 講義 |
| 5分 | 練習問題8 | 個人 |
| 10分 | Transformerと並列処理 | 講義 |
| 5分 | 説明の難しさ。まとめ | 講義 |
教える順序の考え方
三つ、意識してください。
一つ目は、脚本の比喩から入ることです。
技術的な説明の前に、何をしているかのイメージを作ってください。破れた脚本を埋める作業という説明は、専門知識がなくても理解できます。
二つ目は、数値で規模を示すことです。
「膨大な量」という表現では伝わりません。2,600年、1億年といった具体的な数字が効きます。
三つ目は、二段階の訓練を必ず扱うことです。
事前学習だけでは対話AIにならない。この事実を知らないと、なぜ人間の評価が必要なのかが理解できません。
つまずきやすい点
四つあります。
一つ目は、「理解している」という誤解です。
受講者の多くは、AIが意図を理解していると考えています。次の単語を予測しているという事実を、繰り返し確認してください。
二つ目は、決定的なのに出力が変わることです。
確率分布は同じでも、選択にランダムさが入る。この区別を明示してください。
三つ目は、学習と推論の混同です。
学習は一度行われ、その後は固定されます。利用時にパラメータが変わるわけではありません。「会話するたびに賢くなっている」という誤解は、よく見られます。
四つ目は、規模への過小評価です。
数千億個という数字は、実感が湧きません。手書き数字認識の13,002個と比較すると、差が伝わります。
想定される質問
質問1 AIは嘘をつくのですか。
回答します。嘘という言葉は、意図を前提にしています。モデルには意図がありません。
次に来そうな単語を選んだ結果、事実と異なる文章が生成されることがあります。もっともらしい単語の並びと、事実である単語の並びは、必ずしも一致しないためです。
質問2 会話の内容を覚えているのですか。
回答します。同じ会話の中では、これまでのやり取りが毎回まとめて入力されています。だから文脈が保たれます。
ただし、パラメータが書き換わるわけではありません。別の会話を始めれば、前の内容は入力に含まれません。
質問3 なぜ計算が間違うのですか。
回答します。計算を実行しているのではなく、次に来そうな数字を予測しているためです。
学習データに現れる計算パターンは再現できますが、桁数が多い計算や見慣れない形式では誤りやすくなります。現在は、外部の計算ツールを呼び出す仕組みで補う方式が一般的です。
質問4 学習データに含まれない最新の情報は扱えますか。
回答します。パラメータには反映されていません。
ただし、検索結果を入力に含める仕組みを併用すれば、扱えます。この方式は検索拡張生成と呼ばれます。
11 押さえておきたい限界
研修で必ず伝えるべき点をまとめます。
限界1 事実の正確性
もっともらしい文章と、正しい文章は別です。
自信を持って誤った情報を出力することがあります。これは仕様上の性質であり、完全には解消されていません。
限界2 学習時点の知識
パラメータは、学習が終わった時点で固定されます。
その後の出来事は反映されません。検索と組み合わせる方式で補いますが、モデル自体が更新されるわけではありません。
限界3 一貫性
次の単語を選び続ける仕組みであるため、長い文章では前後の矛盾が生じることがあります。
全体を計画してから書いているわけではないためです。
限界4 出典の不確かさ
参考文献や引用元を尋ねると、それらしい情報を生成することがあります。
存在しない論文名や、誤ったURLが返ることがあります。必ず確認してください。
限界5 説明できない
なぜその出力になったかを特定できません。
判断の根拠を示す必要がある業務では、この点が制約になります。
練習問題13
大規模言語モデルが事実と異なる内容を出力する仕組みを、次の単語を予測するという観点から説明してください。
解答を示します。
モデルが選ぶのは、その文脈で最もありそうな単語です。事実であるかどうかを判定する仕組みは、直接には備わっていません。
もっともらしい単語の並びと、事実である単語の並びは、多くの場合一致します。しかし、常に一致するわけではありません。
学習データに含まれない事柄や、情報が少ない領域では、もっともらしさだけを基準に単語が選ばれ、結果として誤った内容が生成されます。
補足します。この現象は幻覚と呼ばれることがあります。
ただし、この呼び方には批判もあります。人間の症状を指す言葉を機械に転用することが適切かという議論です。
研修では、現象を説明することを優先し、用語にこだわらないほうがよいでしょう。
まとめと次の学習ステップ
大規模言語モデルは、次に来る単語を予測する関数です。
一つに決めるのではなく、すべての候補に確率を割り当てます。そして、その確率に従って選びます。選択にランダムさが入るため、同じ質問でも答えが変わります。
学習は、数千億個のパラメータを調整する作業です。最初は乱数で、意味のない出力しかできません。大量の文章を使い、正解の単語を選びやすくなるよう繰り返し調整されます。
ただし、事前学習だけでは対話AIになりません。文章の続きを書く能力と、役に立つ応答を返す能力は別です。人間のフィードバックによる強化学習という段階が必要になります。
2017年のTransformerが転換点でした。文章を一度に処理できるようになり、GPUによる並列計算が活きるようになりました。これにより、現在の規模が実現しています。
内部では、アテンションとフィードフォワードネットワークが交互に働きます。前者が文脈に応じて意味を更新し、後者が学習した規則性を適用します。
そして、なぜその出力になったのかを説明することは困難です。数千億個のパラメータの相互作用によって決まるためです。
次の学習ステップとして、三つを提案します。
一つ目は、アテンションの仕組みを詳しく追うことです。クエリ、キー、バリューという三つの役割と、内積による類似度の計算。この連載で扱った行列の知識があれば、無理なく理解できます。
二つ目は、実際に温度を変えて試すことです。APIを使えば、設定を変えながら出力の違いを確認できます。確率分布という説明が、体感として理解できます。
三つ目は、限界を実際に確認することです。存在しない書籍の要約を頼む、桁の多い計算をさせる、最近の出来事を尋ねる。失敗例を自分で集めておくと、研修での説得力が変わります。
これまでの連載で、構造、学習、逆伝播、そして言語モデルまで追ってきました。土台は、すでにできています。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
最新の投稿
新人エンジニア研修講師2026年9月20日多層パーセプトロンはどこに知識を蓄えているのか GPTのパラメータの3分の2- 新人エンジニア研修講師2026年9月20日アテンション機構を理解する クエリ、キー、バリューの正体
- 新人エンジニア研修講師2026年9月20日GPTの中身を追う 埋め込みからSoftmaxまで
- 新人エンジニア研修講師2026年9月20日大規模言語モデルは何をしているのか 次の単語を予測する仕組み
