AIが言葉の文脈を読み解く魔法、Seq2Seqの世界へようこそ！
山崎講師AIと言葉の魔法使い！初心者のためのSeq2Seq入門：Word2Vecとの意外な関係
こんにちは。ゆうせいです。
みなさんは、スマートフォンで翻訳アプリを使ったり、チャットボットと会話したりしたことはありますか。実はその裏側では、言葉を魔法のように変換する技術が動いています。
今日は、AIが言葉を扱うための基本から、最新の翻訳技術の土台となっているSeq2Seq（シークエンス・トゥ・シークエンス）という仕組みまで、一緒に楽しく学んでいきましょう！
言葉を数字に変換する第一歩：one-hot ベクトル
AIは数学が得意ですが、私たちが使う日本語をそのまま理解することはできません。そこで、言葉を数字のリストに変換する必要があります。その最もシンプルな方法が one-hot ベクトル です。
例えば、リンゴ、バナナ、ミカンという3つの言葉しかない世界を想像してください。
- リンゴ ＝ [1, 0, 0]
- バナナ ＝ [0, 1, 0]
- ミカン ＝ [0, 0, 1]
このように、自分の場所だけが 1 で、他はすべて 0 になるデータの形を one-hot ベクトル と呼びます。出席番号で「1番の人だけ起立！」と言われて、特定の生徒だけが立っている状態に似ていますね。
one-hot ベクトルとの積で何が起きる？
さて、ここで少しだけ算数の話をしましょう。このベクトルと、重みと呼ばれる数字の表を掛け算するとどうなるでしょうか。
特定の場所が 1 であるベクトルを掛けるという操作は、表の中から特定の行を抜き出すことと同じ意味を持ちます。
リンゴのベクトル 
これを計算式で見ると、以下のようになります。
1 
1 がある場所の数字だけが生き残り、0 の場所はすべて消えてしまいますね。この one-hot ベクトルとの積 という操作によって、膨大なデータの中から特定の言葉の情報だけをスマートに取り出すことができるのです！
言葉の意味を理解する職人：Word2Vec
one-hot ベクトルは分かりやすいですが、弱点があります。それは、言葉同士の関連性が全く分からないことです。「リンゴ」と「バナナ」はどちらも果物ですが、先ほどの 0 と 1 のリストでは、その近さが表現できません。
そこで登場するのが Word2Vec（ワード・トゥ・ベック） です。
これは、言葉を数百次元の空間上の点として配置する技術です。Word2Vec を使うと、王様 － 男 ＋ 女 ＝ 王妃 といった、言葉の意味の足し算や引き算ができるようになります。驚きではありませんか？
Word2Vecのメリットとデメリット
メリットは、AIが言葉のニュアンスを理解できる点にあります。似た意味の言葉を近くに配置することで、柔軟な処理が可能になります。
一方でデメリットは、学習に大量のテキストデータが必要なことや、文脈によって意味が変わる言葉（例えば「ハシ」が橋か箸かなど）の区別が苦手な点です。
文を文に変換する革命児：Seq2Seq
いよいよ本題の Seq2Seq です。これは Sequence to Sequence の略で、直訳すると「系列から系列へ」という意味になります。
具体的には、日本語の文章（言葉の列）を、英語の文章（言葉の列）に変換するような処理を得意としています。
2人の担当者が連携する仕組み
Seq2Seq は、エンコーダとデコーダという2つの役割に分かれて仕事をします。
- エンコーダ（翻訳前の理解担当）：入力された文章を端から順番に読み込み、その意味を一つの固定長のベクトルにギュッと凝縮します。まるで、分厚い小説を読んで、そのあらすじを一行のメモにまとめるような作業です。
- デコーダ（翻訳後の生成担当）：エンコーダが作ったメモを受け取り、そこから翻訳先の言語を一つずつ紡ぎ出していきます。
この 凝縮して再構築する という流れがあるからこそ、長さの違う文章同士でもスムーズに変換できるのです。
Word2VecとSeq2Seqの関係性
ここで、今日学んだことがつながります！
実は、Seq2Seq が文章を読み書きする際、その入り口と出口で使われているのが Word2Vec のような単語の分散表現です。
単語を数値の塊として捉える Word2Vec が部品となり、それを組み合わせて文章全体の意味を扱う Seq2Seq という大きな機械が動いている、というイメージを持ってください。
メリットとデメリットを整理しましょう
Seq2Seq のおかげで、私たちは精度の高い機械翻訳や対話システムを利用できるようになりました。
メリット
- 入力と出力の長さが違っても対応できる。
- 文全体の文脈を考慮した変換が可能。
デメリット
- あまりにも長い文章だと、最初の内容を忘れてしまう（情報の消失）。
- 計算量が多く、動かすのにパワーが必要。
こうした弱点を克服するために、現在は「Attention」という、特定の言葉に注目する技術も組み合わされています。
単語の個性を引き出す「単語埋め込み」の計算
one-hot ベクトルは、例えば「リンゴ」という単語が、語彙（ボキャブラリー）の中で何番目にあるかを示す名札のようなものです。しかし、この名札だけでは「リンゴが赤い」とか「甘い」といった特徴はわかりません。
ここで登場するのが、E（単語埋め込み行列）という「単語の個性を記録した辞書」です。
私たちが「リンゴ」という one-hot ベクトル w を入力したとき、AIはこの辞書 E を使って、その単語が持つ深い意味（特徴量）を取り出します。これがいわゆる Word2Vec のような仕組みの第一歩です。
ここでクイズです！プログラムの中で、one-hot ベクトル w と 辞書 E を使って、特定の単語の特徴を取り出すにはどう書けばいいでしょうか。
行列の形（シェイプ）を意識しよう
計算を正しく行うには、パズルのピースを合わせるように「行列の形」を合わせる必要があります。
- w （単語の one-hot ベクトル）：
- E （埋め込み行列）：
この2つを掛け算して、 
このように、辞書 E と ベクトル w の積（ドット積）を求めることで、膨大な辞書の中から「リンゴ」に該当する列だけをシュッと抜き出すことができるのです！
文を文に変換する Seq2Seq の心臓部
単語の特徴が取り出せたら、次はいよいよ Seq2Seq （シークエンス・トゥ・シークエンス）の出番です。Seq2Seq は、入力を解釈する エンコーダ と、新しい文を作る デコーダ の2つの役割で構成されています。
エンコーダの仕事：情報の凝縮
エンコーダは、単語を一つずつ読み込みながら、それまでの文脈を「隠れ状態」という箱に溜めていきます。
プログラムのループ処理を見てみましょう。
for w in words:
e = E.dot(w) # ここで単語の特徴を取り出す！
h = _activation(W.dot(e) + U.dot(h) + b)
この 
メリットとデメリット
- メリット：この仕組み（RNN）により、文の長さがバラバラでも、最終的に一つの「文の意味ベクトル」にまとめ上げることができます。
- デメリット：一方で、あまりに長い文章だと、最初の方の単語を忘れてしまうという「物忘れ」のような現象が起きることがあります。
まとめとこれからの学習指針
いかがでしたか。
「one-hot ベクトルとの積」というシンプルな計算が、実はAIが言葉の意味を抽出するための入り口になっていたのですね！
- まずは、行列の掛け算（ドット積）が「特定の情報を抽出する」という役割を持っていることを意識してみてください。
- 次に、今回登場した
- 余裕があれば、この「物忘れ」を克服した LSTM というモデルについても調べてみてください。
AIの内部で起きていることは、実はこうした丁寧な計算の積み重ねです。数式とコードが繋がったときの「あ、分かった！」という感覚を大切にしていきましょう！
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
