BLEUスコアの計算式の仕組みと覚え方：機械翻訳の自動評価指標の基礎
山崎講師こんにちは。ゆうせいです。
自然言語処理や機械翻訳の分野において、コンピューターが生成した翻訳文の品質を客観的な数値で測定するための指標としてBLEU（バイリンガル・エバリュエーション・アンダースタディ）スコアが広く利用されています。
専門書や論文に記載されているBLEUスコアの数式には、幾何平均の記号や指数関数、自然対数が含まれており、複雑な外見をしています。しかし、数式が組み立てられている意図を段階的に分解して整理すると、計算の流れと役割を把握することができます。
本記事では、初心者の方に向けてBLEUスコアの基本概念から計算式の構造、覚え方、利点と留意点、そして理解を深める学習の手順を解説します。
BLEUスコアの基本概念
BLEUスコアは、機械が作成した翻訳文と、人間の翻訳者が作成した模範解答（参照訳）を比較し、語句の一致度を0から1（または0%から100%）の数値で算出する評価手法です。
人間による翻訳作業の評価には膨大な時間と人手が必要となるため、迅速かつ一定の基準で翻訳性能を比較する目的で開発されました。
単語カードの照合による比喩
高校の英語の授業で行う英作文の添削を想定します。
生徒が書いた答案の英文と、先生の手元にある模範解答の英文を見比べる場面を考えます。
生徒の英文に含まれる単語が模範解答の中にどれくらい含まれているかを、単語カードを突き合わせるように確認します。単語1語ごとの一致だけでなく、2語の並び順、3語の並び順が模範解答と合致しているかも確かめることで、英文としての自然さを測ります。
さらに、減点を避けるために極端に短い英文だけを提出して一致率を偽装する不正を防ぐため、基準より短すぎる答案には点数を割り引く減点処理を加えます。
BLEUスコアは、この「語句の並びの一致率」と「短すぎる文への減点（ペナルティ）」を組み合わせて最終的な点数を算出する仕組みです。
構成する記号の整理
数式に登場する主要な記号の意味を整理します。
- c：機械が生成した翻訳文（候補文）の単語数（長さ）
- r：模範解答（参照訳）の単語数（長さ）
- BP：短すぎる翻訳文に課す減点係数（Brevity Penalty）
- n：照合する連続単語の語数（通常は1語から4語までを対象とします）
- p_{n}：n語の連続した並び（n-gram）における一致率（修正適合率）
- w_{n}：各 n-gram の一致率に対する重み付け係数（通常は 1/N の均等配分）
- N：考慮する最大の連続単語数（一般的には4が用いられます）
BLEUスコアの数式と構造の分解
BLEUスコアの全体的な計算式は、短文ペナルティと各一致率の幾何平均を掛け合わせた形をとります。
この式は、2つの主要な構成要素に分かれています。
1. 語句の一致率をまとめる部分
式の後ろ半分にある次の部分は、1語から4語までの連続した単語の一致率 p_{n} を幾何平均で合算する計算です。
自然対数 log を取って重み w_{n} を掛けて足し合わせ、最後に指数関数 exp に戻す処理は、数学的に「相乗平均（幾何平均）」の計算と等しくなります。一般的な設定である各重みが 1/4 の場合、次の式と同じ意味になります。
足し算の相加平均ではなく掛け算の相乗平均を採用する理由は、どれか1つの長さの一致率が0になった際、全体のスコアを厳格に0にするためです。単語単体の一致率が高くても、4語のつながりが全く成立していない不自然な文章には厳しい評価が下されます。
2. 短すぎる文章を割り引く部分（BP）
式の先頭にある BP は、翻訳文の長さ c が模範解答の長さ r よりも短い場合に数値を小さくする補正項です。
もしこの係数が存在しない場合、機械が「The」という1単語だけを出力した際に、模範解答の中に「The」が存在していれば、一致率は100%と計算されてしまいます。
必要な情報が欠落した極端に短い翻訳文が高い評価を得る現象を防ぐため、候補文の長さ c が参照訳の長さ r 以下の場合は 1 より小さい数値が掛けられ、点数が引き下げられます。
式の覚え方
BLEUスコアの式を記憶する際は、2つの要素の掛け算として捉える整理法が役立ちます。
- 第1要素：短さへの罰則 BP（長さが足りないと減点）
- 第2要素：各語数の一致率の掛け算（1語から4語までの一致率を幾何平均する）
「短さのペナルティを頭に掛け、後ろには1語から4語までの一致率の幾何平均を置く」という構造を把握することで、exp や log が配置されている理由を自然に導き出すことができます。
BLEUスコアの利点と留意点
機械翻訳の性能測定にBLEUスコアを用いる際には、確認できる明確な利点と留意点が存在します。
利点
- 人手を介さない高速な自動評価計算機プログラムによって瞬時に数値を算出できるため、数万件規模の翻訳結果に対しても短時間で比較作業を完了できます。
- 評価基準の一貫性同一の参照訳と出力文に対しては常に同一の数値が得られるため、人間の採点者の主観や体調による評価の揺らぎが生じません。
留意点
- 同義語や言い換え表現の低評価模範解答に含まれていない語句であっても、意味的に正しい同義語が使われている場合があります。しかし、BLEUスコアは表層的な文字列の一致を基準とするため、同義語を用いた適切な翻訳文が不当に低い点数となる現象が発生します。
- 意味の整合性の未考慮単語の並びの一致のみを測定するため、肯定文と否定文を取り違えるような重大な意味の誤りが含まれていても、他の単語が合致していれば高い数値が算出される場合があります。
まとめ
BLEUスコアの数式は、機械翻訳の精度を単語の並びと文章の長さの2点から総合的に評価するための計算式です。
- 1語から4語までの連続した単語の一致率を幾何平均で合成する
- 模範解答よりも短すぎる出力に対しては短文ペナルティ BP で減点を行う
- 表層的な文字列の一致を迅速かつ客観的に算出できる一方、言い換え表現の判定には制約がある
BLEUスコアに関する理解を深めるためには、次の手順に沿って学習を進める方法を推奨します。
- 候補文「the the the」と模範解答「the cat is on the mat」のような短い例文を設定し、クリッピング処理を含めた修正適合率 p_{1} の計算過程を手計算で確認する。
- 1語（1-gram）から4語（4-gram）までの一致率を実際に算出し、幾何平均と算術平均で数値がどう変化するかを比較する。
- 候補文の単語数 c と模範解答の単語数 r の比率を変えて BP の値を算出し、減点の度合いを確認する。
- 単語の意味的な近さをベクトルで考慮する「BERTScore」や、語形変化や同義語を柔軟に扱う「METEOR」など、BLEUの課題を補うために開発された後発の評価指標へと学習範囲を広げる。
投稿者プロフィール
