TF-IDFの名前の由来と文書解析における重要度計算の仕組みを初心者向けに解説

2026年10月11日 2026年10月11日山崎講師

山崎講師

こんにちは。ゆうせいです。

自然言語処理や情報検索の分野では、文章の中から重要な単語を自動的に見つけ出す技術が広く使われています。検索エンジンで調べたい言葉を入力した際に、関連性の高い記事が上位に表示される背景にも、こうした単語の重要度を測る計算手法が存在します。その代表的な手法のひとつがTF-IDFです。今回は、TF-IDFという名称の由来や計算の仕組み、実用上の長所と短所について解説します。

TF-IDFという名称の由来

TF-IDFは、Term Frequency（単語の出現頻度）とInverse Document Frequency（逆文書頻度）という2つの指標の頭文字をハイフンで繋いだ名称です。

それぞれの用語は、単語の重要度を測るための異なる視点を表しています。

Term Frequencyの役割

Term Frequencyは、日本語で単語の出現頻度と訳されます。あるひとつの文書の中で、その単語がどれくらい頻繁に現れているかを示す数値です。

学校の授業で提出する読書感想文を例に考えてみます。原稿用紙の中に特定の言葉が何回も登場している場合、その言葉は感想文の主題に関係している可能性が高いと考えられます。文書内での登場回数が多い単語ほど、その文書にとって大切であると判断する指標がTerm Frequencyです。

Inverse Document Frequencyの役割

Inverse Document Frequencyは、日本語で逆文書頻度と訳されます。多くの文書に共通して登場するありふれた単語の評価を下げ、ごく一部の文書にしか現れない珍しい単語の評価を高くするための指標です。

再び読書感想文を例に挙げます。「です」や「ます」、「本」といった言葉は、学級の生徒全員の感想文に何度も登場します。このように誰の文章にも等しく現れる言葉は、ある特定の生徒の感想文の特徴を表すキーワードには適していません。一方で、特定の感想文にだけ現れる専門用語や作中の登場人物名は、その文章独自のテーマを強く反映しています。たくさんの文書に出てくる単語の価値を低く見積もり、珍しい単語の価値を高く見積もるための指標がInverse Document Frequencyです。

頻度を表すTerm Frequencyと、ありふれた単語の重みを下げるInverse Document Frequencyの積を計算することから、この手法はTF-IDFと命名されました。

TF-IDFの計算式と仕組み

TF-IDFは、2つの数値を掛け合わせることで単語の最終的な重要度を算出します。

単語頻度TFの計算

単語 t が文書 d の中で出現した回数を、文書 d に含まれるすべての単語の延べ出現回数の総和で割ることで求めます。

文書 d における単語 t のTF値

$\mathrm{TF}(t, d) = \frac{n_{t, d}}{\sum_{s \in d} n_{s, d}}$

数式内の n_{t, d} は文書 d における単語 t の出現回数を表します。

逆文書頻度IDFの計算

全文書数を、単語 t が含まれている文書の総数で割り、その値の対数をとることで求めます。分母が 0 になる事態を防ぐため、通常は分母に 1 を加える調整が行われます。

単語 t のIDF値

$\mathrm{IDF}(t, D) = \log \left( \frac{\vert{}D\vert{}}{\vert{}\{d \in D : t \in d\}\vert{}} \right)$

数式内の |D| は収集された文書の総数を表し、分母は単語 t を含む文書の数を表します。

TF-IDF値の算出

算出した2つの値を掛け合わせることで、文書 d における単語 t の重み付けを行います。

TF-IDFの乗算式

$\mathrm{TF\text{-}IDF}(t, d, D) = \mathrm{TF}(t, d) \times \mathrm{IDF}(t, D)$

特定の文書の中で何度も使われており、なおかつ他の文書にはあまり含まれていない単語ほど、高い数値が得られます。

TF-IDFのメリット

TF-IDFを採用することによって確認されている具体的な長所には、以下の項目が挙げられます。

計算処理の簡潔さ：複雑なニューラルネットワークの学習を必要とせず、単語の出現頻度と文書数の集計のみで計算できるため、処理速度が高速です。
特徴語の抽出精度：頻出する助詞や一般的な接続詞の重みを自動的に低く抑え、文書ごとの固有のキーワードを的確に抽出できます。
解釈の容易さ：算出された数値の根拠が明確であり、なぜその単語が重要と判定されたのかを人間が数値から直接確認できます。

TF-IDFのデメリット

一方で、TF-IDFを運用する際には以下のような短所も確認されています。

文脈や語順の無視：単語の並び順や文脈を考慮せずに出現回数のみを扱うため、語順が異なる類似文の違いを区別できません。
同義語と多義語への非対応：「車」と「自動車」のような同じ意味を持つ異なる表記を別の単語として扱い、複数の意味を持つ単語の文脈に応じた使い分けを捉えられません。
未知語への対応：計算を行う時点で母集団に含まれていなかった新しい単語に対しては、適切な重みを付与することが困難です。

まとめと次の学習ステップ

TF-IDFは、文書内における単語の出現頻度（Term Frequency）と、全体の中での希少性を示す逆文書頻度（Inverse Document Frequency）を掛け合わせる計算手順に由来して命名されました。文章の特徴を数値化するための基礎的な技術として、検索処理やテキスト分類で利用されています。

TF-IDFの理解を深めるための学習ステップは以下の通りです。

形態素解析ツールの使い方を学び、日本語の文章を単語単位へ正しく分割する処理を身につける。
実際に複数の短い文章を用意し、手計算または表計算ソフトを用いて単語ごとのTF値とIDF値を算出してみる。
文書全体を単語の重要度ベクトルとして表現し、コサイン類似度を用いて文書同士の類似度を計算する手法へ進む。
単語の出現頻度だけでなく文脈の意味関係を捉えるWord2VecやBERTなどの深層学習モデルとの違いを比較する。

基礎的な頻度計算の考え方を把握しておくことで、近年の高度なテキスト解析手法や検索技術の設計思想についても理解を深めることができます。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。