検索順位を上げる！最強の決定木アルゴリズム、LightGBMとXGBoostを徹底比較
山崎講師こんにちは。ゆうせいです。
みなさんは、大量のデータから未来を予測したいと思ったことはありませんか。そんなとき、データサイエンティストたちの間で絶大な信頼を得ている武器があります。それが、今回ご紹介するLightGBMとXGBoostです。
これらはどちらも勾配ブースティング決定木と呼ばれる技術をベースにしています。しかし、同じ目的を持ちながらも、性格や得意分野は驚くほど異なります。本日は、この二つの違いをどこよりも分かりやすく解説しますね。準備はいいですか。
そもそも勾配ブースティングとは何か
まず、基礎となる勾配ブースティングについてお話ししましょう。これは、一言でいえば「弱い力士たちが集まって、一人では倒せない強敵に挑む」ような仕組みです。
最初は頼りない小さな予測モデル（弱学習器）を作ります。当然、予測は外れます。しかし、次に来る二番目のモデルは、一番目が間違えた部分を重点的に学習します。三番目は、さらにその残った間違いを修正します。これを繰り返すことで、最終的に非常に精度の高い予測が可能になるのです。
この「間違いを修正する力」の計算に、数学的な勾配という概念を使います。
損失関数を最小化する魔法の計算
機械学習では、予測がどれだけ外れたかを測る物差しを損失関数と呼びます。この値をゼロに近づけることが目標です。
ここで、一つ数式を整えてみましょう。予測の誤差がどのように更新されるか、イメージしてみてください。
新しい予測値 = 現在の予測値 + 学習率 
このように、一歩ずつ正解に近づいていくのが勾配ブースティングの基本です。
XGBoostは「慎重派」のリーダー
XGBoostは、2014年頃に登場して以来、数多くのデータ分析コンペティションで優勝をさらってきた伝説的なアルゴリズムです。
特徴を例えるなら、石橋を叩いて渡る慎重派の職人です。データの区切り（しきい値）を探すとき、すべての可能性を丁寧に吟味します。
XGBoostのメリットとデメリット
メリットは、何といってもその安定感です。L1正則化やL2正則化といった、モデルが複雑になりすぎて学習データにだけ馴染みすぎてしまう「過学習」を防ぐ機能が非常に強力です。
一方で、デメリットは計算に時間がかかることです。データを一行ずつ丁寧に処理するため、データ量が膨大になると、コーヒーを何杯も飲み干すほど待たされるかもしれません。
LightGBMは「効率派」のスピードスター
対してLightGBMは、Microsoftが開発した新時代のアルゴリズムです。こちらはとにかく足が速い。
なぜそんなに速いのでしょうか。それは、データの見方が独特だからです。これを「リーフワイズ」と呼びます。
成長の方向性が違う
通常の決定木は、左右の枝をバランスよく伸ばしていきます。しかしLightGBMは、最も誤差を減らせそうな枝だけを、なりふり構わず深く伸ばします。
また、数値をそのまま扱うのではなく、ヒストグラム化という技術を使って「ざっくりとしたグループ」にまとめて処理します。100点満点のテスト結果をそのまま見るのではなく、10点刻みのランクで見るようなイメージです。
LightGBMのメリットとデメリット
メリットは、圧倒的な実行速度とメモリ使用量の少なさです。大規模なデータを扱う現代のビジネスシーンでは、この速さが正義となります。
しかし、デメリットもあります。データが少ないときに使うと、特定の枝だけが伸びすぎて、未知のデータに対して全く役に立たない極端なモデル（過学習）になりやすいのです。初心者の方は、このジャジャ馬な性格に注意してください。
どちらを選べばいいのか
判断に迷ったら、まずはこの基準で選んでみましょう。
- データが1万件以下で、じっくり精度を高めたいならXGBoost
- データが数万件、数百万件とあり、短時間で何度も実験したいならLightGBM
皆さんが今持っているデータは、どちらの性格に合っていそうですか。
違いを整理する比較表
二つの特徴を分かりやすく表にまとめました。
| 特徴 | XGBoost | LightGBM |
| 開発元 | コミュニティ（DMLC） | Microsoft |
| 学習速度 | やや遅い | 非常に速い |
| メモリ消費 | 多い | 少ない |
| 木の成長 | レベルワイズ（横に広がる） | リーフワイズ（縦に伸びる） |
| 大規模データ | 苦手ではないが時間がかかる | 非常に得意 |
まとめと今後の学習指針
LightGBMとXGBoostは、どちらが優れているというわけではありません。道具は使い分けが肝心です。
まずは、自分の手元にあるデータで両方を動かしてみることから始めましょう。Pythonを使えば、数行のコードで試すことができます。
- まずは小さなデータでXGBoostの安定感を体験する。
- 次に大きなデータセットを探してきて、LightGBMの爆速ぶりを体感する。
- ハイパーパラメータ（設定値）をいじって、精度がどう変わるか観察する。
このステップを踏めば、あなたも立派なデータ分析の専門家への第一歩を踏み出せます。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
