| バギング (Bagging) | ブースティング (Boosting) | |
|---|---|---|
| 学習方法 | 並列学習。各モデルは互いに独立して、同時に学習する。 | 直列（逐次的）学習。前のモデルの間違いを、次のモデルが重点的に学習する。 |
| データ | 元のデータからランダムに復元抽出（ブートストラップ）した、少しずつ違うデータセットを使う。 | 同じデータセットを繰り返し使うが、間違えたデータの重み（重要度）を更新していく。 |
| 目的 | モデルのバリアンス（ばらつき）を減らす。 （過学習を抑制し、安定させる） |
モデルのバイアス（偏り）を減らす。 （弱いモデルをどんどん強くしていく） |
| 注目ポイント | 全ての学習器が一斉に学習を始める。 | 学習器が1つずつ順番に学習し、データ点（●）の大きさが変化していく。 |
| 代表例 | ランダムフォレスト | AdaBoost, 勾配ブースティング (GBDT, XGBoost, LightGBM) |