BaggingとBoosting、2つのアンサンブル学習の違いをアニメーションで比較します。
このページは、機械学習のアンサンブル学習の代表的な2つの手法、バギング (Bagging) と ブースティング (Boosting) の動作の違いを視覚的に理解するためのデモです。どちらも、多数のシンプルなモデル(弱学習器)を組み合わせて、より強力なモデルを構築する手法ですが、そのアプローチは大きく異なります。
戦略: 「多様なメンバーで多数決」
観察ポイント: 学習を開始すると、右下の「弱学習器たち」が一斉に生成されます。Baggingを選択した場合、各弱学習器のパネルには、その学習に使われたデータ点(ブートストラップサンプル)が薄く表示されます。それぞれ少しずつ違うデータを見ていることがわかります。
戦略: 「苦手分野を重点的に反復練習」
観察ポイント: 学習を開始すると、弱学習器が一つずつ順番に生成されます。Boostingを選択した場合、各弱学習器のパネルには、その時点での重み付けされた全データが表示されます。点の大きさが「重み」を表しており、学習が進むにつれて分類が難しい境界線付近の点のサイズが大きくなっていく様子が確認できます。