階層的ソフトマックス ロジスティック回帰を階層的なグループ(ハフマン木のノード)に対して使うことでソフトマックスを近似する手法

低ランク近似 巨大な行列を細い行列の積で近似すること 画像の例では、Vを次元3で近似しています。

Bag-of-Words(BOW) とは Bag-of-Words とは、「文章」をその中に含まれている単語の 1-of-K ベクトルを足し合わせたもので表現する方法 画像の例では、「あの」に対しては、文のベクトルの0番目の値を1にするというルールが適応されている 例 「私は君が…

1-of-K表現 (One-hot表現ともいう) K種類の離散値を取る確率変数の表現手法 成分のひとつだけが1、残りがすべて0となるK 次元ベクトルで表現する