読者です 読者をやめる 読者になる 読者になる

日々を綴る。

主に日報。研究の話が多め。

5月14日 sat

Word2Vec を知るためにオススメなサイト

word2vec の何がすごいのかがわかる

unnonouno: NIPS2013読み会でword2vec論文の紹介をしました

word2vecがでたばかりの情報だと思うので、概要とかこの式はこんなことをしていてーみたいなのがわかっていく。
たぶん、一番何度も読みなおした

word2vec の前の話しからしている

www.slideshare.net

word2vec について書いてるんだけど、word2vec 以外のことも書いている。
word2vec 以外のことも知らない人=ディープラーニング?分布表現?分散表現?みたいなひとにオススメ

超丁寧に式をなぞってくれる

Word2Vec のニューラルネットワーク学習過程を理解する · けんごのお屋敷

じゃあ実装しましょうかってなったら、絶対に mikolov の論文だけじゃ足りないと思う。
このサイトが一番すごい
式の意味を考えるのがすごく丁寧。
ただ、Skip-gram と Negative Sampling しか載っていないので、そこは注意
絶対に見たほうがいい


おすすめの本

O'Reilly Japan - word2vecによる自然言語処理

正しく言うとコレしか読んでないんだけど、これはおすすめ
とりあえず前半は手を動かす。
そのあとに理論が載っている

正直、理論的なところはふわふわと概念的に載せているんだけど、そこを Word2Vec のニューラルネットワーク学習過程を理解する · けんごのお屋敷 でカバーすると良い感じにわかる


感想

NNもわからない状態で、word2vec なんてやるもんじゃなかった