今日も窓辺でプログラム

外資系企業勤めのエンジニアが勉強した内容をまとめておくブログ

2017-11-01から1ヶ月間の記事一覧

Wikipediaでword2vecの学習してEmbedding Projectorで可視化してみる

はじめに 前回の記事で、Wikipediaの全行に対してループを回せるような環境を用意しました。 www.madopro.netそのコードを利用して、今回はWikipediaの全記事をもとに gensimを使ってword2vecモデルを学習して、 その結果をEmbedding Projectorを使って可視化…

Wikipediaの日本語記事を全行を、分かち書きしてforループで回す

はじめに 機械学習の勉強をするにあたって、日本語Wikipedia全文を学習データにできるとよさそう、ということでデータのダウンロードから、分かち書きされた文章をPythonのfor文で回す段階にもっていく方法をまとめました。 はじめに 環境 コード Wikipedia…

scikit-learnのtrain_test_splitで訓練データとテストデータを分割する

はじめに scikit-learnのtrain_test_splitという関数を使うと、データセットを訓練データをテストデータに簡単に分割できます。 同じくscikit-learnに付属している数字手書き文字のデータセットを使用した例を紹介します。

ニューラルネットワークを実装する [Part 4 バックプロパゲーションのベクトル化]

はじめに 前回に引き続き、Peters' NoteのPart 4 Vectorizationを見ていきます。今回の記事では2クラス分類問題に対して、 バックプロパゲーションをベクトルで扱う方法 Gradient Checking モーメンタム法 を順に実装していきます。 目次 はじめに 目次 今回…