今日も窓辺でプログラム

外資系企業勤めのエンジニアが勉強した内容をまとめておくブログ

Deep Learning

Tensor2Tensorを使って独自データでseq2seqしてみる

はじめに Tensor2Tensorという、広く使われているモデルやデータセットが実装されているディープラーニングのライブラリがあります。 GitHubのREADMEによると、Tensor2TensorはGoogle Brainチームなどによって開発されているようで、中身はTensorFlowで実装…

SentencePieceを使用してRNN言語モデルを学習させてみる

はじめに 前回の記事ではpytorchのサンプルコードを参考にし、Wikipediaの記事の一部に対してRNN言語モデルを学習させてみました。 RNN言語モデルのpytorch実装をWikipediaの記事で学習させてみる - 今日も窓辺でプログラムその際にWikipediaの記事を単語に…

RNN言語モデルのpytorch実装をWikipediaの記事で学習させてみる

はじめに pytorchのGitHubに上がっているサンプルを見ていたら、RNNを使って言語モデルを実装しているものがありました。 examples/word_language_model at master · pytorch/examples · GitHub本当はいろんなネットワークを1から実装するのがよいのでしょう…

RNN/LSTMを使った言語モデルをTensorFlowで実装してみる

はじめに 以前、TensorFlowのBasicRNNCellを使用して文字レベルの言語モデルを実装しました シンプルなRNNで文字レベルの言語モデルをTensorFlowで実装してみる - 今日も窓辺でプログラム今回は、前回のコードを少しだけいじって、単語レベルの言語モデルを…

TensorFlowでword2vecを使って単語ベクトルを学習する

今回やること 前回の記事で、RNNを使って文字レベルの言語モデルを実装しました。 シンプルなRNNで文字レベルの言語モデルをTensorFlowで実装してみる - 今日も窓辺でプログラム英語を対象にしたので入出力の次元は26文字+スペースの27次元で済んだのですが…

シンプルなRNNで文字レベルの言語モデルをTensorFlowで実装してみる

はじめに GoogleやMicrosoftなどがディープラーニングを使用した機械翻訳をリリースして各所で話題になっています。こんな感じで記事にもなっています。 Google翻訳、深層学習による新システムで人に迫る自然で正確な翻訳を実現 | マイナビニュース Google翻…

「ゼロから作るDeep Learning」を読んで知ったことのメモ

ディープラーニングの知識があまりない私が「ゼロから作るDeep Learning」を読んで知ったことを、自分用のメモも兼ねてまとめておきます。 本では実際のコードを使ってディープラーニングの基礎を解説していますが、今回の記事はメモなのでコードは出さずに…

モデルの評価とバックテスト ~株価予測(6)~

この記事について 前回、は日経平均の終値が始値より「上がる」か「下がる」か「ほぼ変わらない」かを予測するモデルをTensorFlowで構築しました。 今回の記事では、そのモデルの性能について詳しく評価していきます。

日経平均の終値が始値より上がるか下がるかを予測する ~株価予測(5)~

今回やること 日経平均の終値が、その日の始値に比べて「上がる」か「下がる」か「ほぼ変わらない」かを、TensorFlowを使用して予測してみたいと思います。前回までの記事では、日経平均の終値が前日の終値と比べて上がるか下がるかを予測するモデルを作成し…

隠れ層の数を調整してみる ~株価予測(4)~

今回やること 前回 はTensorBoardでグラフや損失関数、精度の変化を可視化する環境を整えました。 今回は隠れ層の層数や、各層のノードの個数を変えてみて、精度がどのように変化するのかを可視化したグラフを見ながら確認してみたいと思います。前回記事: …

TensorBoardで学習の過程を可視化する ~株価予測(3)~

今回やること 前回までに用意したデータ・ニューラルネットでは、日経平均の終値が前日より上がるか下がるかを60%後半台の精度で予測できていました。 今回は、ネットワークが最適化されていく過程をTensorBoardを使って可視化して確認してみたいと思います。

日経平均の終値が前日より上がるか下がるかをTensorFlowで予測する(2.5)

今回やること 前回まで使用していたプログラムがYahoo!Financeの仕様変更で使えなくなっていたので、書き直します。 前回までの記事はこちら: 日経平均の終値が前日より上がるか下がるかをTensorFlowで予測する(1) - 今日も窓辺でプログラム 日経平均の…

Neural-style を Windows 10 の bash で動かしてみる

この記事でやること Windows 10 で bash が使えるようになったということで、試しに neural-style を動かしてみたいと思います。ただの動作報告です。

日経平均の終値が前日より上がるか下がるかをTensorFlowで予測する(2)

この記事について 前回記事の続きです。 日経平均の終値が前日より上がるか下がるかをTensorFlowで予測する(1) - 今日も窓辺でプログラムこのシリーズでは、以下の記事で解説されていることを、日経平均に置き換えて実行しています。 datalab/FinancialTi…

日経平均の終値が前日より上がるか下がるかをTensorFlowで予測する(1)

この記事について この記事は、 datalab/FinancialTimeSeriesTensorFlow.ipynb at master · corrieelston/datalab · GitHub を日経平均に置き換えてなぞっていくシリーズの3つ目の投稿で、以下の2つの記事の続きです。 日経平均と相関のある経済指数は何か?…