今日も窓辺でプログラム

外資系企業勤めのエンジニアが勉強した内容をまとめておくブログ

ニューラルネットワークを実装する [Part 3 隠れ層とバックプロパゲーション(誤差逆伝播法)編]

はじめに 前回の記事の続きです。Peters's NoteのPart 3を追っていきます。 非常にシンプルなモデルを使って、隠れ層が果たす役割や、バックプロパゲーション(誤差逆伝播法)の考え方を見つつ、実装していきます。 目次 はじめに 目次 今回扱うニューラルネッ…

ニューラルネットワークを実装する [Part 2 ロジスティック回帰編]

はじめに Peter's Notes のニューラルネットワークに関するメモのPart 2の部分を追っていきます。 前回は線形回帰でしたが、今回はロジスティック回帰です。前回の記事: www.madopro.net 目次 はじめに 目次 ロジスティック回帰 重みの学習に使用する入力の…

ニューラルネットワークを実装する [Part 1 線形回帰]

はじめに 最近機械学習の勉強ができてなかったのですが、知人にとあるチュートリアルをおすすめされたので、自分の学習も兼ねて紹介記事を書いていきます。Peter's Notes というメモの How to implement a neural networkというシリーズです。 まずこの記事…

Python (Flask) を使って簡単なLINEのBotを作ってみる

はじめに ここ最近新しいチームに参加し、仕事がバタバタしていて更新が滞ってしまっていました。 以前のチームとはかなり毛色や作業内容が異なるので、今回は新しいチームでの勉強も兼ねて記事を書いてみます。今回は、LINEが提供しているMessaging APIを使…

初めてはてなブックマークのホットエントリーに掲載されたので、アクセスログを解析してみた

ホットエントリーに掲載されました 先日、当ブログのこの記事がはてなブックマークのホットエントリーに掲載されました。 www.madopro.netこの記事を書いている時点で500個以上のブックマークをいただいています。私が観測していた限り、このブログの記事が…

RNN/LSTMを使った言語モデルをTensorFlowで実装してみる

はじめに 以前、TensorFlowのBasicRNNCellを使用して文字レベルの言語モデルを実装しました シンプルなRNNで文字レベルの言語モデルをTensorFlowで実装してみる - 今日も窓辺でプログラム今回は、前回のコードを少しだけいじって、単語レベルの言語モデルを…

Pythonの標準出力でのUnicodeEncodeErrorの原因となる文字を置換する方法

目次 標準出力でのUnicodeEncodeError 標準出力はio.TextIOWrapperで管理されている 解決方法 参考記事 標準出力でのUnicodeEncodeError Pythonで日本語の処理をしていると、UnicodeEncodeErrorに出くわすことがあるかと思います。例えば私が今回遭遇したの…

CNTKでロジスティック回帰を試してみました

はじめに CNTKのチュートリアルの一つ目の題材がロジスティック回帰だったので、チュートリアルに沿ってロジスティック回帰をしてみます。 今回は、下記のチュートリアルを追いかけたものを日本語で解説しているような記事になります。 CNTK/CNTK_101_Logist…

CNTKの環境構築と動作確認をしてみる

はじめに GoogleがTensorFlowというディープラーニングのフレームワークを提供しているように、MicrosoftもCNTKというディープラーニングのフレームワークを提供しています。 普段はTensorFlowを触っていたのですが、仕事でCNTKも触らなきゃいけなさそうなの…

TensorBoardのEmbedding Visualizationで単語ベクトルたちを可視化してみる

はじめに TensorFlowの0.12から、Embedding Visualizationという機能が追加されました。 単語や画像などを表現しているベクトルを可視化するためのツールです。公式サイトの説明ページを開いてみてください。Embeddingが3次元空間にきれいに可視化されていて…

日経平均のテクニカル指標を計算してヒストグラムや散布図を書いてみる

はじめに 以前、日経平均が日中にどの程度動くかの予想にチャレンジしていました。 www.madopro.netS&P500、ハンセン、DAXなど、世界各国の指標をもとにして予想するというアプローチだったのですが、以前のアプローチだと日中の値動きを予測するのにはあま…

Pythonでローソク足と出来高を1つのチャートに簡単に描く方法

今回やること Pythonを使ってYahoo!ファイナンスの株価時系列データを読み込み、ロウソク足と出来高のチャートをひとつの図に描く方法を紹介します。 データの読み込みにpandas、描画にはmatplotlibを使用します。

「SOFT SKILLS ソフトウェア開発者の人生マニュアル」がブログを書き始めたきっかけでした

読んだ本 まだ年始のお休み中で少し時間もあるので、たまには気分転換に書評というか、読んだ本の感想でも書いてみようと思います。今回読んだ本は、「SOFT SKILLS ソフトウェア開発者の人生マニュアル」という本です。SOFT SKILLS ソフトウェア開発者の人生…

金融データのPythonでの扱い方

はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Udacity - Free Online Classes & Nanodegreesサイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 こ…

TensorFlowでボートレースの予想しようとして失敗した話

はじめに 以前は日経平均が上がるか下がるかを予測していましたが、少し気分を変えてボートレースの結果を予測してみようと思い立って実装しました。 結論からいうと、今回は非常に単純なモデルを使い、訓練データに対しては完璧な精度を出したのですがテス…

TensorFlowでword2vecを使って単語ベクトルを学習する

今回やること 前回の記事で、RNNを使って文字レベルの言語モデルを実装しました。 シンプルなRNNで文字レベルの言語モデルをTensorFlowで実装してみる - 今日も窓辺でプログラム英語を対象にしたので入出力の次元は26文字+スペースの27次元で済んだのですが…

Pythonでunzipってどうやるの?

Pythonのリストを結合するzip関数の逆の挙動を実現する方法について、今日初めて知ったので記事として残しておきます。 そもそもzip関数とは zip関数は次の例のように、複数のイテラブル(下の例の場合はリスト)のi番目の要素をまとめた新しいイテレータを…

シンプルなRNNで文字レベルの言語モデルをTensorFlowで実装してみる

はじめに GoogleやMicrosoftなどがディープラーニングを使用した機械翻訳をリリースして各所で話題になっています。こんな感じで記事にもなっています。 Google翻訳、深層学習による新システムで人に迫る自然で正確な翻訳を実現 | マイナビニュース Google翻…

「ゼロから作るDeep Learning」を読んで知ったことのメモ

ディープラーニングの知識があまりない私が「ゼロから作るDeep Learning」を読んで知ったことを、自分用のメモも兼ねてまとめておきます。 本では実際のコードを使ってディープラーニングの基礎を解説していますが、今回の記事はメモなのでコードは出さずに…

日経平均の日中の値動きと高い相関のある他国の指数は存在するのか?

この記事について 以前までの記事で、「日経平均株価の終値が、その日の始値に比べて上がる(UP)のか、下がる(DOWN)のか、ほぼ変わらない(SAME)のか」をTensorFlowを使って予測しようとするシリーズを投稿していました。 日経平均が日中どのくらい変動するか…

pandasで使われるデータ構造 ~1次元、2次元、3次元のデータの扱い方~

この記事について 今までなんとなくで使用していたpandasですが、なんとなくで実装していたコード(日経平均予想のやつです)が汚くメンテナンスが難しくなってきたので、一度ちゃんとpandasでのデータの扱い方をまとめておこうと思って書いたものです。pand…

LeetCode 307: Range Sum Query - Mutable をセグメント木で解く

この記事について Union-findに続き、コーディング面接に備える上で大事そうなデータ構造であるセグメント木を勉強したので、セグメント木を使用して解ける問題を解いてみます。 セグメント木とは? セグメント木自体の説明は、また他の方のスライドに丸投げ…

Microsoft Bot Framework と LUIS で複数の状態を持ったBotを作ってみる (完結編)

この記事について 以前投稿していたMicrosoft Bot Framework シリーズの完結編です。期間も空きましたし、その間にSDKのバージョンが上がったりLUISが日本語対応したりといろいろあったので、今までやってきたことの復習も含めて書いていきます。 Microsoft …

LeetCode 200: Number of Islands をUnion-findを使って解く

この記事について Union-findについて勉強したので、LeetCodeのNumber of Islandsという問題をUnion-findを使用して解いてみます。 Union-findとは? Union-findは素集合データ構造を操作するためのアルゴリズムで、2つの要素が同じ集合に属しているのかを判…

LeetCode 392: Is Subsequence

この記事で扱う問題 LeetCodeの392 Is Subsequenceという問題を解きます。 文字列 s と t があるとき、sがtの部分列 (subsequene)かどうかを判定せよ。sとtは英語の小文字のみを含む文字列で、tは長い(50万文字)こともあるが、sは短い文字列(100文字以下)で…

LeetCode 338: Counting Bits

この記事で扱う問題 LeetCodeのCounting Bitsという問題を解きます。問題を適当日本語訳で引用すると、 負でない整数 num が与えられる。 0 例:num = 5 の場合、戻り値は [0,1,1,2,1,2] となる。 https://leetcode.com/problems/counting-bits/ といった感…

日経平均が日中どのくらい変動するかをTensorFlowで予測する (今までのまとめ)

この記事について 少し時間が空いてしましましたが、日経平均予測シリーズの続編です。 ニューラルネットワークを用いて、ある日の日経平均の終値が当日の始値と比べて「上がる」か「下がる」か「ほぼ変わらない」かを予測します。今まで数回の記事で日経平…

加算演算子だけを使用して、減算・乗算・除算を実装する

今回解いた問題 「加算演算子(+)だけを使用して、減算・乗算・除算を実装せよ」『世界で闘うプログラミング力を鍛える150問 トップIT企業のプログラマになるための本 』を解いている際に見つけた問題を解いてみました。 以前LeetCodeでも似たような問題を解…

n & (n - 1) == 0 の意味とは?

最近問題を解いていて n & (n - 1) == 0 というような条件式をたまに見かけます。結論から言うとこれは n が0または2の累乗 (= )かどうかを判定する条件式なのですが、どうしてそうなるのか丁寧に見ていきたいと思います。

mapとunordered_mapの実装や性能の違い

C++のstd::mapとstd::unordered_mapの実装の違いを知らなくて恥ずかしい思いをしたので、調べた結果をまとめておきます。 記事のまとめ std::mapは平衡二分探索木、std::unordered_mapはハッシュテーブルで実装されている。 キーの順番を保持したい場合はmap…