Jenkinsで実行ログをリアルタイムで確認したい Jenkis ではジョブの実行ログをリアルタイムに確認することができる。 しかし、 （ Python ではスクリプト言語のため）、処理を高速化するために標準出力をバッファしてまとめて出力する。 なので、 Jenkins で…

以前の記事でも記載したが、本業のプロジェクトで ElasticSearch を利用したシステムの構築をしようとしている。 Docker で作ったデモ環境では、 Embulk での bulk insert ができていた。 しかし、 AWS Elasticsearch Service では embulk-output-elasticsea…

前回の記事で ElasticSearch と Kibana の両方を Docker で起動する方法を紹介した。 toohsk.hateblo.jp しかし、 Docker の Link などを使って管理していたので、手動で管理するものがたくさんあり、大変だった。 なので、今回は Docker Compose を利用する…

本業で ElasticSearch を使うシステム開発を行うことになった。 機能の POC を確認するため、 Docker で ElasticSearch と Kibana を起動することにした。 自分は Docker for Mac を利用している。 Note Linux 環境や Mac ユーザだけど Docker for Mac を利…

最近、Treasure Dataに触る機会が増えた。 その中で1行に2つのカラムにそれぞれコンマ区切りのデータがあり、それを行展開するのにハマったポイントがあったのでメモしておく。 そして長くなるので、最初に結論を載せておく。 どういうデータか 以下のような…

機械学習エンジニアとして副業をしていることもあり、FindyでCTOしている @ma3tk からのお誘いもあり登壇してきました。 engineer-parallel-work.connpass.com 発表資料はこちら。 speakerdeck.com 副業をしていて感じていることを話してきた。 まだ初めて数…

個人的にはTensorFlowでモデリングするようになってから、numpyを触る頻度が高くなって、それに伴いpandasを触る機会が減っていった。 データの可視化もpyplotとかseaboneとかを使って、可視化の方法を調べながら模索している状況が増えていった。 しかし、…

背景・目的 最近、深層強化学習を勉強していて、教材としては https://www.amazon.co.jp/dp/4839965625 を使っている。 コードはノートブックに記述していて、JupyterLabを利用している。 Toy problem として自作で3×3マスの迷路を自作して、選択した行動を…

機械学習で学習済みモデルの予測結果をどうやって返すべきか勉強したので、WebAPIとして提供する場合のコードのメモする。 リポジトリはこちら。 READMEに拙い英語でリポジトリの内容について書いた。 個人的な学びポイントは、 load.py の init 関数でリロ…

はじめまして toohskといいます。よろしくお願いします。 toohskの読み方は決まってません。 いろいろなところでこのIDを使ってるのですが。 友達の仕事を手伝うことを契機に 仕事でのメモや技術的なことをポストしたくなり、ブログをはじめました。 以前自…