忘備録

k8s のpod の中のファイルをlocal にコピーしてくる方法

TL;DR; k8s のpod 内にあるファイルは kubectl cp コマンドでローカルにコピーできるよ 何がしたかったか サーバーにあるファイルをアップロードやダウンロードする場合、よくscp で行うかと思います。 本業の開発では、kubernetes (以下、k8s) を用いて運用…

Pandas DataFrame のX軸の単位を調整する

内容 DataFrame で histogram を描画したときの x, y 軸のスケールの表示を調整する方法について、ハマったのでメモとして残しておきます。 TL;DR DataFrame から直接 df.hist とするのではなく、 一度、 df.plot で matplotlib.axes._subplots.AxesSubplot …

Pandas DataFrame で圧縮したデータファイルを読み込む

概要 圧縮されたファイルを Pandas DataFrame で読み込むための手順を紹介する。 毎回解凍してから読み込みをしていたのを、圧縮したまま読み込めたので、忘備録として残す。 今回は gzip 圧縮した前提で記載します。 内容 すごくシンプルだったので、まずコ…

Python で標準出力をリアルタイムに出力する方法

Jenkinsで実行ログをリアルタイムで確認したい Jenkis ではジョブの実行ログをリアルタイムに確認することができる。 しかし、 ( Python ではスクリプト言語のため)、処理を高速化するために標準出力をバッファしてまとめて出力する。 なので、 Jenkins で…

Docker で ElasticSearch + Kibana 環境を構築してみた。

本業で ElasticSearch を使うシステム開発を行うことになった。 機能の POC を確認するため、 Docker で ElasticSearch と Kibana を起動することにした。 自分は Docker for Mac を利用している。 Note Linux 環境や Mac ユーザだけど Docker for Mac を利…

PandasでJSONファイルを保存するときの注意点

個人的にはTensorFlowでモデリングするようになってから、numpyを触る頻度が高くなって、それに伴いpandasを触る機会が減っていった。 データの可視化もpyplotとかseaboneとかを使って、可視化の方法を調べながら模索している状況が増えていった。 しかし、…

JupyterLabでアニメーションが動作しないときの対処

背景・目的 最近、深層強化学習を勉強していて、教材としては https://www.amazon.co.jp/dp/4839965625 を使っている。 コードはノートブックに記述していて、JupyterLabを利用している。 Toy problem として自作で3×3マスの迷路を自作して、選択した行動を…