久しぶりにparquet file を扱う機会があり、中身を見る必要があったので、やり方を残しておく。 $ brew install parquet-tools 以前のブログでツールはなるべくビルドしたいと書いたが、今回は brew でインストールした。 Java の環境などはセットアップして…

この記事はZenn.devで書いた記事です。 Summary Airflow のdag とtask には、doc_mdというものがあるよ。 これを使えばタスクの定義や目的をみんな大好きMarkdown形式で記述することができるよ。 今回は、Airflow==1.10.12を使ってるけど、Airflow<=1.10.1か…

Rust をインストールして、色々合わせてインストールされたので、それぞれの役割を書いていきます。 Rust インストール 先日の記事でもRust のインストールを紹介したが、rust-lang.org にインストール方法を説明するページがあるので、そちらを参照されたい…

先日、同僚とモブプログラミングをしていてrgコマンドを使ってgrepに近いことをしていてとても便利そうだったので、導入しようとおもったので、記事にしました。 巷を賑わすRust 製のコマンドたち 最近、自分のターミナルを豊かにするアンテナを貼っていなか…

こんにちは管理人のtoohskです。 下記、「プライバシーポリシー」に関して記載致しましたので、ご一読願います。 当サイトへのコメントについて 免責事項 プライバシーポリシーの変更について 当サイトに掲載されている広告について 当サイトでは、第三者配…

Python のNumpy array やList オブジェクトのコピーで気をつけたいところの忘備録をブログにしました。 スライス操作による違いも試してみているので、ぜひ一読ください。

k8s の中にRDB コンテナをデプロイして管理するもよいと思いますが、 RDB だけフルマネージドサービスを使うパターンもあるかと思います。 アプリケーションコンテナはGKE で、RDB はCloudSQL で動かすにはどうしようと考えていたところ、Google Cloud のド…

TL;DR; k8s のpod 内にあるファイルは kubectl cp コマンドでローカルにコピーできるよ 何がしたかったか サーバーにあるファイルをアップロードやダウンロードする場合、よくscp で行うかと思います。 本業の開発では、kubernetes (以下、k8s) を用いて運用…