久しぶりにparquet file を扱う機会があり、中身を見る必要があったので、やり方を残しておく。 $ brew install parquet-tools 以前のブログでツールはなるべくビルドしたいと書いたが、今回は brew でインストールした。 Java の環境などはセットアップして…

この記事はZenn.devで書いた記事です。 Summary Airflow のdag とtask には、doc_mdというものがあるよ。 これを使えばタスクの定義や目的をみんな大好きMarkdown形式で記述することができるよ。 今回は、Airflow==1.10.12を使ってるけど、Airflow<=1.10.1か…