概要 AWS Glue の自動テストで aws-glue-libs コンテナイメージを使いたいが high-uid-error になってしまった。それを回避した話。 前提 AWS Glue の開発を進めやすくするために、amazon から aws-glue-libs というコンテナが公開されている。 https://hub.…

今となっては横持ちのデータを縦持ちに展開する場合、もしくは縦持ちのデータを横持ちに変換する場合、 Airflow なりDataflow なりデータパイプラインで実現すると思います。 今回は検証をしたいためだけのため、横持ちのデータを縦持ちに展開することをSQL…