カーキ色はヒンディー語らしい

技術記事は https://zenn.dev/notrogue

2020-07-12から1日間の記事一覧

Apache BeamのDoFnで匿名クラス使う時はSerializableに気をつけようという話

BeamでDoFn書く時に、↓のように匿名クラスを使って書けます。 PCollection<Integer> wordLengths = words.apply( "ComputeWordLengths", // the transform name ParDo.of(new DoFn<String, Integer>() { // a DoFn as an anonymous inner class instance @ProcessElement public void p</string,></integer>…

Airflowの動的なDAGでclearする時の話

ハマったのでメモ。(Airflow 1.10.2/Cloud Composer) 状態 Airflow Variableにも基づき、Airflowのタスクを動的に作成していた(Apache Airflow: Create dynamic DAG – Big Data & ETLのようにタスク外の部分でループしている感じ) DAG Runが実行・修了 A…