cloud.google.comデプロイに関するノウハウ記事で、気になったところのメモです。他の章のメモはこちら。 Streamingだと全般的にジョブの更新面倒そうなのが辛い‥Flinkとかだと違うのでせうか。 CI/CD CI/CDの一般論的な話も多いですが、 DirectRunnerによる…

techfesta.connpass.com イベント自体は知っていましたが初参加。 感想 インフラエンジニアの勉強会（Peatixかどこかに記載あったはず）だと思っていますが、キャリア一般とかフロントエンドとか範囲広いのですね。 資料を事前・事後に（SpeakerDeckなどで）…

cloud.google.com 開発前に気にすることが紹介されている資料のメモです。他の章のメモはこちら。 サービスレベル Data Freshness 何％のデータが時間内で処理される、未処理の一番古いデータがある時間、パイプラインが一定時間内に終るなどの指標。 Data c…

Googleが2020/6月に公開したDataflowの記事が勉強になったのでメモ。 開発 cloud.google.com 計画 cloud.google.com 自分のメモ not-rogue.hatenablog.com デプロイ cloud.google.com 自分のメモ not-rogue.hatenablog.com モニタリング cloud.google.com

BeamでDoFn書く時に、↓のように匿名クラスを使って書けます。 PCollection<Integer> wordLengths = words.apply( "ComputeWordLengths", // the transform name ParDo.of(new DoFn<String, Integer>() { // a DoFn as an anonymous inner class instance @ProcessElement public void p</string,></integer>…

ハマったのでメモ。（Airflow 1.10.2/Cloud Composer） 状態 Airflow Variableにも基づき、Airflowのタスクを動的に作成していた（Apache Airflow: Create dynamic DAG – Big Data & ETLのようにタスク外の部分でループしている感じ） DAG Runが実行・修了 A…