softwareengineeringdaily.com redwoodjs.com Software Engineering Dailyで、RedwoodJSというフレームワークの話。 ゲストはTom Preston-Wernerさんで、Githubの創業者&CEO&RedwoodJSの生みの親の人。 GraphQL React AWS Lambda あたりを組み合わせたフルス…

tl;dr insertId付けると、Streaming Insertの重複の可能性が下がる 重複排除はベストエフォートだよ 付けないメリットもあるよ insertIdとは https://cloud.google.com/bigquery/streaming-data-into-bigquery?hl=ja#dataconsistency BigQueryでStreaming In…

not-rogue.hatenablog.com では、 タスクはローカルのDocker agent メタデータとWebUIはPrefectCloud でしたが、全部をローカルで動かすことも出来ます。 準備 https://docs.prefect.io/core/getting_started/installation.html Docker Docker compose Pytho…

not-rogue.hatenablog.comの続きで、Prefectに関連する概念のメモです。 Hybrid Model www.prefect.io medium.com Prefectでは「Hybrid Model」を採用しています。これは、 処理コードとデータはユーザー オーケストレーション（状態やメタデータの管理）はP…

not-rogue.hatenablog.comの続きです。 前回はPrefect Cloudのアカウントを作ったので、さっそく触ってみます。 ダッシュボードの左側、サイドメニューにはチュートリアル（下図）があります。 それをやってみます。 1. プロジェクトの選択 Prefectでは、「…

Prefect Cloudとは Prefectのクラウドサービスで、スケジューラーやワーカー、データベース一式を用意してくれます。 料金 www.prefect.io 実行出来るFlow、ユーザー数、履歴の保存期間が違う３つの料金プランがあります。 Scheduler（無料） Team ($550) En…

not-rogue.hatenablog.comの続き。 PrefectやAirflowで言及されている動的なDAGとは 動的なDAG（Dynamic DAG）は、タスクを、DAGの実行時に決まる回数や、引数で繰り返すDAGです。 例えば、 マルチテナントなシステムで、各テナント毎に処理をしたい 似たよ…

softwareengineeringdaily.com Software Engineering DailyでのPrefectの話があり、良さげだったのでメモ。 Prefect OSSワークフローエンジン マネージドなクラウドサービス（Prefect Cloud - Prefect）もあり、その運営会社が主に開発を行っている Software…