2020-05-05から1日間の記事一覧
not-rogue.hatenablog.comの続きです。 前回はPrefect Cloudのアカウントを作ったので、さっそく触ってみます。 ダッシュボードの左側、サイドメニューにはチュートリアル(下図)があります。 それをやってみます。 1. プロジェクトの選択 Prefectでは、「…
Prefect Cloudとは Prefectのクラウドサービスで、スケジューラーやワーカー、データベース一式を用意してくれます。 料金 www.prefect.io 実行出来るFlow、ユーザー数、履歴の保存期間が違う3つの料金プランがあります。 Scheduler(無料) Team ($550) En…
not-rogue.hatenablog.comの続き。 PrefectやAirflowで言及されている動的なDAGとは 動的なDAG(Dynamic DAG)は、タスクを、DAGの実行時に決まる回数や、引数で繰り返すDAGです。 例えば、 マルチテナントなシステムで、各テナント毎に処理をしたい 似たよ…