Prefectというワークフローエンジン良さげ?
Software Engineering DailyでのPrefectの話があり、良さげだったのでメモ。
Prefect
- OSSワークフローエンジン
- マネージドなクラウドサービス(Prefect Cloud - Prefect)もあり、その運営会社が主に開発を行っている
- Software Engineering Dailyで話している人(Jeremiah Lowin)はそこのCEOで、かつAirflowのPMC Member & Committer(のでAirflowにも詳しい)
- Githubのコミットは2017年から
Airlfowとの違い
Airflowを特に意識しているようで、 Airflowとの比較の記事もあります。
この時期(と Software Engineering Daily)によると、Airflowには以下のような欠点があり、Prefectはそれを改善したと言っています。
- データの受け渡し
- 動的なDAG
- スケジューラーがボトルネック
- DAGのバージョン管理
見てみる
良さげなリンク
公式ページ
ドキュメント