Prefectとは AirflowやDigDagと同じワークフローエンジンです。 このブログでも紹介していますが、 Sensyさんの2020年のアドベントカレンダー ［増補改訂］ビッグデータを支える技術 JX通信社さんのブログ などがわかりやすいと思います。 英語でもよければ、公式ページ（core部分とオーケストレーションの二つ）がわかりやすいです。 Prefect Orionとは 2021/10/6にPrefectがアナウンスした「our second-generation…

…. DagsterやPrefect）はあまりないです Airlfowの「できるけどやらない方がいい事」、「やるなら注意してやるべき事」を説明してくれているのが、良きかな 「ストリーミングデータの処理」とか「xcomに大きなデータ入れる」とか「動的なDAGを書く」とか Airflowは分散Python実行基盤なので、いずれもやろうと思えば出来てしまうので、↑のような制約の把握大事 execution dateの説明に一節丸ごと使っているのが面白い。Airflowでわかりにくい＆…

人生初登壇カキコ ariaki.connpass.com 当日のスライド Prefectに関して imperfectに語る from notrogue www.slideshare.net 感想 調べるなかでも、Prefectのドキュメント読んだりコード読んだりするのが勉強にりました テーマを絞らないLTなので、ワークフローエンジンの説明とかの量が難しい （オンラインだと反応が見えにくいというのもあるかも）

…データとWebUIはPrefectCloud でしたが、全部をローカルで動かすことも出来ます。 準備 https://docs.prefect.io/core/getting_started/installation.html Docker Docker compose Python あたりをインストールした後 prefect backend server prefect server start を実行します。うまくいくと http://localhost:8080/ でP…

…g.comの続きで、Prefectに関連する概念のメモです。 Hybrid Model www.prefect.io medium.com Prefectでは「Hybrid Model」を採用しています。これは、 処理コードとデータはユーザー オーケストレーション（状態やメタデータの管理）はPrefect が担当するという方針です。センシティブなデータやコードを預けなくてすみ、また、好きなインフラを使えるメリットがあります。 AirflowのSaasSであるCloud Com…

…の続きです。 前回はPrefect Cloudのアカウントを作ったので、さっそく触ってみます。 ダッシュボードの左側、サイドメニューにはチュートリアル（下図）があります。 それをやってみます。 1. プロジェクトの選択 Prefectでは、「チーム」の下に「プロジェクト」という概念があります。 flowはプロジェクトにひも付くので、ここでプロジェクトを作成します。 2. flowのデプロイ 自動で下のflowのコードがデプロイされます（DockerHubのDockerイメージ…

Prefect Cloudとは Prefectのクラウドサービスで、スケジューラーやワーカー、データベース一式を用意してくれます。 料金 www.prefect.io 実行出来るFlow、ユーザー数、履歴の保存期間が違う３つの料金プランがあります。 Scheduler（無料） Team ($550) Enterprise（要相談） 登録 無料のSchedulerプランだと、クレジットカードの登録も無く、二、三分あれば登録出来ます。 Pricing - Prefectの「GET…

…g.comの続き。 PrefectやAirflowで言及されている動的なDAGとは 動的なDAG（Dynamic DAG）は、タスクを、DAGの実行時に決まる回数や、引数で繰り返すDAGです。 例えば、 マルチテナントなシステムで、各テナント毎に処理をしたい 似たようなテーブルが複数あって、それぞれに処理を行いたい ような場合に使いたくなります。 Airflowでの動的なDAG AIrflowで動的なDAGな対応するには、 タスクの中でループする タスクの外側（DAG定義の部…

…ng DailyでのPrefectの話があり、良さげだったのでメモ。 Prefect OSSワークフローエンジン マネージドなクラウドサービス（Prefect Cloud - Prefect）もあり、その運営会社が主に開発を行っている Software Engineering Dailyで話している人（Jeremiah Lowin）はそこのCEOで、かつAirflowのPMC Member & Committer（のでAirflowにも詳しい） Githubのコミットは201…