Beam Summit 2020 #1

Beam Summit 2020とは

2020.beamsummit.org

• 2020/08/24~28に行われた、Beamのオンラインイベント
• 2019年は、Beam Summit North America 2019 - YouTubeとBeam Summit Europe 2019 - YouTubeがあった
• 録画もある
• 英語

聞いてみたセッションの話

Program | Beam Summit多いので選ぶの大変…

2020.beamsummit.org

• BeamのPMC＆Googleの人

• タイトル通り、Beamの歴史の話・今やっていること・今後やりたいこと
• プロジェクト状況（現在のチケット状況やコミッター）

今やっていること

• SQL・Kotlin・Scalaのサポート
• Portability Framework
• schemaとdataframework
• 実際の使用例にそった、パターン例の整理

 今後やりたいこと

• 言語またいだTransform
• C#
• 操作性の向上（スナップショット・Stateの異動・failoverやbackfill）
• ループ（今も出来るけどBeam modelぽくした）
• CEP(複合イベント処理 - Wikipedia)（何かよくわらかん）
• 最適化の向上
• Retractions（これ？Retractions in Beam - Google ドキュメント）

2020.beamsummit.org

• BeamのPMC二人と、Googleの人
• BeamにあるStateの話ではなく、Beamの全体像・アーキテクチャの話
• 従来とPortable Frameworkの違い（SDK HarnessやBeamとRunnnerの連絡など）
• Beamを便利にするためにやっていること（Jupyterとうとう）
• 各言語のSDKの状況
• IO Connector(SnowFlake, Spanner, 各ConnectorのSplittableDoFn化)
• 各Runnerの状況（Spark, Flink, Dataflow）