Global Virtual Flink Forward 2020 Recap(Keynote)
10月後半にあったFlink ForwardのRecap(Keynote編)です(本邦初)。
なお、Ververcica(Flinkの創始者の会社・Forwardの運営)もRecap作ってくれています。
------
登壇者:Stephan Ewen (Flinkのファウンダーの一人)
概要:
Flinkの近況の紹介。
- Flink盛り上がっているよ!
(Apache系プロジェクトの中でもトップクラス) - 今年のバージョン新しい(1.10)の紹介。早くなったよ(Nexmark比較)!
- FlinkのBatch/Streamingの紹介
(歴史や機能概要?) - Datastream APIでBatchもStreamingも処理できるようになったよ!
登壇者:Konstantin Knauf (Vervecicaの中の人)
概要:
Flink SQLの紹介
登壇者:Xiaowei Jiang(Alibabaの人)
概要:AlibabaのFlink使用例の紹介
昔の話
- ラムダアーキテクチャ
- ストレージでは、Hive/Greenplum/HBase/ClickHouse/Cassandra/Kylin/Druid/Kuduを使用
- ↑サイロになっているし、利用者(社内のデータサイエンティストやエンジニア)選ぶの辛い
Flink後の話(Hybrid Serving/Analytical Processing(HSAP)と呼んでいる)
- バッチもストリーミングもFlink
- 統一したストレージに格納
- HSAP/HTAP(Hybrid Transaction/Analytical Processing)/OLAPの比較
-
Hologres(リアルタイムOLAP?)の紹介と内部構造の話
(WAl/LSMテーブル、パーティショニングの話など)
HSAPはAlibabaの技術ブログでも紹介されている。
登壇者:Peter Chalif(Citiの人)
概要:
そのうち見ます
登壇者: Ricky Saltzer(Epic Gamesの人)
概要:
そのうち見ます
登壇者: Renu Tewari(LinkedINの人)
概要:
そのうち見ます