カーキ色はヒンディー語らしい

技術記事は https://zenn.dev/notrogue

Global Virtual Flink Forward 2020 Recap(Keynote)

www.flink-forward.org

 

10月後半にあったFlink ForwardのRecap(Keynote編)です(本邦初)。

なお、Ververcica(Flinkの創始者の会社・Forwardの運営)もRecap作ってくれています。

www.ververica.com

------

 

www.youtube.com

登壇者:Stephan Ewen (Flinkのファウンダーの一人)

概要:

Flinkの近況の紹介。

  • Flink盛り上がっているよ!
    Apache系プロジェクトの中でもトップクラス
  • 今年のバージョン新しい(1.10)の紹介。早くなったよ(Nexmark比較)!
  • FlinkのBatch/Streamingの紹介
    (歴史や機能概要?)
  • Datastream APIでBatchもStreamingも処理できるようになったよ!

 

 

www.youtube.com

登壇者:Konstantin Knauf (Vervecicaの中の人)

概要:

Flink SQLの紹介

  • KafkaなどのストリーミングデータをSQLで処理出来るよ!
  • Streamingの処理の多くをSQLでかけるほどに、Flink SQLはなったよ!
  • Vervacica Platform上のデモ

 

www.youtube.com

登壇者:Xiaowei Jiang(Alibabaの人)

概要:AlibabaのFlink使用例の紹介

 

昔の話

  • ラムダアーキテクチャ
  • ストレージでは、Hive/Greenplum/HBase/ClickHouse/Cassandra/Kylin/Druid/Kuduを使用
  • ↑サイロになっているし、利用者(社内のデータサイエンティストやエンジニア)選ぶの辛い

Flink後の話(Hybrid Serving/Analytical Processing(HSAP)と呼んでいる)

  • バッチもストリーミングもFlink
  • 統一したストレージに格納
  • HSAP/HTAP(Hybrid Transaction/Analytical Processing)/OLAPの比較
  • Hologres(リアルタイムOLAP?)の紹介と内部構造の話
    (WAl/LSMテーブル、パーティショニングの話など)

 

HSAPはAlibabaの技術ブログでも紹介されている。

www.alibabacloud.com

 

www.youtube.com

登壇者:Peter Chalif(Citiの人)

概要:

そのうち見ます

 

www.youtube.com

登壇者: Ricky Saltzer(Epic Gamesの人)

概要:

そのうち見ます

 

www.youtube.com

登壇者: Renu Tewari(LinkedINの人)

概要:

そのうち見ます