今日聞いたPodcast: Materialize (Software Engineering Daily)

softwareengineeringdaily.com

概要

• テーマ：Streaming SQLエンジンのMaterialize
• ゲスト：開発元の創業者Arjun Narayan（元Cockroach）と、Frank McSherry（元Microsoft）

materialize.io 

Materializeの説明

What is Materialize? とかArchitecture OverviewとかWhat’s inside Materialize?がわかりやすいです。

• ストリーミングデータ（Kafka）、RDBの両方のデータにSQLを投げられる
• （DBのデータはDebeziumでChange Data Capture可）
• 普通のクエリも使えるが、materialized viewにすると継続的に更新し続けることができる（かつ早い）
• PostgreSQL互換のSQLが使える（大変だったらしい）
• Cloudサービスだけを提供

Streamingの話

• Event timeとProcessing Timeの違い（Beamでよくでるやつ）
• ラムダアーキテクチャの話
• 色々プラットフォームが出てフラグメンテーション化（Storm, Spark, Heron, Apex, Google Beam‥）

Materializeの歴史

Microsoftのnaiadプロジェクトが源流

• 論文

• 特許 US9165035B2 - Differential dataflow

その後Microsoftがプロジェクトを解散。しばらく後に、Materializeが生まれた。

その他・感想

• スクリプト見ると30ページあってスゴイ。聞くだけで理解出来なかったけど、そんだけ長ければ‥
• 他のStreaming系（Apache Druid、Spark SQL、Beam SQL‥）との違い・使い分けが気になる
• 事例的な物ってあるのだろうか
• 人はなぜプロダクト名に一般名詞を付けるのか（検索しづらい）