カーキ色はヒンディー語らしい

技術記事は https://zenn.dev/notrogue

Apache Beam katasやってみる #2（課題編）

 

 

katasでは、下のような内容を行います。

  1. Hello World
  2. ParDo
  3. MapElements
  4. FlatMapElements
  5. GroupByKey
  6. CoGroupByKey
  7. Combine
  8. Flatten
  9. Partition
  10. Side input
  11. Side Output
  12. Branch
  13. Compositte Transform
  14. DoFnへの追加のパラメータ（Timestampなど）
  15. Filter
  16. Aggregation系（Count, Sum, Mean, Min, Max）
  17. WithKeys
  18. TextIO
  19. Window
  20. Trigger（Event time, early triggering, accumulation）
  21. WordCount

 

Beamの学習といえば、Programming Guide

beam.apache.org

が人気ですが、Katasはその多くをカバーしていることがわかります。

 

 

なお、

  • Coders
  • Schema
  • Metrics
  • Timer
  • State

あたりは、Katasに無いので、Programming Guideを読む必要があります。

（Coder以外は新しい機能なので、知らなくてもBeamのコード書けると思いますが）