カーキ色はヒンディー語らしい

技術記事は https://zenn.dev/notrogue

Data Engineering with AWS読んだ

learning.oreilly.com Data Engineering with AWSという本を読みました。 どんな本か 2021年に出版された、AWSでのデータエンジニアリング本です 著者のGareth EagarさんはAWSのソリューションアーキテクトの方です 日本語の本だとAWSではじめるデータレイク…

Designing Cloud Data Platforms読んだ

www.manning.com Designing Cloud Data Platformsという本を読みました。 どんな本か 2021年に出版されたデータ基盤の本です 大企業のデータ基盤の設計(コンサル・SIer?)の人が著者です データ基盤を大きく6つのレイヤー(下図)に分割し、それぞれの章…

The Cloud Data Lake読んだ

The Cloud Data Lakeという本を読みました。 learning.oreilly.com どんな本か 2022/12に出版された「Cloud Data Lake 」の本です クラウドでのデータ基盤を紹介しています MicrosoftでAzure StorageとかHDInsightのPMしていた、 Rukmani Gopalan さんが著者…

今月読んだ本(2023/01)

読み終わった booklog.jpほっとくと運用つらぽよになるので、ちゃんと文化形成・技術を使いましょうのお話。 booklog.jp大規模集団を作るようになった功罪の話。 booklog.jp booklog.jpボクシング等、殴るスポーツの歴史や文化のお話。タイトル買い。 ボクシ…

今月読んだ本(2022/12)

読み終わった booklog.jp booklog.jp50年くらい前の落語協会分裂騒動の話。師匠の圓生さんへの微妙な感情と、(5代目)圓楽さん嫌いがすごい。 booklog.jpTechというよりビジネスの話。Not for me booklog.jp下戸なので booklog.jp booklog.jp booklog.jp bo…

今月読んだ本(2022/11)

読み終わった booklog.jp NNや強化学習の性能改善系の話 booklog.jp 当たり前だけどめちゃくちゃ重たい話。10年以上前に読んだ「“Give Me Your Children”: Voices from the Lodz Ghetto | Holocaust Encyclopedia」という演説をした、Chaim Rumkowskiの話が…

今月読んだ本(2022/10)

読み終わった booklog.jp貴重なLooker本。概要を知るには良いかも。 booklog.jp booklog.jp booklog.jp なんとなくGCP強化月間 booklog.jp booklog.jp booklog.jp第二版か一版をかなり前に読んだけど、記憶の更新の意味で再読。 booklog.jp スヴィドリガイロ…

hoge

技術記事 zenn.dev sekibutsu.com www.tenbooksmaker.com kotobank.jp

今月読んだ本(2022/9)

読み終わった booklog.jp 小泉先生の軍ヲタ本 booklog.jp 証明を一行毎に追っていく本。高専の論理数学授業思い出しました。 booklog.jp booklog.jp 5000兆円欲しい booklog.jp 珍しい?Glueの専用の本。サブシステムが多いのが難しい… booklog.jp 芥川龍之…

Data Quality Fundamentals読んだ

learning.oreilly.com tl;dr データの品質「Data Quality」をテーマにした本だよ Qualityが低いとなぜ困るのか、どんな方法・ツール・メトリクス・コミュニケーションでQuality向上できるかの説明があるよ 個々のツールの説明は多くはないよ Qualityを向上さ…

Data Engineering with Apache Spark, Delta Lake, and Lakehouse読んだ

learning.oreilly.com tl;dr LakeHouseアーキテクチャの本だよ 全体像を知るのは良いかも。個々の技術(Spark、DeltaLake、Azure)はそこまで詳しい記載はないよ なんで読んだの LakeHouseやDeltaLakeという単語聞いたことありますが、よく知らないなーとい…

今月読んだ本(2022/8)

読み終わった booklog.jp 読んでまとめました。特に技術選定の部分が勉強になりました。 not-rogue.hatenablog.com booklog.jp二回目。Goで写経中。 booklog.jp そういえばDjangoあまり知らないなーというので読みました。 booklog.jp クライアントの通りに…

Fundamentals of Data Engineering読んだ

learning.oreilly.comFundamentals of Data Engineeringという本を読みました。 どんな本か 2022年に出版された、名前の通りData Engineering入門の本です。具体的には、 データの流れ(後述のData Engineering Lifecycle)に沿った、仕事・ベストプラクティ…

今月読んだ本(2022/7)

よみおわった 最近Go言語に入門しています。その流れで並行処理の本を読みました。 booklog.jp 図書館で見つけて、タイトルに惹かれました。「絶望島」とか「世界の終わり」みたいな変わった地名(および、そんな地名をつけるた経緯や環境)の説明の本です。…

Robust Python読んだ

WIP

learning.oreilly.com Robust Pythonという本を読みました。 どんな本か You’ll journey through numerous ways to make Python clean and maintainable. とあるように、Pythonでキレイでメンテしやすいコード書こうという本です。 なお、 This is not inten…

Expert Python Programming(4版)読んだ

tl;dr Expert Python Programmingの4版が英語だと出ているよ mutation testingとか分散トレーシングとかナウい話が追加されてるよ 一部削除された話もあるよ ドキュメント、良い名前の付け方 Expert Python Programming(エキスパートPython)とは 英語版の…

Prefect Orionについて何か書いた

Prefectとは AirflowやDigDagと同じワークフローエンジンです。 このブログでも紹介していますが、 Sensyさんの2020年のアドベントカレンダー [増補改訂]ビッグデータを支える技術 JX通信社さんのブログ などがわかりやすいと思います。 英語でもよければ…

Data Pipelines with Apache Airflow読んだ

learning.oreilly.com 内容 Airflowの概要 ワークフローエンジンのご利益 提供する機能の概要(スケジュール、DAG) Airflowを選ぶ理由、選ばない理由 Airflowの入門 DAGの例 Task・Operator Airflow UI スケジュール テンプレート Task間の依存定義 トリガ…

今更ながら分散システムデザインパターン読んだ

この本は 原著は2018年、翻訳は2019年 著者のBurnsさんは、Google・MicrosoftでKubernetesの開発をしていた・している人 書名の通り、複数のノードで処理を行う場合の色々なパターンを解説している本 また、副題(コンテナを使ったスケーラブルなサービスの…

「Software Engineering Daily:(1273)AWS with Pete Cheslock] 」聞いた

Podcast Software Engineering Daily エピソード (#1273)AWS with Pete Cheslock | # 1273~1277 | 公開 2021/06/7 トピック クラウド ホスト Corey Quinn(代理ホスト) | ゲスト Pete Cheslock(#1273, AWS回)、Allmaの人 コンテキスト 「a Tour of Cloud 」…

「Software Engineering Daily:(#1277)Oracle Cloud with Salman Paracha」聞いた

Podcast Software Engineering Daily エピソード (#1277)Oracle Cloud with Salman Paracha # 1273~1277 公開 2021/06/11 トピック クラウド ホスト Corey Quinn(代理ホスト) ゲスト Salman Paracha(Oracle回)、OracleのGroup Vice Presidentの人 コンテ…

「 Technology never has an off-season 」聞いた

Podcast The Cloudcast エピソード Technology never has an off-season # 515 公開 2021/05/16 トピック キャリア ゲスト なし(ホストだけ?) ゲストの肩書 聞き取ったこと 概要 テクノロジー業界は「off-season」ないから大変だよね (技術の変化が止ま…

Making Spark Cloud Native At Data Mechanics - Episode 184聞いた

Podcast Data Engineering Podcast エピソード Making Spark Cloud Native At Data Mechanics - Episode 184 公開 2021/05/07 トピック Spark ゲスト Jean-Yves Stephan さん ゲストの肩書 DataMechanicsのCEO・創業者 聞き取ったこと 概要 Data Mechanicsは…

Global Virtual Flink Forward 2020 Recap(Keynote)

WIP

www.flink-forward.org 10月後半にあったFlink ForwardのRecap(Keynote編)です(本邦初)。 なお、Ververcica(Flinkの創始者の会社・Forwardの運営)もRecap作ってくれています。 www.ververica.com ------ www.youtube.com 登壇者:Stephan Ewen (Flink…

jq入門してみた

dotinstall.comドットインストールのエイプリルフール企画の講座です。 自分のバックグランド jqは整形やフィールドの抽出に使う程度 jq Manual (development version)はちゃんと読んでいない 主な内容 フィルター 関数(select, map, add, length…) 整形(…

UdemyでBeam入門の講座(A Hands-On course to build Big data Pipelines)見てみた

コースだとついつい買っちゃうよね。 見た講座: www.udemy.com 自分のバックグランド: Beam Programming Guideは何回か読んだ Streaming Systems: The What, Where, When, and How of Large-Scale Data Processingも読んだ 仕事でBeamのコードも何度か書い…

Javaパフォーマンス読んだ

www.oreilly.co.jp日本語版は2015年と古いですが、英語版は2020年に二版が出ています。 日本語版はJava7が中心で、時々Java8の話題が出てきます。 主な内容 パフォーマンステストの話 ツール(CPU・メモリ、JDK Mission Control、ダンプ) JIT ガーベジコレ…

初めて登壇してみた

人生初登壇カキコ ariaki.connpass.com 当日のスライド Prefectに関して imperfectに語る from notrogue www.slideshare.net 感想 調べるなかでも、Prefectのドキュメント読んだりコード読んだりするのが勉強にりました テーマを絞らないLTなので、ワークフ…

Beam Summit 2020 #1

WIP

Beam Summit 2020とは 2020.beamsummit.org 2020/08/24~28に行われた、Beamのオンラインイベント 2019年は、Beam Summit North America 2019 - YouTubeとBeam Summit Europe 2019 - YouTubeがあった 録画もある 英語 聞いてみたセッションの話 Program | Bea…

Streaming Systems: The What, Where, When, and How of Large-Scale Data Processing読んだ(1)

shop.oreilly.com 数少ない(唯一?)Dataflow/Apache Beam本で、著者はGoogleでDataflowの開発していた人です。 良かった 個々の話題は、Streaming 101: The world beyond batch – O’ReillyとかBeam Programming GuideとかGCPブログに載っている情報が多い…