PCollectionについて解説します。既に何度もでてきてその都度説明してきましたが、今回はより具体的な作成方法やPCollectionの特徴が主な内容となります。 前提 対象ドキュメント https://beam.a […]
月: 2019年11月
APACHEBEAM公式開発ガイド解説~2.パイプラインを作成する~APACHEBEAM公式開発ガイド解説~2.パイプラインを作成する~
Pipelineの作成について解説します。パラメータの設定や、オプションの設定についても記載があります。 前提 対象ドキュメント https://beam.apache.org/documentation/program […]
APACHEBEAM公式開発ガイド解説~1.概要~APACHEBEAM公式開発ガイド解説~1.概要~
開発の概要です。 開発の中で重要になる単語の説明が主になります。 前提 対象ドキュメント https://beam.apache.org/documentation/programming-guide/#overview […]
APACHEBEAM公式ドキュメント解説~パイプラインのテスト(JAVA)~APACHEBEAM公式ドキュメント解説~パイプラインのテスト(JAVA)~
自動テストの概要に関するテスト方法です。CIなど入れない、一旦一通りの動作を確認したいのであれば、ここに記載の情報だけでテストしてもよいかと思います。 CIを入れたり、本番運用を見据えるとここに記載されているテストだけで […]
APACHEBEAM公式ドキュメント解説~パイプラインの実装(Java)~APACHEBEAM公式ドキュメント解説~パイプラインの実装(Java)~
実装方法です。ただしとても概要なので、実際にはここに書いている内容よりはゴリゴリ開発ドキュメントを読み込むことが必要になると思います。 前提 対象ドキュメント https://beam.apache.org/docume […]
APACHEBEAM公式ドキュメント解説~パイプラインの設計と基本的な動き~APACHEBEAM公式ドキュメント解説~パイプラインの設計と基本的な動き~
今回はパイプラインの設計についてです。設計時には、ApacheBeamではどのような想定が必要かについて確認します。 前提 対象ドキュメント https://beam.apache.org/documentation/p […]
ApacheBeam公式ドキュメント解説~コンセプト~ApacheBeam公式ドキュメント解説~コンセプト~
ApacheBeamフレームワークはめちゃくちゃ新しいものではないのですが、日本語情報が残念すぎるので、英語が苦手なエンジニアの方に参考にしていただければと思います。 実装部分はPythonまたはJavaで動作を確認しつ […]