カテゴリー: ApacheBeam

PCollectionについて解説します。既に何度もでてきてその都度説明してきましたが、今回はより具体的な作成方法やPCollectionの特徴が主な内容となります。 前提 対象ドキュメント https://beam.a […]

Pipelineの作成について解説します。パラメータの設定や、オプションの設定についても記載があります。 前提 対象ドキュメント https://beam.apache.org/documentation/program […]

開発の概要です。 開発の中で重要になる単語の説明が主になります。 前提 対象ドキュメント https://beam.apache.org/documentation/programming-guide/#overview […]

自動テストの概要に関するテスト方法です。CIなど入れない、一旦一通りの動作を確認したいのであれば、ここに記載の情報だけでテストしてもよいかと思います。 CIを入れたり、本番運用を見据えるとここに記載されているテストだけで […]

実装方法です。ただしとても概要なので、実際にはここに書いている内容よりはゴリゴリ開発ドキュメントを読み込むことが必要になると思います。 前提 対象ドキュメント https://beam.apache.org/docume […]

ApacheBeamフレームワークはめちゃくちゃ新しいものではないのですが、日本語情報が残念すぎるので、英語が苦手なエンジニアの方に参考にしていただければと思います。 実装部分はPythonまたはJavaで動作を確認しつ […]