次の方法で共有

Azure での Apache オープン ソース シナリオ

  • [アーティクル]

Microsoft は、オープン ソース プロジェクト、イニシアチブ、基盤を支援し、何千ものオープン ソース コミュニティに貢献できることを誇りに思っています。 Azure でオープンソース テクノロジを使用することで、投資を最適化しながら、アプリケーションを自分の方法で実行できます。

この記事では、Azure を Apache オープンソース ソリューションと共に使用するアーキテクチャとソリューションの概要について説明します。

Apache®、Apache Ignite、Ignite、および炎のロゴは、Apache Software Foundation の米国およびその他の国における登録商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

Apache Cassandra

アーキテクチャ まとめ テクノロジの中心
データのパーティション分割のガイダンス データのパーティションを個別に管理およびアクセスする方法についてのガイダンスを確認します。 水平的、垂直的、および機能的パーティション分割戦略を理解します。 Cassandra は、垂直パーティション分割に最適です。 データベース
Azure パブリック MEC の高可用性 Azure パブリック マルチアクセス エッジ コンピューティングで高可用性とディザスター リカバリーを実現するために、ワークロードをアクティブ/スタンバイ モードでデプロイする方法について説明します。 Cassandra を使用すると、geo レプリケーションをサポートできます。 ハイブリッド
Apache Cassandra を使用する N 層アプリケーション Linux 仮想マシンと、Apache Cassandra を使用して N 層アーキテクチャー用に構成された仮想ネットワークをデプロイします。 データベース
非リレーショナル データと NoSQL キーと値のペア、グラフ、時系列、オブジェクトなど、データ要件に基づくストレージ モデルとしてデータを格納する非リレーショナル データベースについて説明します。 Azure Cosmos DB for Apache Cassandra は、推奨される Azure サービスです。 データベース
Azure VM 上で Apache Cassandra を実行する Azure 仮想マシン上で Apache Cassandra を実行する際のパフォーマンスに関する考慮事項について確認します。 これらの推奨事項は、自分のワークロードをテストするときの基準として利用します。 データベース
フル マネージドのオープン ソース データ エンジンを使用したストリーム処理 フル マネージドの Azure データ サービスを使用してイベントをストリーミングします。 Kafka、Kubernetes、Cassandra、PostgreSQL、Redis コンポーネントなどのオープンソース テクノロジを使用します。 分析

Apache CouchDB

アーキテクチャ まとめ テクノロジの中心
ゾーン冗長性を備えたベースライン Web アプリケーション この参照アーキテクチャの実証済みのプラクティスを使用して、Azure App Service Web アプリケーションの冗長性、スケーラビリティ、パフォーマンスを向上させます。 CouchDB は推奨されるドキュメント データベースです。 Web

Apache Hadoop

アーキテクチャ まとめ テクノロジの中心
ビッグ データ アーキテクチャ 従来のデータベース システムには大きすぎる、または複雑すぎるデータのインジェスト、処理、分析に対応するビッグ データ アーキテクチャについて説明します。 Azure HDInsight Hadoop クラスターは、バッチ処理に使用できます。 データベース
データ転送テクノロジの選択 Azure Import/Export Service、Azure Data Box、Azure Data Factory、コマンド ライン ツール、グラフィカル インターフェイス ツールなどの Azure データ転送オプションについて説明します。 Hadoop エコシステムは、データ転送のためのツールを提供します。 データベース
Power Platform を使用したシチズン AI Azure Machine Learning と Power Platform を使用して、機械学習の概念実証、および製品版を迅速に作成する方法を説明します。 Azure Data Lake は、Hadoop 互換のファイル システムで、データを格納します。 AI
マイクロサービスのデータに関する考慮事項 マイクロサービス アーキテクチャでのデータ管理について説明します。 Azure Data Lake Store (Hadoop ファイル システム) を使用する例を表示します。 マイクロサービス
抽出、変換、読み込み 抽出-変換-読み込み (ETL) および抽出-読み込み-変換 (ELT) データ変換パイプラインの概要と、制御フローおよびデータ フローの使用方法について説明します。 Hadoop は、ELT プロセスの宛先データ ストアとして使用できます。 分析
IoT の分析と最適化ループ ビジネス コンテキスト全体に基づいて最適化の分析情報を生成して適用するための IoT パターンである分析と最適化ループについて説明します。 Hadoop マップの削減処理は、ビッグ データの処理に使用できます。 IoT
具体化されたビュー パターン データの形式が必要なクエリ操作に適していない場合に、1 つ以上のデータ ストアのデータの事前設定されたビューを生成します。 インデックス作成をサポートするビッグデータ ストレージ メカニズムに Hadoop を使用します。 データベース
HDInsight Spark を使用してローン償却を予測する HDInsight と機械学習を使用して、ローンが償却される可能性を予測します。 HDInsight は Hadoop をサポートしています。 データベース

Apache HBase

アーキテクチャ まとめ テクノロジの中心
ビッグ データ アーキテクチャ 従来のデータベース システムには大きすぎる、または複雑すぎるデータのインジェスト、処理、分析に対応するビッグ データ アーキテクチャについて説明します。 これらのシナリオでは、HBase を使用してデータを表示できます。 データベース
ビッグデータ ストレージ テクノロジを選択 Azure のビッグ データ ストレージ テクノロジのオプションを比較します。 HDInsight に関する HBase の説明が含まれています。 データベース
分析データ ストアの選択 ランダム アクセスに HBase を使用し、大量の非構造化データと半構造化データに対して強力な一貫性を実現する方法について説明します。 分析
データのパーティション分割のガイダンス データ パーティションを分離して、個別に管理およびアクセスできるようにするためのガイダンスを表示します。 水平的、垂直的、および機能的パーティション分割戦略を理解します。 HBase は垂直パーティション分割に最適です。 データベース
非リレーショナル データと NoSQL キーと値のペア、グラフ、時系列、オブジェクトなど、データ要件に基づくストレージ モデルとしてデータを格納する非リレーショナル データベースについて説明します。 HBase は、列状および時系列データに使用できます。 データベース

Apache Hive

アーキテクチャ まとめ テクノロジの中心
ビッグ データ アーキテクチャ 従来のデータベース システムには大きすぎる、または複雑すぎるデータのインジェスト、処理、分析に対応するビッグ データ アーキテクチャについて説明します。 これらのシナリオでは、バッチ処理とデータ表示に Hive を使用できます。 データベース
バッチ処理テクノロジの選択 Azure でのビッグ データ バッチ処理のテクノロジの選択肢を比較します。 Hive の機能について説明します。 分析
分析データ ストアの選択 Azure のビッグ データの分析データ ストア オプションを評価します。 Hive の機能について説明します。 分析
抽出、変換、読み込み ETL および ELT データ変換パイプラインと、制御フローとデータ フローの使用方法について説明します。 ELT では、Hive を使用してソース データをクエリできます。 また、Hadoop と共にデータ ストアとして使用できます。 データベース
HDInsight Spark クラスターを使用したローン償却予測 HDInsight と機械学習を使用して、ローンが償却される可能性を予測します。 分析結果は Hive テーブルに格納されます。 分析
航空用エンジンの予測監視 リアルタイムの航空機データと分析を組み合わせて、航空用エンジンの監視と正常性を予測するソリューションを作成する方法について説明します。 Hive スクリプトは、Azure Stream Analytics によってアーカイブされる生のイベントの集計を提供します。 分析
車両テレマティクスを用いた予測分析情報 自動車ディーラー、メーカー、保険会社が Azure を使用して、車両の状態と運転習慣に関する予測的な分析情報を得る方法について説明します。 このソリューションでは、Azure Data Factory は HDInsight を使用して Hive クエリを実行し、データを処理や読み込みを行います。 分析
規制対象の業界で AI と機械学習のイニシアチブを拡大する 広範なセキュリティ ポリシーに準拠する必要がある Azure AI と機械学習環境のスケーリングについて説明します。 Hive はメタデータを格納するために使用されます。 AI

Apache JMeter

アーキテクチャ まとめ テクノロジの中心
Azure での銀行取引システムのクラウド変換 シミュレートされた実際のアプリケーションと既存のワークロードを使用して、スケーラビリティとパフォーマンスに対するソリューション インフラストラクチャの反応を監視します。 カスタム JMeter ソリューションは、ロード テストに使用されます。 移行
銀行取引のクラウド変革におけるパターンと実装 クラウドの銀行システムを変革するために使用されるパターンと実装について説明します。 JMeterはロード テストに使用されます。 移行
スケーラブルなクラウド アプリケーションと SRE パフォーマンス モデリングなど、サイト リライアビリティ エンジニアリングの原則、手法を使用して、スケーラブルなクラウド アプリケーションを構築します。 JMeterはロード テストに使用されます。 Web

Apache Kafka

アーキテクチャ まとめ テクノロジの中心
Azure NetApp Files での AKS ワークロードにおけるアプリケーション データ保護 Kafka アプリケーションを含む Azure Kubernetes Service (AKS) アプリケーションのデータ保護、ディザスター リカバリー、モビリティのために、Azure NetApp Files を使用して Astra Control Service をデプロイします。 コンテナー
非同期メッセージングのオプション Kafka クライアントのサポートなど、Azure の非同期メッセージング オプションについて説明します。 統合
自動化されたガイド付き車両フリートの制御 自動車 OEM メーカーのためのエンドツーエンド アプローチについて説明します。 再利用できるいくつかのオープンソース ライブラリが含まれています。 このアーキテクチャのバックエンド サービスは、Kafka に接続できます。 Web
Azure Data Explorer による監視 Azure Data Explorer は、Kafka やその他のソースからストリーミングとバッチ処理されたログを取り込むハイブリッド監視ソリューションで使用します。 分析
Azure での銀行取引システムのクラウド変換 シミュレートされた実際のアプリケーションと既存のワークロードを使用して、スケーラビリティとパフォーマンスに対するソリューション インフラストラクチャの反応を監視します。 Kafka の Event Hubs からのイベントは、システムにフィードされます。 Containers
ストリーム処理テクノロジの選択 Kafka ストリーム API を含む、Azure でのリアルタイム メッセージ ストリーム処理のオプションを比較します。 分析
クレーム チェック パターン クレーム チェック パターンについて説明します。これにより、大きなメッセージをクレーム チェックとペイロードに分割し、メッセージ バスの過度な負荷を回避します。 要求チェックの生成に Kafka を使用する例について説明します。 統合
AKS を使用したデータ ストリーミング AKS を使用すると、センサーを介して収集された何百万ものデータ ポイントを使用して、リアルタイム データ ストリームを簡単に取り込み、処理することができます。 Kafka は、分析のためにデータを格納します。 Containers
Azure Databricks を使用したインジェスト、ETL、およびストリーム処理パイプライン Azure Databricks を使用してバッチおよびストリーミング データ用の ETL パイプラインを作成し、あらゆる規模のデータ レイクのインジェストを簡略化します。 Kafka は、データを取り込む 1 つのオプションです。 分析
Event Hubs と Azure Functions との統合 Azure Functions で実行され、Azure Event Hubs イベントに応答する効率的でスケーラブルなコードを設計、開発、およびデプロイする方法について説明します。 Kafka のトピックでイベントを保持する方法について説明します。 サーバーレス
Azure Data Explorer を使用した IoT 分析 Azure Data Explorer を使用すると、Kafka を含むさまざまなデータ ソースからの高速で大量のストリーミング データに対して、ほぼリアルタイムの IoT テレメトリ分析を実行できます。 分析
Qlik を使用した Azure へのメインフレームとミッドレンジのデータ レプリケーション Qlik Replicate を使用して、メインフレーム システムとミッドレンジ システムをクラウドに移行したり、クラウド アプリケーションでシステムを拡張したりできます。 このソリューションでは、Kafka によって、データ ストアのレプリケートに使用される変更ログ情報が格納されます。 メインフレーム
銀行取引のクラウド変革におけるパターンと実装 クラウドの銀行システムを変革するために使用されるパターンと実装について説明します。 Kafka scaler は、ソリューションがアプリケーションのデプロイをアクティブ化または非アクティブ化する必要があるかどうかを検出するために使用されます。 サーバーレス
パブリッシャーとサブスクライバーのパターン パブリッシャーとサブスクライバーのパターンについて説明します。これによってアプリケーションでは、関心を寄せている多くの顧客に非同期でイベントを通知できます。 メッセージングには Kafka をお勧めします。 統合
レート制限パターン レート制限パターンを使用して、調整エラーを回避または最小限に抑えます。 このパターンでは、メッセージング用に Kafka を実装できます。 統合
Advanced を使用したメインフレーム アプリケーションのリファクタリング Advanced の Automated COBOL Refactoring ソリューションを使用してメインフレーム COBOL アプリケーションを最新化し、Azure で実行してコストを削減する方法について説明します。 Kafka はデータ ソースとして使用できます。 メインフレーム
フル マネージドのオープン ソース データ エンジンを使用したストリーム処理 フル マネージドの Azure データ サービスを使用してイベントをストリーミングします。 Kafka、Kubernetes、Cassandra、PostgreSQL、Redis コンポーネントなどのオープンソース テクノロジを使用します。 分析

Apache MapReduce

アーキテクチャ まとめ テクノロジの中心
非同期メッセージングのオプション Azure の非同期メッセージング オプションについて説明します。 MapReduce を使用すると、Event Hubs によってキャプチャされたイベントに関するレポートを生成できます。 統合
ビッグ データ アーキテクチャ 従来のデータベース システムには大きすぎる、または複雑すぎるデータのインジェスト、処理、分析に対応するビッグ データ アーキテクチャについて説明します。 MapReduce は、バッチ処理に使用したり、これらのシナリオで並列操作の機能を提供したりするために使用できます。 データベース
バッチ処理テクノロジの選択 Azure でのビッグ データ バッチ処理のテクノロジ (MapReduce を使用した HDInsight など) について説明します。 分析
Geode パターン バックエンド サービスを一連の地理的ノードにデプロイします。各ノードが、任意のリージョンで任意のクライアント要求を処理できます。 このパターンは、MapReduce を使用してコンピューター間で結果を統合するビッグ データ アーキテクチャで発生します。 データベース
調整を最小限に抑える これらの推奨事項に従って、アプリケーション サービス間の調整を最小限に抑えることで、スケーラビリティを向上させます。 MapReduce を使用して、作業を独立したタスクに分割します。 データベース

Apache NiFi

アーキテクチャ まとめ テクノロジの中心
Azure での Apache NiFi Azure 上の Apache NiFi を使用してデータ フローを自動化します。 スケーラブルで可用性に優れたソリューションを使用して、クラウドまたはストレージにデータを移動したり、クラウド システム間でデータを移動したりできます。 分析
Apache NiFi の Helm ベースのデプロイ AKS に NiFi をデプロイするときは、Helm チャートを使用します。 Helm によって、Kubernetes アプリケーションのインストールと管理のプロセスを効率化します。 分析
Azure Data Explorer による監視 Azure Data Explorer と NiFi は、さまざまなソースからからストリーミングとバッチ処理されたログを取り込むハイブリッド監視ソリューションで使用します。 分析

Apache Oozie

アーキテクチャ まとめ テクノロジの中心
ビッグ データ アーキテクチャ 従来のデータベース システムには大きすぎる、または複雑すぎるデータのインジェスト、処理、分析に対応するビッグ データ アーキテクチャについて説明します。 これらのシナリオでは、Oozie をオーケストレーションに使用できます。 データベース
データ パイプライン オーケストレーション テクノロジを選択する Oozie の主なオーケストレーション機能について説明します。 データベース

Apache Solr

アーキテクチャ まとめ テクノロジの中心
検索データ ストアを選択する Azure の検索データ ストアの機能と、ニーズに最も一致するものを選択するための主要な基準について説明します。 HDInsight と Solr の主な機能について説明します。 データベース

Apache Spark

アーキテクチャ まとめ テクノロジの中心
Azure Synapse を使用した分析のエンド ツー エンド Azure Data Services を使用して、最も一般的なデータの課題を処理できる最新の分析プラットフォームを構築する方法について説明します。 Spark Pools 分析エンジンは、Azure Synapse ワークスペースから利用できます。 分析
Azure Databricks での Spark のバッチ スコアリング Apache Spark 分類モデルをバッチ スコアリングするためのスケーラブルなソリューションを構築します。 AI
ビッグ データ アーキテクチャ 従来のデータベース システムには大きすぎる、または複雑すぎるデータのインジェスト、処理、分析に対応するビッグ データ アーキテクチャについて説明します。 Spark は、バッチ処理またはストリーム処理や分析データ ストアとして使用できます。 データベース
バッチ処理テクノロジの選択 Spark を実装するためのオプションを含め、Azure でのビッグ データ バッチ処理のテクノロジの選択肢を比較します。 分析
ストリーム処理テクノロジの選択 Spark を実装するためのオプションを含め、Azure でのリアルタイム メッセージ ストリーム処理のオプションを比較します。 分析
分析データ ストアの選択 Azure のビッグ データの分析データ ストア オプションを評価します。 Azure Synapse Spark プールの機能について説明します。 分析
Azure Databricks を使用したデータ サイエンスと機械学習 データ サイエンスと機械学習に Azure Databricks、Delta Lake、MLflow を使用して操作を改善します。 機械学習モデルを開発、トレーニング、デプロイします。 Azure Databricks には、マネージド Spark クラスターを提供します提供します。 AI
抽出、変換、読み込み 抽出-変換-読み込み (ETL) および抽出-読み込み-変換 (ELT) データ変換パイプラインの概要と、制御フローおよびデータ フローの使用方法について説明します。 ELT では、Spark を使用してソース データをクエリできます。 また、Hadoop と共にデータ ストアとして使用できます。 データベース
Azure Cosmos DB を使用した IoT Azure Cosmos DB を使用して、インジェストやクエリのパフォーマンスを損なわずに、多様で予測不可能な IoT ワークロードに対応する方法について説明します。 Spark ストリーミングを実行している Azure Databricks は、デバイスからのイベント データを処理します。 IoT
HDInsight Spark によるローン償却予測 HDInsight と機械学習を使用して、ローンが償却される可能性を予測します。 データベース
Spark を使用した多数モデルの機械学習 Azure での多数モデルの機械学習について説明します。 AI
Microsoft 機械学習製品 Azure Databricks Spark ベースの分析プラットフォームや SynapseML など、機械学習モデルの構築、デプロイ、管理のためのオプションを比較します。 AI
中小企業向けの最新データ ウェアハウス Azure Synapse、Azure SQL Database、Azure Data Lake Storage を使用して、SMB のレガシ データとオンプレミス データを最新化します。 Azure Synapse ワークスペースのツールは、Spark コンピューティング機能を使用してデータを処理できます。 分析
自然言語処理技術 感情分析、トピックおよび言語検出、キー フレーズ抽出、ドキュメント分類のために自然言語処理サービスを選択します。 Azure HDInsight と Spark の主な機能について説明します。 AI
監視パターンとメトリック 監視パターンとメトリックを使用して、Azure Databricks によるビッグデータ システムの処理パフォーマンスを向上させる方法について説明します。 Azure Databricks 監視ライブラリは、Spark イベントと Spark 構造化ストリーミング メトリックをジョブからストリーミングします。 データベース
フル マネージドのオープン ソース データ エンジンを使用したストリーム処理 フル マネージドの Azure データ サービスを使用してイベントをストリーミングします。 Spark、Kafka、Kubernetes、Cassandra、PostgreSQL、Redisコンポーネントなどのオープンソーステクノロジを使用します。 分析

Apache Sqoop

アーキテクチャ まとめ テクノロジの中心
ビッグ データ アーキテクチャ 従来のデータベース システムには大きすぎる、または複雑すぎるデータのインジェスト、処理、分析に対応するビッグ データ アーキテクチャについて説明します。 これらのシナリオでは、Sqoop を使用してオーケストレーション ワークフローを自動化できます。 データベース
データ転送テクノロジの選択 Azure Import/Export、Data Box、Sqoop などのデータ転送オプションについて説明します。 データベース

Apache ZooKeeper

アーキテクチャ まとめ テクノロジの中心
Azure での Apache NiFi Azure 上の NiFi を使用してデータ フローを自動化します。 スケーラブルで可用性に優れたソリューションを使用して、クラウドまたはストレージにデータを移動したり、クラウド システム間でデータを移動したりできます。 このソリューションでは、NiFi は ZooKeeper を使用してデータ フローを調整します。 分析
Apache NiFi の Helm ベースのデプロイ AKS に NiFi をデプロイするときは、Helm チャートを使用します。 Helm によって、Kubernetes アプリケーションのインストールと管理のプロセスを効率化します。 このアーキテクチャでは、ZooKeeper はクラスターの調整を行います。 分析
レート制限パターン レート制限パターンを使用して、調整エラーを回避または最小限に抑えます。 このシナリオでは、ZooKeeper を使用して、容量に一時的なリースを付与するシステムを作成できます。 統合