Analytics Platform System のサーバーキャパシティプランニングワークシートの読み込み

[アーティクル]
09/04/2023

このキャパシティプランニングワークシートは、SQL Server PDW にデータを読み込むための読み込みサーバーの要件を決定するのに役立ちます。これを使用して、既存の読み込みサーバーを購入またはプロビジョニングするためのプランを作成します。

ワークシートのメモ

このワークシートは、dwloader コマンドライン読み込みツールを使用してデータを読み込むサーバーに適用されます。
統合サービスまたはサードパーティの読み込みツールを使用してデータを読み込む場合、要件は読み込みプロセスの違いによって異なる場合があります。
ほとんどの要件は、圧縮または圧縮されていないデータファイルの読み込みに適用されます。要件の違いは太字で示されています。

キャパシティプランニングワークシート

このワークシートを印刷し、独自の要件を入力します。

コンポーネント	要件	この列に独自の要件を入力します	推奨事項
Storage	特定の期間に読み込みサーバーに格納する予定の最大バイト数。		ストレージ要件を決定するには、特定の期間に読み込みサーバーに格納する予定のデータの量を確認します。容量の要件は、ファイルの読み込み専用です。オペレーティングシステムと読み込みファイルは、異なるディスクアレイに配置する必要があります。たとえば、毎日 3 回ディスクから 100 GB のデータを読み込む予定で、週の終わりまでデータファイルを削除しない場合、データファイルを格納するには最低 2.1 TB が必要です。変動と増加を考慮して保守的になり、約 30% 追加のストレージを取得することをお勧めします。この例では、2.73 TB の記憶域スペースが適しています。
読み込みレート	PDW に読み込むデータの 1 時間あたりの最大バイト数。		これは見積もりです。この要件を計算するときは、ファイルがすでに読み込みサーバー上にあり、他の読み込み条件が可能な限り良好であることを前提とします。例: dwloader は常に圧縮されていないデータを PDW に送信するため、データの圧縮性を考慮する必要はありません。データ型の変換と変換先テーブルのサイズを考慮する必要はありません。
ネットワーク	ネットワーク接続の種類。		負荷速度の要件に最適なネットワーク接続の種類を決定します。たとえば、InfiniBand または 10 Gbit イーサネットでは、最適な読み込み速度が提供されます。 1 Gbit イーサネットでは、1 時間あたり 360 GB 以下の負荷レートに制限されます。
I/O	読み取りと書き込みの 1 時間あたりのバイト数。		データを読み込むには、dwloader を PDW に送信する前に、ディスクからすべてのデータを読み取る必要があります。各読み込みサーバーは、アプライアンスがすべての読み込みソースからデータを受信できるよりも高速にデータを読み込むことはできません。コストを節約するには、アプライアンスの負荷容量を超えないように、読み込み用の I/O 読み取り容量を計画します。次に例を示します。 PDW は、1 時間あたり最大 1.8 TB のレートでデータを受信し、1 ラックアプライアンスに読み込みます。ラックが 2 つ以上のアプライアンスの場合、最大負荷速度は 1 時間あたり 3.6 TB です。複数の読み込みサーバーから同時に読み込みすることを計画している場合、各読み込みサーバーの I/O 要件は、1 つのサーバーがすべての読み込みを実行する場合よりも少なくなります。たとえば、1 台の読み込みサーバーは、1 ラックアプライアンスに対して 1 時間あたり最大 1.8 TB を読み込むことができます。 2 台の読み込みサーバーは、それぞれ 1 ラックアプライアンスに 1 時間あたり 900 GB を同時に読み込むことができます。コンカレンシーのレベルが高いほど、効率と最大スループットが低下する可能性があります。 I/O 容量については、読み込みサーバーで発生するすべての I/O を考慮します。読み込みサーバーに、ETL サーバーからのデータファイルの受信など、データの読み込みに加えて他の I/O トラフィックがある場合、I/O 要件が増加します。圧縮データの場合、I/O 要件はデータ圧縮率によって異なります。 dwloader は圧縮されたデータを読み取り、PDW に送信する前に圧縮を解除します。圧縮率が高いほど、読み込みサーバーがディスクから読み取る必要があるデータが少なくなります。たとえば、必要な読み込み速度が 1 時間あたり 1.8 TB で、データが 2:1 圧縮で読み込みサーバーに格納されている場合、読み込みサーバーは 1.8 TB ではなく 1 時間あたり 900 GB をディスクから読み取るだけで済みます。圧縮率が 3:1 の場合、読み込みサーバーはディスクから 1 時間あたり 600 GB を読み取る必要があります。
CPU	ソケットの数。		非圧縮データをロードする場合、dwloader は CPU を大量に使用するアプリケーションではありません。最小要件として、最近製造された 2 ソケットサーバーを使用することをお勧めします。圧縮データをロードするには、PDW に送信する前にデータを解凍するのに十分な CPU パワーが必要です。 dwloader は、一度に 10 個のアクティブなスレッドを実行できます。 10 個の圧縮ファイルを同時にロードする予定がある場合は、サーバーに少なくとも 10 コア CPU または 2 つの 6 コア CPU を搭載することをお勧めします。
RAM	GB のメモリで Windows が読み込み中にファイルをキャッシュできるようにします。		dwloader は、読み込みサーバーで RAM をほとんど使用しません。パフォーマンスを向上させるため、Windows はロードファイルをディスクから読み取った後、メモリを使用してファイルをキャッシュします。 RAM の要件を決定するには、Windows Server のインストールとサードパーティ製アプリケーションの要件を参照してください。他のソースからの要件がない場合は、最低でも 32 GB をお勧めします。圧縮データの場合は、展開が高速化されるため、RAM の高速化が役立ちます。

参照

ローディングサーバーコマンドラインローダーを取得して構成する