Vowpal Wabbit バージョン 7-10 モデルのトレーニング
重要
Machine Learning Studio (クラシック) のサポートは、2024 年 8 月 31 日に終了します。 その日までに、Azure Machine Learning に切り替えすることをお勧めします。
2021 年 12 月 1 日以降、新しい Machine Learning Studio (クラシック) リソースは作成できません。 2024 年 8 月 31 日まで、既存の Machine Learning Studio (クラシック) リソースを引き続き使用できます。
- ML Studio (クラシック) から Azure Machine Learning への機械学習プロジェクトの移動に関する情報を参照してください。
- Azure Machine Learning についての詳細を参照してください。
ML Studio (クラシック) のドキュメントは廃止予定であり、今後更新されない可能性があります。
Vowpal Wabbit machine learning システムのバージョン7-10 を使用してモデルをトレーニングする
カテゴリ: Text Analytics
注意
適用対象: Machine Learning Studio (クラシック)のみ
類似のドラッグ アンド ドロップ モジュールは Azure Machine Learning デザイナーで使用できます。
モジュールの概要
この記事では、Machine Learning Studio (クラシック) のTrain Vowpal wabbit バージョン 7-10モジュールを使用して、Vowpal wabbit (バージョン 7-10) のインスタンスを使用して機械学習モデルを作成する方法について説明します。
機械学習に Vowpal Wabbit を使用するには、Vowpal Wabbit の要件に従って入力を書式設定し、Azure blob にデータを保存します。 このモジュールを使用して、Vowpal Wabbit のコマンド ライン引数を指定します。
実験を実行すると、Vowpal Wabbit のインスタンスが、指定されたデータと共に実験の実行時に読み込まれます。 トレーニングが完了すると、モデルがワークスペースにシリアル化されて戻されます。 モデルをすぐに使用して、データをスコアリングできます。 トレーニング済みのモデルは Azure storage にも保存されるため、後でトレーニングデータを再処理することなく使用できます。
新しいデータに対して既存のモデルを段階的にトレーニングするには、保存したモデルを 事前トレーニング済みのモデル 入力に接続し、新しいデータを他の入力に追加します。
注意
Machine Learning Studio (クラシック) は、Vowpal wabbit フレームワークの複数のバージョンをホストします。 このモジュールは、Vowpal Wabbit フレームワークのバージョン7-10 を使用します。
以前のバージョン (7-4 または 7-6) に基づいてモデルを構築またはスコア付けする必要がある場合は、 Train Vowpal wabbit 7-4 モデル と スコア Vowpal wabbit 7-4 モデルのモジュールを使用します。
最新バージョンについては、 Train Vowpal Wabbit バージョン8モデルを、スコアリングモジュールである Score Vowpal wabbit 8 モデルと共に使用してください。
Vowpal Wabbit について
Vowpal Wabbit (VW) は高速かつ並列に機能する機械学習フレームワークです。これは分散コンピューティング用に Yahoo! Research によって開発されました。 その後、Windows に移植され、並列アーキテクチャでの科学技術計算用に John Langford (Microsoft Research) によって採用されました。
機械学習に重要とされる Vowpal Wabbit の機能には、継続的な学習 (オンライン学習)、次元の縮小、および対話型学習などがあります。 Vowpal Wabbit はまた、モデル データがメモリに収まらない場合に問題解決の手段となります。
Machine Learning の Vowpal wabbit の主なユーザーは、分類、回帰、トピックモデリング、マトリックスのモデル化などの機械学習タスク用のフレームワークを以前に使用していたデータ科学者です。 Vowpal Wabbit 用の Azure ラッパーは、オンプレミスバージョンと非常によく似たパフォーマンス特性を備えています。つまり、ユーザーは、Vowpal Wabbit の強力な機能とネイティブなパフォーマンスを使用して、モデルの作成、再トレーニング、およびスコア付けを継続しながら、トレーニング済みのモデルを運用可能なサービスとして簡単に発行
Feature Hashing モジュールにも、Vowpal Wabbit によって提供される機能が含まれており、ハッシュ アルゴリズムを使用してテキスト データセットをバイナリ機能に変換することができます。
Vowpal Wabbit バージョン7-10 モデルを構成する方法
ここでは、新しいモデルをトレーニングする方法と、既存のモデルに新しいデータを追加する方法について説明します。
Studio (クラシック) の他のモジュールとは異なり、このモジュールはどちらもモジュールパラメーターを指定し、モデルをトレーニングします。 既存のモデルがある場合は、それをオプションの入力として追加し、モデルを増分的にトレーニングすることができます。
このモジュールを使用するには、Azure ストレージアカウントに対する認証が必要です。
入力データを準備する
このモジュールを使用してモデルをトレーニングするには、入力データセットが、 LibSVM または VWの2つのサポートされている形式の1つのテキスト列で構成されている必要があります。
これは、Vowpal Wabbit がテキストデータのみを分析するという意味ではなく、必要なテキストファイル形式で機能と値を準備する必要があることを意味します。
データは、Azure storage から読み取る必要があります。 データのエクスポートを使用して、Vowpal Wabbit で使用するために入力ファイルを Azure に直接保存することはできません。これは、形式によって追加の変更が必要になるためです。 データが正しい形式であることを確認してから、Azure blob ストレージにデータをアップロードする必要があります。
ただし、のショートカットとして、 svmlight への変換 モジュールを使用して svmlight フォーマットファイルを生成することができます。 次に、SVMLight フォーマットファイルを Azure blob storage にアップロードして入力として使用するか、Vowpal Wabbit 入力ファイルの要件に合わせてファイルを少し変更します。
Vowpal Wabbit データ形式には、列形式を必要としないためにスパース データを処理する際に領域を節約できる、という利点があります。 この形式の詳細については、Vowpal Wabbit の wiki ページを参照してください。
Vowpal Wabbit モデルを作成してトレーニングする
Train Vowpal Wabbit バージョン 7-10モジュールを実験に追加します。
トレーニングデータが格納されるアカウントを指定します。 トレーニング済みのモデルとハッシュファイルは同じ場所に格納されます。
[ Azure ストレージアカウント名] に、azure ストレージアカウントの名前を入力します。
Azure storage キーについては、ストレージアカウントにアクセスするために用意されているキーをコピーして貼り付けます。
キーがない場合は、「ストレージアクセスキーを再生成する方法」を参照してください。
[ Azure container name] には、モデルトレーニングデータが格納されている、指定した azure ストレージアカウント内の1つのコンテナーの名前を入力します。 アカウント名またはプロトコルプレフィックスを入力しないでください。
たとえば、完全なコンテナーパスと名前が
https://myaccount.blob.core.windows.net/vwmodelsの場合、「」と入力vwmodelsする必要があります。 コンテナー名の詳細については、「 コンテナー、blob、およびメタデータの名前付けと参照」を参照してください。[VW arguments](VW 引数) テキスト ボックスに、Vowpal Wabbit 実行可能ファイルに対するコマンド ライン引数を入力します。
たとえば、学習速度を指定するには
–lを追加し、ハッシュ ビットの数を示すには-bを追加します。詳細については、「 parameters 」セクションを参照してください。
入力 VW ファイルの名前: 入力データを含むファイルの名前を入力します。 このファイルは、以前に指定したストレージアカウントとコンテナーにある Azure blob ストレージ内の既存のファイルである必要があります。 ファイルは、サポートされている形式のいずれかを使用して準備されている必要があります。
読み取り可能なモデル (--readable_model) ファイルの名前: トレーニング済みのモデルを保存するファイルの名前を入力します。 ファイルは、入力ファイルと同じストレージアカウントとコンテナー内に保存する必要があります。
この引数は、VW コマンド ラインの
--readable_modelパラメーターに対応します。出力の反転ハッシュ (--invert_hash) ファイル: 反転ハッシュ関数を保存するファイルの名前を入力します。 ファイルは、入力ファイルと同じストレージアカウントとコンテナー内に保存する必要があります。
この引数は、VW コマンド ラインの
--invert_hashパラメーターに対応します。ファイルの種類を指定してください: トレーニングデータが使用する形式を示します。 Vowpal Wabbit では、次の 2 つの入力ファイル形式がサポートされています。
[VW] は、Vowpal Wabbit によって使用される内部形式を表します。 詳細については、Vowpal Wabbit wiki ページを参照してください。
[SVMLight] は、他のいくつかの機械学習ツールで使用される形式です。
実験を再実行するたびにストレージからデータを読み込まないようにする場合は、[キャッシュされた 結果を使用する] オプションを選択します。 他のパラメーターが変更されておらず、有効なキャッシュが見つかると仮定すると、Studio (クラシック) はキャッシュされたバージョンのデータを使用します。
このオプションが選択されていない場合、モジュールは常にストレージからデータを読み取ります。
実験を実行します。
モデルが生成されたら、出力を右クリックし、[トレーニング済みの モデルとして保存] を選択して、後でモデルを再利用して再トレーニングできるようにします。
既存の Vowpal Wabbit モデルを再トレーニングする
Vowpal Wabbit では、既存のモデルに新しいデータを追加することによって、増分トレーニングがサポートされています。 再トレーニング用に既存のモデルを取得するには、次の 2 つの方法があります。
同じ実験で別の Train Vowpal Wabbit Version 8 モジュールの出力を使用します。
Studio (クラシック) の [ トレーニング 済みのモデル] グループで、保存されているモデルを探し、実験にドラッグします。
Train Vowpal Wabbit Version 8モジュールを実験に追加します。
トレーニング済みのモデルをVowpal wabbit バージョン 8の入力ポートに Connect します。
[ Vowpal Wabbit バージョン8のトレーニング] の [プロパティ] ペインで、新しいトレーニングデータの場所と形式を指定します。
人間が判読できるモデル出力ファイルの名前と、更新されたモデルに関連付けられているハッシュファイルの別の名前を指定します。
注意
指定した場所に既存の Vowpal Wabbit モデルまたはハッシュ ファイルがある場合、ファイルは新しいトレーニング済みモデルによってサイレント モードで上書きされます。 再トレーニング時に中間モデルを保持するには、ストレージの場所を変更するか、モデル ファイルのローカル コピーを作成する必要があります。
実験を実行します。
モジュールを右クリックし、[トレーニング済みモデルとして保存] を選択して、更新されたモデルをワークスペースMachine Learningします。 新しい名前を指定しないと、更新されたモデルにより既存の保存されているモデルが上書きされます。
例
機械学習で Vowpal Wabbit を使用する方法の例については、次のページを Azure AI Gallery。
-
この実験では、VW モデルのデータ準備、トレーニング、運用化を示します。
また、次のリソースも参照してください。
Vowpal Wabbit の実装とロードマップについて説明するブログ
テクニカル ノート
このセクションには、実装の詳細、ヒント、よく寄せられる質問への回答が含まれています。
Vowpal Wabbit の利点
Vowpal Wabbit では、N-gram のような非線形の特徴より非常に高速な学習が実現されます。
Vowpal Wabbit では、確率的勾配降下 (SGD) などの "オンライン学習" 技法を使用して、モデルが一度に 1 つのレコードに収められます。 したがって、生データが非常にすばやく反復処理され、他のほとんどのモデルよりも速く適切な予測子を作成できます。 また、この方法では、すべてのトレーニング データをメモリに読み取る必要がありません。
Vowpal Wabbit により、すべてのデータがハッシュに変換されます。これには、テキスト データだけでなく他のカテゴリ変数も含まれます。 ハッシュを使用すると、回帰の重みをより効率的に参照できます。このことは、効果的な確率的勾配降下を実現する上で重要です。
トレーニング中に、モジュールは Azure 用に開発された Vowpal Wabbit ラッパーを呼び出します。 トレーニング データは、ストアと計算を実行する worker ロールの間の高帯域幅を利用して、Azure からブロックでダウンロードされ、VW 学習者にストリーミングされます。 結果として得られるモデルは、通常、VW によって実行される内部圧縮のために非常にコンパクトです。 モデルは実験ワークスペースにコピーされ、実験ワークスペース内の他のモデルと同様にMachine Learning。
サポートされているパラメーターとサポートされていないパラメーター
このセクションでは、Machine Learning Studio (クラシック) での Vowpal Wabbit コマンド ライン パラメーターのサポートについて説明します。
Machine Learning Studio (クラシック) では、次のコマンド ライン引数を使用できません。
Vowpal Wabbit Wiki で指定された入出力オプション - コマンド ライン引数
これらのプロパティは、モジュールによって自動的に構成されます。
複数の出力を生成するか、複数の入力を受け取るオプションは許可されません。 これには以下が含まれます。
--cbt,--lda,--wap教師あり学習アルゴリズムのみがサポートされています。 そのため、次のようなオプションはサポートされていません。
–active,--rank,--search
上記以外のすべての引数は許可されます。
引数の完全な一覧については、Vowpal Wabbit wiki ページを参照してください。
制限
サービスの目的は Vowpal Wabbit の経験豊富なユーザーをサポートすることであるため、他のモジュールで使用されるデータセット形式ではなく、Vowpal Wabbit ネイティブ テキスト形式を使用して、事前に入力データが準備されている必要があります。
Azure ML ワークスペースでデータを使用するのではなく、パフォーマンスを最大限に高め、解析オーバーヘッドを最小限に抑えるトレーニング データが Azure から直接ストリーミングされます。 このため、VW モジュールと Azure ML の他のモジュールとの間の相互運用性は制限ML。
モジュールのパラメーター
| 名前 | Range | Type | Default | 説明 |
|---|---|---|---|---|
| Azure ストレージ アカウント名 | any | String | Azure ストレージ アカウント名を入力します。 | |
| Azure ストレージ キー | any | SecureString | Azure ストレージ キーを提供します。 | |
| Azure コンテナー名 | any | String | Azure コンテナー名を入力します。 | |
| VW の引数 | any | String | Vowpal Wabbit の引数を指定します。 引数 –f はサポートされていません。 |
|
| VW 入力ファイルの名前 | any | String | 入力ファイルの名前を Vowpal Wabbit 形式で指定します。 | |
| 読み取り可能なモデル (--readable_model) の出力ファイルの名前 | any | String | 指定した場合、Azure コンテナーに読み取り可能なモデルを出力します。 この引数は省略可能です。 |
|
| 逆ハッシュ (--invert_hash) の出力ファイルの名前 | any | String | 指定した場合、Azure コンテナーに、逆ハッシュ関数を含むファイルを出力します。 この引数は省略可能です。 |
|
| ファイルの種類を指定してください。 | VW SVMLight |
DataType | VW | ファイルの種類で SVMLight 形式と Vowpal Wabbit 形式の使用を指定します。 |
出力
| 名前 | 型 | 説明 |
|---|---|---|
| トレーニングされたモデル | ILearner インターフェイス | トレーニング済みの学習器 |
例外
| 例外 | 説明 |
|---|---|
| エラー 0001 | データ セットで指定した列のうち 1 つまたは複数が見つからない場合、例外が発生します。 |
| エラー 0003 | 1 つまたは複数の入力が null または空の場合、例外が発生します。 |
| エラー 0004 | パラメーターが特定の値以下の場合、例外が発生します。 |
| エラー 0017 | 指定した 1 つ以上の列の型が現在のモジュールでサポートされていない場合に、例外が発生します。 |
Studio (クラシック) モジュール固有のエラーの一覧については、「 Machine Learning エラーコード」を参照してください。
API 例外の一覧については、「 Machine Learning REST API のエラーコード」を参照してください。
こちらもご覧ください
Text Analytics
特徴ハッシュ
名前付きエンティティの認識
Vowpal Wabbit 7-4 モデルのスコアリング
Vowpal Wabbit 7-10 モデルのスコアリング
Vowpal Wabbit 7-4 モデルのトレーニング
モジュールの一覧 (アルファベット順)