この 20 年間におけるマイクロソフトでの機械学習 (Machine Learning) の開発
このポストは、7 月 8 日に Machine Learning Blog に投稿された Twenty Years of Machine Learning at Microsoft (著者: John Platt) の翻訳です。
今回は、マイクロソフト リサーチ上級研究員の John Platt の記事をご紹介します。
一般にはあまり知られていませんが、マイクロソフトには、機械学習システムを開発し、これを実際の課題に応用してきた 20 年以上の経験があります。最近はビッグ データや深層学習などが話題になっていますが、私たちの取り組みはそれよりもはるかに歴史があり、さまざまなテクノロジの活用や、機械学習を実際に展開するうえで必要な知識を得るために役立ててきました。
マイクロソフトの機械学習の歴史は 1992 年にまでさかのぼります。当初はベイジアン ネットワーク、言語モデルの作成、音声認識といった分野に取り組みました。その後、1993 年までに Eric Horvitz (英語)、David Heckerman (英語)、Jack Breese (英語) が Microsoft Research で決定理論グループ (英語) を、また XD Huang (英語) が音声認識グループ (英語) を立ち上げました。90 年代には、線形分類 (英語) とベイジアン ネットワーク (英語) の併用により、テキスト分類 (英語) や電子メールの優先度設定 (英語) などの多数の問題が解決可能であることが判明し、最初のコンテンツに基づくスパム検出機能 (英語)、およびその他のさまざまな試作品 (英語) や製品の基礎となりました。
私たちには、マイクロソフト製品の特定の問題を解決すると同時に、自分たちが使用しているツールを直接お客様に提供したいという思いがありました。使いやすいツールを作成するためには、優秀なアルゴリズムを作成するだけではなく、エンドツーエンドのユーザー エクスペリエンスなどについても検討する必要があります。これについては、まず Commerce Server 製品に予測分析を追加 (英語) し、推奨サービスの提供を開始しました。また、2005 年には SQL Server データ マイニング (英語) 製品をリリースしました。この製品は、お客様が SQL Server 製品上に分析機能を構築するためのものです。
アルゴリズムの高度化が進むにつれ、情報の取得、コンピューターによる画像認識や音声認識など、機械学習に関連する分野の中でもさらに高度な問題に取り掛かるようになりました。着実に進化を続けるために、機械学習と各分野の優れたアイデアを融合させました。前回の記事で説明したように、その例は数知れません。Jamie Shotton (英語) と Antonio Criminisi (英語) が所属するチームは、人体の姿勢推定 (英語) および画像診断 (英語) に決定木 (英語) による画素識別を使用しました。また、Li Deng (英語)、Frank Seide (英語)、Dong Yu (英語) が所属するチームは、音声認識に深層学習を応用 (英語) しました。
既存の問題を解決するための高度なアルゴリズムとは別に、機械学習による新しいフレームワークの可能性にも挑戦してきました。機械学習のフレームワークというと、統計分類 (英語) と回帰分析 (英語) がよく知られています。これらのフレームワークでは、機械学習によってデータのベクトルがラベル (統計分類の場合) または値 (回帰分析の場合) のいずれかにマッピングされます。機械学習では、ラベルや値の生成以外にもさまざまなことが可能で、その中に「構造学習 (英語)」と呼ばれる小分野があります。その分野の初期の例が、機械が項目のランキング リストを作成する「ランキング学習コンテスト (英語)」です。前回の記事で説明したとおり、これは Bing で非常に役立っています。他に、因果モデルの構築 (英語) という興味深い分野があり、これは広告システムのモデル (英語) に使用されています。さらに、モデルからではなくデータから直接プログラムを生成する (英語) フレームワークもあります。
機械学習の研究者としては、Microsoft Azure Machine Learning (英語) に大いに興味を引かれます。Azure Machine Learning では、SQL などの特定の 1 つのデータ管理プラットフォームのみに制限されない、クラウドにデプロイ可能なモデルを作成します。Azure Machine Learning でクラウド サービスを作成すると、機械学習を特定のアプリケーションに適応させる際の障害を軽減できます。私たちは研究者として、自分たちの経験とアルゴリズムのすべてを Azure Machine Learning に盛り込み、機械学習を基礎とする製品の構築にお客様の創造性を発揮していただきたいと考えています。
今後の記事では、現在の機械学習研究についていくつかご紹介し、今回ご紹介したテクノロジについてもさらに詳しく説明していく予定です。ご興味をお持ちの研究テーマがありましたら、該当するテクノロジの開発者に執筆を依頼しますので、ぜひお知らせください。最後までお読みいただき、ありがとうございました。
John Platt
私の研究の詳細については、こちら (英語) をご覧ください。Twitter アカウントのフォローはこちらからお願いします。