インク入力と Tablet PC

特定の市場 ( 医学、教育、基幹業務 ) 向けに、インク入力 /TabletPC 機能を活用してユニークなソリューションを開発している開発者たちの大きなコミュニティがあります。彼らはこの経験に基づき、彼らのエンドユーザーが PC ( 通常、スレートや壁掛けPC のようなユニークなフォームファクターを持つもの ) 上の情報と対話する方法を効率化するために、 Windows のソフトウェアを作成しています。今週初め、そのようなソフトウェアメーカー ( 医療用ソフトウェア ) の開発リーダーから「 Windows 7では自分たちにとって何が新しいのですか ? 」という貴重な電子メールをいただいたので、この新機能の概要をまとめてみました。この投稿はチームの複数のプログラムマネージャーが作成しました。 --Steven

Tablet PC 入力パネル

私は Windows 7 のコア ユーザー エクスペリエンス チームのプログラム マネージャーをしている Jan-Kristian です。私の担当領域の 1 つはペンとタッチのテキスト入力です。これから私たちが取り組んでいるエキサイティングなことについてお話したいと思います。

私たちが略して TIP と呼ぶ Tablet PC 入力パネル (Tablet PC Input Panel) は、任意の Windows アプリケーションへ手書きでテキストを挿入するツールです。これは、テキストの入力に使用できるソフト キーボードも備えています。この入力パネルは、Windows XP Tablet PC Edition の最初のバージョンで登場し、バージョンごとにユーザー エクスペリエンスを着実に向上させてきました。

新しい手書きパッド

TIP での私たちの目標は、できるだけ軽量化し、ユーザーがその使用方法を意識することなく、書いている内容について集中できるようにすることです。Windows Vista の入力パネルで実現した改良に対して、私たちは多くの好意的なフィードバックを得ました。ただし、混乱を招いたり、必要以上に多くの手順を要したりする部分もありました。

 Windows Vista の入力パネル – 手書き認識の結果は、手書き入力領域の下部のテキストの小さな吹き出しで示されます。認識を確認するために、この吹き出しを見ていく必要があります。エラーを見つけたら、その吹き出し上をタップして、修正用のウィンドウを表示します。

Vista の遠隔測定とユーザビリティ実験の分析に基づいて、私たちは Windows 7 の向上について 2 つの重要な分野に重点を置きました。

· エクスペリエンスの簡略化 – 手書きは、容易かつ自然に流れるようなエクスペリエンスである必要があります。しかし、私たちは、TIP を使用すると、ユーザーが何を行っているかについて強く意識をせざるをえない、ということを発見しました。手書きされたものと小さな吹き出しの間で視線を素早く動かす必要があり、修正があれば別のモードに入り、しばしば単語全体を書き直すことにさえなります。私たちの目標は、これを簡略化し、より少ない負担で行えるようにすることでした。

· 柔軟性の追加 – 私たちは、入力にマウスやキーボードを使用するときの柔軟性に慣れ親しんでいます。インク ベースのモデルはいったん書かれた文章を編集するのが難しく、Windows Vista の入力パネルでの手書きには最小限の柔軟性しかありませんでした。単語間にテキストを挿入したり、単語を置換したりする簡単な方法がなかったのです。私たちの目標は、ペンの機能を使用するときの編集エクスペリエンスを、マウスとキーボードで慣れ親しんだものにより近づけることでした。

新しいモデルの作成

これらの目標を達成するには、手書きパッドを根本的に変更する必要がありました。私たちはさまざまなアイデアを検討し、ユーザーが書いているときに、インクがインプレースでテキストに変換されるモデルを採用することにしました。これは簡単な UI モデルのように聞こえますが、正常な動作をどうするかについて、いつ変換するか、テキストはどれくらいの大きさにするか、どのフォントを使用するかなど、多くの解決すべき問題がありました。自然で効率的な手書きエクスペリエンスを確実に実現するただ一つの方法は、ユーザーからフィードバックを得ることでした。そこで私たちは RITE (Rapid Iterative Testing and Evaluation) メソッドを使用しました。RITE テストは、Age of Empires II ゲームのユーザビリティ テストの一部として Microsoft で開発されたサイクル ベースのユーザビリティ メソッドです。サイクルごとに、ユーザー エクスペリエンスを少しずつ向上させ、それがうまく機能するか再テストします。文書化の準備が整ったと思えるようなデザインの最終決定の前に、私たちはおよそ 20 のサイクルを実施しました。

RITE テスト中に調整した最も重要なものの 1 つは、インクからテキストへ自動変換を行うタイミングでした。変換が早すぎたり遅すぎたりすると、ユーザー エクスペリエンスを低下させます。これを正しく行うには、各シーンの作業の裏で多くのことを行う必要がありました。私たちの最終的なソリューションは、距離のトリガー (自動的にユーザーの平均単語間隔に適応)、認識エンジンの結果に基づいたトリガー、および時間ベースのトリガーを組み合わせたものです。もう一つの問題は文字のサイズでした。私たちは結局、手書きのサイズに一致するよう動的なサイズ変更を使用することにしました。

手書き入力領域の新しいテキスト ベースの UI によって、対象のテキストにより迅速に到達できるようになります。テキストの表示が 1 か所になったことにより、エクスペリエンスの複雑さが軽減され、入力パネルの高さが低くなります。インクの代わりにテキストを使用すると、手書き入力領域は大幅に柔軟性を増し、望むようにテキストを移動できます。2 単語間に単語を挿入することが、空白に書くのと同じくらい簡単になり、また、必要に応じてスペースが自動で拡大します。

インクからテキストへの変換作業とともに、それに伴う認識されたテキストを編集する自然な方法が必要になりました。これには、ジェスチャが最適なソリューションに思えました。私たちはペン ベースの UI を作成していたので、ペンを使用するべきです。私たちはジェスチャを 3 種類 （削除、分割 (スペースの追加)、結合） に制限し、ユーザーがこれらの 3 つの操作を紙の上でどのように行うかサンプルを収集しました。そして、収集されたデータに基づいて、ジェスチャを作成しました。このジェスチャを見つけやすくするために、「ジェスチャ パネル」を追加しました。これは、入力パネルのタイトル バー上に表示される、いわば対話型の「カンニング ペーパー」です。

これらが Windows 7 の新しい手書き入力領域でどのように実現されているかご覧ください。[編注: YouTube と Windows 7 の Windows Live フォト ギャラリーを使用]:

 

Windows 7 – 手書きの概要

手書きパッド : 操作中の新しい手書きパッド。自分の操作した結果が容易にわかるように、アニメーションを使用してどうなるか示します。

スマートコレクション

遠隔測定の結果、Vista で TIP を使用する上で苦労することは、入力した文字の修正であることが判明しました。ある単語を修正するために、すべての文字を書き直さなければならないこともよくあります。Windows 7 では、Microsoft Research の成果を活用し、スマート コレクション機能を設計しました。これにより、単語の修正が非常に高速に行えます。ただ左から右へ単語を修正していけばよく、文字を入力するごとに、Windows は新しい認識を行います。このように抑制された認識により、ほとんどの場合わずかな文字修正で望んだ結果を得られます。

Windows 7 – 手書きのスマート コレクション

スマートコレクション** : “Worked” が、たった 1 文字変更しただけで自動的に “Wonderful” に修正されました。単語の左から修正を始めるだけで、望んだ単語にたどり着くまで更新し続けます。

URL の入力

注目に値する手書きパッドのもう 1つの機能: 計測データによると、入力パネルが最もよく使用されているアプリケーションは Web ブラウザーでした。そして、ブラウザーを利用する際、主要なシナリオの 1 つは URL の入力です。

Windows 7 の手書き入力 - URL の修正

URL の入力 : 新しい手書きパッドの柔軟性により、 URL のパーツがあらかじめ設定されており、 URL の入力が容易になります。

URL のセグメントがどのように分離され、そのすべてに対して意味をなす変換候補があることに注目してください。変換候補は、ユーザーの使用頻繁に基づいて決定されます。したがって、「．NET」を何度も選択していれば、それが候補の上位に挙げられ、デフォルトで URL テンプレートに設定されます。また、[挿入] ボタンは、ユーザーが URL を挿入した後にシングル クリックでそこに移動できるよう、[移動] (Go to) に変更されました。

タッチキーボード

入力パネルには、ペンやタッチで優れた力を発揮するソフト キーボードもあります。私たちが行ったアップデートのいくつかは、可視的な更新だけのように見えるかもしれません。しかし、これらは非常に熟慮されたもので、タッチ キーボードのユーザビリティに大きな影響を与えます。たとえば、タッチ スクリーン PC は、モバイル状況でしばしば使用されます。これらを暗い画面や光の状態が最適でない画面で確実に使用可能にするには、主要なラベルの色やコントラストによく注意する必要がありました。

 Windows 7 のタッチキーボード**

タッチ ベースのキーボードの使用における課題の 1 つは、触覚的なフィードバックがないことです。その結果、キーがタップされているとき、ユーザーの指がそのキーを覆ってしまうという事実があります。指がキーを覆っていたら、正しいキー (あるいは何かのキー) を打っていることをどうやって知ることができるでしょうか? キーを打つごとに、焦点をテキスト フィールドとタッチ キーボード間で切り替える必要があるとしたら、ユーザーはタッチ入力にすぐに疲れてしまいます。私たちはユーザーに、「了解」「このキーを打ちました」といったシンプルな、ちょっとした合図を送りたいと思いました。採用した方法は、放されたキーに短時間、光のフェード アウト効果を持たせることでした。この光のフィードバックは、目的の (あるいは目的でない) キーを打ったという簡単な確認をユーザーに与えます。

キーボードはマルチタッチをサポートするようになり、[Ctrl] + [C] や [Shift] + [a] などを押すことができます。キーのロールオーバーも有効になりました。これは、指を前のキーから上げる前に、別のキーを押すことができるということです。これにより、はるかに自然な入力エクスペリエンスが実現されます。[Ctrl] キーを押してから [C] を押すという前置修飾キー (sticky modifier key) モデルをご希望の場合でも、それは引き続きサポートされていますので、どうぞご心配なく。

予測入力および手書き認識の個人用設定

私は Tablet PC 手書き認識チームのプログラム マネージャーをしている Jen です。です。以前の投稿で、私の同僚である Yvonne から新しい手書き認識エンジンに関しての話がありました。今回は、予測入力や個人設定、東アジア言語の新しい認識エンジンなど、認識エンジンの機能を増大させる新機能のいくつかを取り上げます。

予測入力

Tablet PC チームの目標の 1 つは、キーボードの使用が不便あるいは非現実的なときに、テキスト入力をできるだけ効率的にすることです。これを達成するため、私たちは TIP に投資を行いました。私たちは全体的な手書き認識の正確さを向上させ、これと同じテクノロジを活用してソフト キーボードで予測入力を提供しています。予測入力では、入力中の単語について可能性のある単語を完成して提供しますが、次の単語あるいは語句の候補を提示することもできます。

 予測入力 – ここでは英語 ( 米語 ) 用ソフトキーボードを使用して、単語「 Microsoft 」を入力しようとしています。最初の 2 つの文字「 mi 」を入力した後、最初の候補として単語「 Microsoft 」が提案されます。この候補を選択し、単語「 Microsoft 」をドキュメントへ挿入することができます。

Windows 7 では、ソフト キーボードで英語、フランス語、イタリア語、ドイツ語、およびスペイン語の予測入力を、1 字単位の入力モードの手書きで繁体字中国語と簡体字中国語をサポートしています。このセクションでは、ラテン語ベースの言語に焦点を当て、中国語などの例は次のセクションで取り上げます。

私たちが予測入力を開発したとき、主な目標はユーザーの入力速度を速めることでした。そのために、予測が適切であるようにする必要がありました。私たちの認識エンジンでは、認識の正確さを向上させるために用語集 (辞書) を使用します。システム辞書は、認識エンジンに搭載されており、任意の言語で最もよく使用される単語の一覧を意味します。この辞書を使用する場合、即座に利用可能な予測を使用してもよいのですが、ユーザー固有のその他の単語 (ユーザーの単語) を追加して、正確さを大幅に向上させることもできます。これにはテキスト収集が関わっています。

私たちは手書き認識を向上させるために、Windows Vista で米国英語と英国英語のテキスト収集 (自動学習) を搭載しました。Windows 7 では、この機能はすべての言語で使用可能です。これにより、電子メールを書くとき、入力する単語に基づいてシステム辞書を自動的に拡張できます。テキスト収集はユーザーごとに実行されるので、データは各ユーザー専用です。テキスト収集の結果から、各ユーザー専用の語彙を含む新しい辞書を構築し、既に通常使用している単語の確率を高めます。この辞書は、手書き認識と予測入力の両方で使用されます。各ユーザーの単語と使用パターンにより辞書を増強した後の結果は感動的なものです。次に入力するつもりの単語を予測する能力は、ほとんど魔法に思えます!

Windows 7 には、ユーザー辞書のサポートも含まれています。これは、システムに追加できる特別な単語リストです。企業は、医学や化学などの分野専用の辞書を開発し、システムに追加できます。たとえば、「acetaminophen」という単語の予測は、これを入力するよりずっと高速です!

東アジアの手書き認識の向上点

著しい改良が、私たちがサポートする繁体字中国語、簡体字中国語、韓国語、および日本語という 4 つの東アジア言語の手書き認識で実現されました。これらの言語は文字セットが大きいため、多くのユーザーにとって、手書きが効率的な入力方式になっています。

東アジアの手書きには 2 つの入力モードがあります。1 字単位モード (ボックス モード) およびフリースタイル モード (ライン モード) です。ボックス モードでは、固定幅のボックスへ一度に 1 文字を入力します。フリースタイル モードでは、ライン上に文字を筆記体で手書きし、文字間隔に注意する必要はありません。どちらのモードを選ぶかはユーザーの好みによります。ボックス モードの方がわずかに制約度が高く、予測入力がより正確で、ライン モードの方がより自然な手書きです。

 ラインモードでの繁体字中国語** – 上部ウィンドウにユーザーの手書き、下部ウィンドウに認識されたテキストが表示されています。

これらすべての言語にわたって中核となる認識精度の向上に加え、ユーザー エクスペリエンスを向上させるために、個人設定も使用しています。個人設定の方法の 1 つは、字形コレクターを使用してユーザーの書き方に適合させることです。字形コレクターは、手書き認識に、ユーザー独自の手書きスタイルをトレーニングするためのウィザードです。4 つの東アジア言語では、特定の文字や単語の認識を向上させたり、サポートされていない文字や単語を追加するために、字形コレクターを「トラブルシューティング」モードで使用できます。

さらに、ユーザーが書いたり誤りを修正するときに、学習が行われます。文字を書き、最初に誤認識された場合、候補一覧が表示され、目的の文字を選択できます。この操作に基づいて学習され、ユーザーが次にこの文字を書くときに、最初の候補としてそれが示される確率が高くなります。

Windows 7 では、簡体字中国語と繁体字中国語は、ボックス モードでの予測入力もサポートしています。これらの言語では、個々の文字を書くのに時間がかかるため、予測入力は特に価値があります。ユーザーが 1 字ずつのモードで書くと、全てを書く前に、単語や語句を入力するためのオプションが示されます。下記の場合では、ユーザーは中华人民共和国を入力しようとして、最初の 2 つの文字、中华を入力しただけで、目的とするテキストを予測として得ました。灰色の文字は入力された文字を示し、黒い文字は予測を示します。

この例では予測入力が、2 番目の文字 (华) と同様に始めの 2 文字 (中华) で機能していることに注目してください。他の言語もそうですが、予測入力はユーザー固有の語彙でも機能します。ユーザーが同じ単語を何回も入力すると、認識エンジンはこの動作を学習します。

私たちは Windows Vista 以来、繁体字中国語、簡体字中国語、日本語、および韓国語の手書き認識を大きく改良してきました。改良は、正確さとスループットを向上させることにより、全体的なカスタマー エクスペリエンスを向上することに基づいています。私たちの目標は、ユーザーに、これらの言語のより自然な入力方法、およびキーボード使用とは別の実行可能な選択肢を提供することです。

手書き数式認識

Word で数学の論文を書いたり、Mathematica で演算を行ったことはありますか? そして、「使いやすい入力方式のためなら、何でもするのだが、、、」と思いながら、多くのボタンや複雑な線形のフォーマットを使って数式を作成するのに何時間も費やしたことはありませんか? その願いはかなえられました。私たちは Windows 7 の手書きの向上に加え、インク入力での数式の認識に注力しました。

私は Windows の数式認識のプログラム マネージャーをしている Marko です。数式入力の最も自然で最も効率的な方法、つまり手書き認識を提供する数式入力パネルを紹介したいと思います。私たちはこの問題に対して完全に新しいアプローチをとり、手書き数式認識を機能、パフォーマンス、およびカバーしている分野を、全く新しいレベルにまで引き上げることができました。

数式入力パネル (Math Input Panel、MIP) は、Tablet PC のタブレットとペンを使用するように設計されています。ただし、タッチスクリーン、外部デジタイザー、あるいはマウスなどの任意の入力デバイスでも使用可能です。MIP は、クリップボードを介して、標準化された数学的なマークアップ言語である MathML フォーマットで認識結果を出力します。MIP で手書きされて認識された数式は、完全に編集可能な形式でレプリケート先アプリケーションに出力されます。テキストを編集したいときは、出力に対して挿入したり編集したりできます。

私たちは、可能な限り多くの数学分野と、尽きることのないさまざま数学の表記法を調査したり識別するのに多くの時間を費やしました。最終的に、高校および大学レベルの数学と、さらに高度な分野を広くカバーできました。

数式入力パネル – 上記の例で認識された数式をご存知ですか ? これは複雑な分析で使用される Schwarz の公式です !

MIP の使用法は実にシンプルで簡単です。鉛筆と紙で書くように、整形式の数式を書くと認識エンジンに取り込まれます ( は認識されませんが、 は認識されるということです)。認識された数式は、プレビュー領域に示されます。誤りが全くない認識エンジンは存在しないので、MIP の優れた能力は、すばらしい修正エクスペリエンスで発揮されます (正直、人間でさえ何が書かれたか分からない時があります。私の手書きをご覧ください!)

手書きの数式が誤認識された場合、その部分 (シンボルやサブ構造全体など、どこでも) を選択して、ドロップダウン リストから候補を選択するか、数式の一部を書き直すことにより修正できます。通常、数式の一部分を修正することにより、自動的に残りの部分が 1 回の手順で修正されます。

数式入力パネルでの修正

この後、行う必要があるのは [挿入] をタップするだけです。それにより、ワープロや計算プログラムで数式を苦労せずに作成できます。

このほかにも、履歴、インクの移動、OneNote のような他のインク アプリケーションから MIP へのインクのドラッグ アンド ドロップなど、多くの素晴らしい機能があるので、ぜひご自分でお試しください。ソフトウェア開発者のみなさん、MIP を自分のアプリケーションに埋め込むことができます – 詳しくは MSDN のドキュメント.をご覧ください。