Рукописный ввод и планшетные компьютеры

Существует крупное сообщество разработчиков, использующих в своих программах рукописный ввод, в том числе на планшетных ПК, создающих уникальные решения для специализированных рынков (медицина, образование, отраслевые решения). Они создают и программы для Windows, применяя накопленный опыт и знание того, как именно пользователи взаимодействуют с интерфейсами своих компьютеров (часто на маленьких экранах, например, интегрированных или настенных). Чуть раньше на этой неделе я получил интереснейшее электронное послание, в котором один из руководителей разработки такого ПО (медицинского) спрашивает, что новенького вы для нас приготовили. Поэтому мы решили подготовить обзор новых функций. Обзор проверен и одобрен ответственными за эти проекты специалистами.

Кроме того, если вы заметили, в последние несколько дней у нас наблюдались проблемы со временем, но теперь всё налаживается. Ничего удивительного, поскольку все мы слегка заняты в связи с предстоящим релизом Windows 7. –Стивен

Панель ввода планшетного ПК

Привет, меня зовут Жан-Кристиан. Я программный менеджер в команде основных интерфейсов пользователя (Core User Experience) и отвечаю за общее качество взаимодействия пользователя с интерфейсом Windows 7. Я, в частности, занимаюсь проблемами перьевого ввода и ввода текста с помощью касаний, и мне хотелось бы рассказать о некоторых захватывающих проектах, над которыми мы трудились.

Панель ввода планшетного ПК, или, как мы для краткости ее называем, TIP (Tablet PC Input Panel) – инструмент, с помощью которого текст вручную вводится в любую программу Windows. Он также оснащен виртуальной клавиатурой. Панель ввода появилась ещё в Windows XP Tablet PC Edition и с тех пор мы внесли в неё множество усовершенствований.

Новая панель для рукописного ввода

Нашей целью всегда было сделать TIP настолько простой и понятной, чтобы можно было сосредоточиться на том, что пишется, а не на том, как это делается. Мы получили немало положительных отзывов по поводу внесенных изменений в панель ввода в Windows Vista, но всё ещё оставались некоторые моменты, когда от пользователя требовалось больше действий, чем предполагалось.

Панель ввода Windows Vistа – результаты распознавания почерка показаны в небольших всплывающих подсказках под поверхностью для письма. Подтвердить результат можно, сверившись с подсказкой; если обнаружена ошибка, необходимо щелкнуть по подсказке, после чего появится новое окошко для внесения исправлений.

Основываясь на данных нашей телеметрии при испытаниях Vista и тестов на удобство использования, мы сосредоточились на двух важнейших аспектах совершенствования рукописного ввода для Windows 7:

· Увеличение удобства работы – рукописный ввод должен быть простым и естественным процессом. Мы обнаружили, что использование TIP провоцирует своеобразный синдром «когнитивной перегрузки» – пользователь начинает слишком много думать о том, как он пишет. Ваши глаза начинают метаться между тем, что уже распознано и введено, и тем, что появляется внутри всплывающих подсказок – происходит перескакивание от режима к режиму, что иногда приводит к необходимости переписывать слово целиком. Мы стремились упростить процедуру и сделать её менее навязчивой.

· Увеличение гибкости – все привыкли к свободе действий за компьютером, которой мы обязаны мыши и клавиатуре. Рукописный ввод в Windows Vista необходимой гибкостью не обладал, поскольку «чернильно-ориентированная» модель не обеспечивала должной простоты редактирования введённого текста, – невозможно было вставить в промежутки между словами дополнительные слова или символы, нельзя было просто заменить слово. Нашей задачей было упорядочить ввод, привести его в соответствии с интуитивными навыками, выработанными в процессе использования мыши и клавиатуры, не отказываясь от преимуществ, предоставляемых электронным пером.

Создание новой модели

Чтобы достичь задуманного, требовалось внести фундаментальные изменения в концепцию окна рукописного ввода. Рассматривая разные варианты, мы остановились на моментальном превращении цифрового почерка в текст прямо в процессе письма. И хотя это звучит несколько тривиально для модели интерпретации рукописного ввода, мы столкнулись с целым ворохом нерешённых вопросов: когда именно должно происходить превращение текста, какого размера ему следует быть, какое начертание использовать. Единственный способ убедиться в том, что мы создали естественный и эффективный инструмент рукописного ввода – получить положительные отклики пользователей. Мы применили метод RITE (Rapid Iterative Testing and Evaluation, ускоренное циклическое тестирование и использование, созвучное на английском языке слову «писать»). RITE представляет собой циклическую методику тестирования удобства использования, разработанную Microsoft как часть процедуры тестирования игры Age of Empires II. В каждом цикле мы опробовали очередное небольшое усовершенствование для пользователей и затем тестировали вновь, чтобы увидеть, насколько удачно вышло. Мы провели примерно 20 циклов, прежде чем решили, что у нас есть что представить на всеобщее обозрение.

Одним из наиболее важных аспектов, который мы настроили в ходе RITE-тестирования, был таймаут автоматического превращения рукописного почерка в текст. Слишком раннее или чересчур позднее превращение производит плохое впечатление на пользователя. Для того, чтобы настроить всё правильно, нам пришлось выполнить массу закулисной работы. Результатом наших усилий стала комбинация дистанционного триггера (автоматически подстраивающегося под индивидуальный пользовательский стиль выдерживать пробелы между словами), триггер распознавания результатов ввода и триггер времени. Другим фактором оказался размер преобразованного текста. В конце концов мы остановились на динамической модели, чтобы символы распознанного текста точнее соответствовали символам, вводимым пером.

Новый тексто-ориентированный пользовательский интерфейс в поле рукописного ввода позволит вам быстрее перейти к желаемому участку введённого текста. Единое представление текста облегчает использование и уменьшает высоту панели ввода. Использование шрифтового текста вместо рукописного увеличивает гибкость использования панели рукописного ввода: текст можно произвольно перемещать во всём её пространстве и вводить слова в промежутки уже введенного текста теперь так же просто, как начать писать, и поле увеличивается автоматически по мере необходимости.

Поскольку нам удалось добиться превращения почерка в текст, нам потребовался соответствующий естественный способ редактирования распознанного текста. Жестикуляция выглядела идеальным решением для этого случая – мы создавали ориентированный под перо интерфейс, так что без использования пера нам было не обойтись. Мы специально ограничились небольшим количеством жестов: удалить, разделить (добавить пробел), соединить. Мы собрали образцы выполнения жестов различными людьми на бумаге. Основываясь на этих данных, был разработан набор жестов. Чтобы обратить на них внимание пользователя, мы добавили панель жестов – интерактивную табличку, всплывающую по нажатию на кнопку в заголовке окна панели ввода.

Давайте посмотрим, как всё это выглядит на деле:

Панель рукописного ввода : новая панель в действии, анимация использована для наглядной трансформации, так, чтобы можно было чётко увидеть результат действий.

Интеллектуальная коррекция

Наша телеметрия показала, что исправление ошибок – наиболее болезненный аспект использования TIP в Vista. Чтобы исправить слово, нередко приходится переписывать все символы. В Windows 7 мы использовали наработки Microsoft Research, чтобы создать интеллектуальную коррекцию, способную существенно ускорить редактирование. Теперь вы просто начинаете исправлять слова слева направо, а Windows распознаёт вводимые символы по мере того, как вы их наносите на поверхность. Такое принудительное посимвольное распознавание практически всегда обеспечит желанный результат при исправлении нескольких букв.

Интеллектуальная коррекция : "worked" автоматически исправлено на "wonderful" изменением одной-единственной буквы. Всё, что нужно было сделать – это начать исправлять слово слева направо и продолжать до тех пор, пока не получится желаемое.

Ввод веб-адресов

Хочется отметить ещё одно свойство панели рукописного ввода: наши измерения свидетельствуют, что одними из наиболее часто используемых вместе с панелью ввода приложений являются браузеры, и во время их использования наиболее вероятное действие – ввод URL.

Ввод адреса : гибкость новой панели рукописного ввода облегчена за счёт предикативного ввода адреса.

Обратите внимание как разные сегменты адреса отделяются друг от друга и что все имеют заместителей, чтобы быть осмысленными. Заместители построены на ваших собственных предпочтениях, так что если вы часто выбираете ".net", то эта часть адреса переместится вверх по списку предпочтений и может быть выбрана в качестве шаблона адреса по умолчанию. Кнопка "Вставить" также превращается в "Перейти" для того, чтобы пользователь мог внести адрес и переместиться по нему одним щелчком.

Виртуальная клавиатура

Панель ввода предлагает виртуальную клавиатуру – замечательную возможность для перьевого ввода или ввода нажатием. Некоторым может показаться, что по сравнению с предыдущей версией произошли лишь косметические изменения, но на самом деле они довольно существенны и оказывают значительное влияние на удобство использования этой функции. Например, ПК с сенсорным экраном часто применяются в движении, и следует весьма осторожно подходить к выбору цветовой и контрастной схем для основных управляющих кнопок, чтобы гарантированно обеспечить их визуальное опознавание при затемнённом экране или в плохих условиях освещения.

Одна из основных проблем при использовании виртуальной клавиатуры – отсутствие тактильной обратной связи. К тому же при наборе заслоняется маркировка на клавишах. Как пользователь узнает, что он нажал нужную клавишу, когда символ на ней не виден из-за пальца? Если ему придётся всё время перескакивать взглядом с набираемого текста на клавиатуру при каждом нажатии, очень быстро наступит утомление. Мы хотели дать понять пользователю: «Мы слышим вас!» и «Да, вы только что нажали эту клавишу». Нашим решением было придать только что «отпущенной» клавише короткий эффект затухания. Этот способ обратной связи даёт пользователю необходимую информацию о том, что он нажал нужную (или ненужную) клавишу.

Клавиатура теперь поддерживает одновременное многократное нажатие, поэтому можно смело пользоваться комбинациями клавиш, например, "Ctrl+c" или "Shift+a". Мы включили поддержку одновременного нажатия нескольких клавиш (rollover): вы можете нажимать следующую клавишу, в то время как ваш палец ещё находится на предыдущей, – это обеспечивает большую естественность набора посредством клавиатуры. Не переживайте: если вам по душе модель «с залипанием», когда вы сначала нажимаете сначала "Ctrl", а потом "c", она тоже поддерживается.

Предикативный ввод и индивидуальная настройка распознавания рукописного ввода

Привет, меня зовут Джен. Я координирую работы по распознаванию рукописного ввода для планшетных ПК. В предыдущем сообщении моя коллега Ивонн рассказала о новых механизмах распознавания. Я хочу остановиться на том, как некоторые новые функции системы улучшают работу этих механизмов, в частности, рассказать о предикативном вводе и возможностях индивидуальной настройки для более чёткого распознавания рукописного ввода, а также о новых механизмах распознавания для восточноазиатских языков.

Предикативный ввод

Одна из основных целей в работе над интерфейсом планшетных ПК – сделать его максимально эффективным тогда, когда ввод текста с помощью клавиатуры неудобен или вообще невозможен. Для того, чтобы достичь результата, мы немало потрудились над TIP, принципиально улучшили точность распознавания рукописного ввода и усовершенствовали некоторые из механизмов для того, чтобы обеспечить предикативный ввод для виртуальной клавиатуры. Предикативный ввод предлагает варианты завершения вводимого слова и даже может предлагать варианты для следующих слов и целых фраз.

Предикативный ввод : тут я пытаюсь ввести слово "Microsoft", используя раскладку виртуальной клавиатуры "Английский (США)". После ввода первых двух "Mi" букв слово "Microsoft" предлагается в качестве первого варианта. Я могу выбрать его и слово "Microsoft" будет напечатано в документе.

В Windows 7 предикативный ввод поддерживается для английского, французского, итальянского, немецкого и испанского в виртуальной клавиатуре и при рукописном вводе, а для китайского и китайского упрощённого – при рукописном вводе в посимвольном режиме. В этой части мы сосредоточимся на языках с латинским алфавитом, а в следующей я расскажу о примерах с китайским языком.

В процессе разработки предикативного ввода мы стремились прежде всего ускорить сам процесс ввода. Для этого следовало убедиться, что предикативность правильно настроена. Механизмы распознавания используют словари для улучшения точности распознавания. Системный словарь тесно связан с механизмом распознавания. Он представляет собой не что иное, как список наиболее часто употребляемых слов в соответствующем языке. Даже с использованием стандартного словаря работоспособность распознавания "из коробки" вполне удовлетворительна, но подключение пользовательского словаря (с личными настройками) серьёзно улучшает его эффективность. Здесь в игру вступает так называемое самообучение (text harvesting).

Windows Vista мы снабдили функцией самообучения для британского и американского английского, чтобы улучшить распознавание рукописного ввода. В Windows 7 эта функция доступна уже для всех языков. Это позволяет расширять пользовательские словари, автоматически дополняя ими системный словарь за счёт слов, вводимых пользователем, например, при создании сообщения электронной почты. Самообучение работает отдельно для каждого пользовательского профиля, то есть словарь зависит от ваших личных предпочтений. По результатам работы самообучения создаётся новый словарь, построенный на специфических предпочтениях конкретного пользователя, что, в свою очередь, повышает точность распознавания наиболее часто используемых этим пользователем слов. Это действует как для предикативного ввода с виртуальной клавиатуры, так и при рукописном распознавании. Эффект достигается поистине впечатляющий, система словно по волшебству угадывает то, что вы хотите написать или напечатать!

Windows 7 полностью поддерживает пользовательские словари, являющиеся специализированными списками слов, добавляемых в систему. Компании могут создавать словари для отдельных доменов своей сети – медицинские, химические и т.д. и добавлять их к основному – предикативный ввод слова "ацетаминофен" намного быстрее, чем ввод слова по буквам!

Усовершенствования в распознавании для восточноазиатских языков

Механизм распознавания восточноазиатских языков был существенно переработан. Это коснулось всех четырёх поддерживаемых нами языков: традиционного китайского, китайского упрощённого, корейского и японского. Многие пользуются рукописным вводом на этих языках из-за большого числа иероглифов.

Для рукописного ввода на этих языках существует два основных метода: посимвольное распознавание (ячеечный режим) и свободный ввод (строчный режим). В первом случае вводится один знак в ячейку фиксированной ширины. В строчном режиме знаки вводятся свободно вдоль линии, так что пользователю не нужно сосредотачиваться на соблюдении пробелов. Выбор режима зависит от личных предпочтений пользователя. Ячеечный режим имеет несколько больше ограничений, но обеспечивает предикативный ввод и более точен, в то время как строчный режим больше соответствует естественной манере письма.

Ввод на традиционном китайском в строчном режиме: верхнее изображение – рукописный текст, нижнее – результат распознавания.

В дополнение к основному улучшению точности распознавания для этих языков мы используем настройки индивидуальных особенностей пользователя для ещё более высокого качества работы системы. Один из методов настройки такой персонализации – учитывать манеру письма пользователя с помощью механизма Shape Collector (регистратор выведения кривых при начертании символов). Shape Collector – это мастер настройки, который помогает натаскивать распознавание на индивидуальный стиль письма. Shape Collector можно использовать для всех четырёх восточноазиатских языков в особом режиме выявления неисправностей: это увеличивает точность распознавания специфического символа или слова. В этом же режиме можно просто добавить слово или символ, которые не поддерживаются изначально.

Мы изучаем, как вы пишете и как исправляете ошибки. Если вы ввели символ, который не распознаётся, то можно просмотреть список альтернатив и выбрать из него тот, который подразумевали. На основе этого сценария система научится сначала предлагать именно выбранный вами символ в следующий раз, когда "усомнится" в результате распознавания.

В Windows 7 для традиционного и упрощённого китайского в режиме ячеечного ввода используется предикативный ввод. Для этих языков предикативный ввод имеет особое значение, поскольку начертание иероглифов – трудоёмкий и длительный процесс. По мере ввода пользователю предлагаются различные варианты завершения слова или фразы, так что нет необходимости всегда дописывать всё до конца. На картинке видно, что пользователь собирается ввести中华人民共和国, но на самом деле ему достаточно написать первые два иероглифа (中华), чтобы нужный текст появился в подсказке. Набранное серым шрифтом – то, что было написано, а чёрным – предлагаемые варианты.

Обратите внимание: на этом примере видно, что предикативный ввод работает для двух символов (中华) вместе так же хорошо, как и для одного (второго – 华). В других языках предикативный ввод работает и с пользовательскими словарями. Если пользователь вводит одни и то же слова несколько раз, распознавание запомнит это.

С момента выпуска Windows Vista в распознавании восточноазиатских языков произошли большие перемены к лучшему. В основе этого лежит общее улучшение пользовательского взаимодействия с системой, улучшенная точность и производительность. Наша задача – предоставить наиболее естественный способ ввода на этих языках и жизнеспособную альтернативу рукописному вводу – виртуальную клавиатуру.

Распознавание математических символов и формул

Доводилось ли вам когда-нибудь писать математический доклад в редакторе Word или выполнять вычисления в программе Mathematica, проводя долгие часы в попытке изобразить уравнения, используя множество кнопок или сложный линейный формат, ворча: "Ну почему не существует какого-нибудь простого способа сделать это?!" Что ж, ваши мечты сбылись. В распознавание рукописного ввода в Windows 7 добавлено распознавание ввода математических уравнений.

Привет, меня зовут Марко, и я руковожу работами по математическому распознаванию для Windows. Я хочу показать вам панель ввода математических символов, которая обеспечивает естественный и эффективный способ их ввода: рукописное распознавание. Мы использовали принципиально новый подход к решению этой проблемы и подняли точность распознавания на совершенно новый уровень в смысле функциональности, производительности и широты охвата [символов].

Панель ввода математических выражений (MIP) создана для использования с электронным пером и планшетным ПК, но ею можно пользоваться на любом устройстве с сенсорным экраном, посредством планшета-дигитайзера и даже мыши. MIP выводит результаты распознавания через буфер обмена в формате MathML (стандартный язык математической разметки). Любое уравнение, введённое и распознанное с помощью MIP, попадает в соответствующее приложение в полностью редактируемом виде – его можно изменять, как любой другой текст, вставлять символы и т.д.

Мы потратили немало времени, исследуя различные разделы математики и бесчисленные выражения в этой области. Теперь результаты распознавания охватывают большую часть математических символов, которые можно встретить в математике, преподаваемой на университетском уровне, и даже те, которые довольно редко используются.

Панель ввода математических выражений : вы когда-нибудь видели формулу, которую успешно распознала система? Ручаюсь, что никогда. Открою секрет: это уравнение Шварца, используемое в комплексном анализе!

Использовать MIP несложно. Вы просто записываете правильно сформулированное математическое выражение (это значит, что 2+2= не будет распознано, в то время как 2+2=5 будет), как вы обычно это делаете на бумаге, и механизм распознавания сделает остальную работу. Распознанное выражение появляется в области предпросмотра. Поскольку механизм не идеален, великая мощь MIP заключается в том, что вам предоставляется возможность свободно редактировать результаты распознавания. (Будем честными, иногда мы сами не до конца уверены в том, что именно мы написали – достаточно посмотреть на мой почерк!)

Если записанное вами выражение распознано с ошибками, вы можете выбрать любую его часть (отдельные символы или целое подвыражение) и исправить его, выбрав альтернативу из выпадающего списка или полностью переписав часть уравнения. Обычно исправление одной части уравнения автоматически исправляет и другую, так что обычно достаточно одного шага.

Коррекция в MIP: Всё, что нужно сделать – щелкнуть по кнопке "Вставить" и всё – вы без всяких проблем создали уравнение в вашем текстовом редакторе или вычислительной программе.

У MIP есть множество других превосходных возможностей: история распознаваний, возможность перемещать написанное от руки, вставлять написанное от руки в MIP из других приложений рукописного ввода, таких, как OneNote, или тех, что у вас установлены. Информация для разработчиков: MIP можно интегрировать в ваши программы. Пожалуйста, ознакомьтесь с соответствующей документацией на MSDN.

Comments

• Anonymous
  April 30, 2009
  А как на счёт кириллицы? Если внедрением поддержи кириллицы в распознании рукописных текстов основные разработчики win7 не занимаются, будут ли это делать региональные представители? Конечно меня интересует конкретно Российское представительство Майкрософт и русская версия Windows 7.

• Anonymous
  May 24, 2009
  Русский язык распознаётся очень классно. Писал коряво и всё верно распознаёт.

• Anonymous
  September 30, 2010
  А как эта прога то называется???? дайте ссылку плиз

• Anonymous
  March 04, 2013
  есть ли возможность переназначить кнопки стилуса?

• Anonymous
  April 28, 2013
  А КАК СКАЧАТЬ ???????????????????????????7

• Anonymous
  November 29, 2014
  Существует ли система генерации собственного шрифта на основании почерка? Ведь ничто так хорошо не знает ваш почерк, как система распознавания рукописного ввода. Такой способ генерации шрифта гораздо надёжнее, чем заполнение карточек глифов, т.к. здесь автоматически учитывается кернинг и траектория написания слов.

• Anonymous
  November 29, 2014
  Иными словами, возможно ли обратное преобразование: из печатного шрифта в рукописный?