Kinect for Windows SDK вышел в плавание
Сразу отмечу, что это еще только beta-версия и только для некоммерческого использования, но играться с Kinect можно начинать уже сегодня. Ниже подборка полезных ресурсов и несколько вводных, чтобы полностью погрузиться в тему.
С чего начать
Прежде всего, вам понадобится сам Kinect:
Если вы покупали Kinect сразу в месте с Xbox 360 (т.н. бандл — bundle), то вам также понадобится переходник (Kinect Sensor Power Supply), чтобы подключить Kinect к компьютеру через USB. Переходник выглядит примерно так:
(с точностью до вилки;) и, конечно, придется его поискать.)
Kinect for Windows SDK
Что такое Kinect for Windows SDK?
Данный SDK – это стартовый набор инструментов, необходимых для начала работы с Kinect. Он рассчитан для ученых, исследователей и энтузиастов, заинтересованных в изучении возможностей NUI (Natural User Interface) с помощью Kinect и связанных технологий.
SDK включает:
- Драйверя для использования сенсоров Kinect на Windows,
- API и интерфейсы для работы с устройством, а также техническая документация для разработчиков,
- Примеры с исходными кодами,
- Справка по установке и настройки
SDK доступен для скачания с сайта Microsoft Research: https://research.microsoft.com/kinectsdk
(Напомню, что это только бета-версия и в дальнейшем возможны изменения.)
Какие возможности дает Kinect for Windows SDK?
SDK предоставляет доступ к следующим возможностям:
- Данные от сенсоров (сырой поток данных) . Доступ к данным от сенсора глубины, цветной камеры и данные от микрофонов, фактический, это низкоуровневый поток данных, генерируемый сенсорами Kinect, который можно самостоятельно анализировать.
- Отслеживание скелета. Возможность отслеживать движение скелета одного или двух людей, находящихся перед Kinect – хорошо подходит для управления жестами.
- Продвинутые аудио-возможности. Возможности обработки аудио включают подавление шума и эхо, определение источника звука и возможность интеграции Windows API для распознания речи.
Разрабатывать приложения можно как на C++, так и на .NET языках: C#, F#, Visual Basic.
Примеры и документация
К запуску Kinect for Windows SDK коллеги записали и выложили множество примеров и руководств.
Kinect for Windows SDK Quickstarts . Серия видео-роликов и инструкций на Channel 9, посвященная основам работы с Kinect (общая длительность около 70 минут):
- Installing and Using the Kinect Sensor
- Setting Up Your Development Environment
- Skeletal Tracking Fundamentals
- Camera Fundamentals
- Working with Depth Data
- Audio Fundamentals
Обязательно обратите внимание на это руководство, т.к. это именно то, с чего стоит начать погружение в Kinect.
Примеры Coding4Fun. Несколько веселых примеров работы с Kinect с исходниками и подробностями реализации:
- Jellybean, the Kinect Drivable Lounge Chair — с исходными кодами и подробностями сборки мега-девайса с конференции MIX 2011,
- Light Saber – почувствуйте себя джедаем!
- Kinect Mouse Cursor — управление курсором мыши с помощью кинекта
- Kinect Paint — простое приложение-рисовалка средствами кинекта
Также вам могут понадобиться примеры на Visual Basic и Coding4Fun Kinect Toolkit.
Документация по Kinect for Windows SDK – руководства и примеры коды для начала работы:
- Programming Guide: Getting Started with the Kinect for Windows SDK Beta (Word PDF)
- Readme (HTML) — системные требования, рекомендации по установки, список файлов и пр.
- Skeletal Viewer Walkthrough — Rendering Data with the NUI API (C++ and C#) (Word PDF)
- AudioCaptureRaw Walkthrough — Capturing the Raw Audio Stream (C++) (Word PDF)
- MFAudioFilter Walkthrough — Capturing Audio Streams with a Media Foundation Audio Filter (C++) (Word PDF)
- MicArrayEchoCancellation Walkthrough — Capturing Audio Streams with Acoustic Echo Cancellation and Beam Forming (C++) (Word PDF)
- RecordAudio Walkthrough — Recording an Audio Stream and Monitoring Direction (C#) (Word PDF)
- Speech Walkthrough — Recognizing Voice Commands (C#) (Word PDF)
См. также FAQ по Kinect for Windows SDK.
Upd. Опубликована запись с запуска Kinect for Windows SDK: Kinect for Windows SDK Beta Launch.