Заметки о выпуске CNTK версии 2.7

Дорогое сообщество,

Благодаря нашим текущим вкладам в ONNX и среде выполнения ONNX мы облегчили взаимодействие в экосистеме платформЫ ИИ и доступ к высокопроизводительной кроссплатформенной возможности вывода как для традиционных моделей машинного обучения, так и для глубоких нейронных сетей. За последние несколько лет мы были привилегированны для разработки таких ключевых проектов машинного обучения с открытым исходным кодом, в том числе Microsoft Cognitive Toolkit, который позволил своим пользователям использовать отраслевые достижения в области глубокого обучения в масштабе.

Сегодня выпуск 2.7 будет последним основным выпуском CNTK. У нас могут быть некоторые последующие незначительные выпуски для исправлений ошибок, но они будут оцениваться на основе регистра. В этом выпуске нет планов разработки новых компонентов.

Выпуск CNTK 2.7 имеет полную поддержку ONNX 1.4.1, и мы призываем тех, кто стремится реализовать свои модели CNTK, чтобы воспользоваться преимуществами ONNX и среды выполнения ONNX. В дальнейшем пользователи могут продолжать использовать развивающиеся инновации ONNX через число платформ, которые поддерживают его. Например, пользователи могут экспортировать модели ONNX из PyTorch или преобразовать модели TensorFlow в ONNX с помощью преобразователя TensorFlow-ONNX.

Мы невероятно благодарны за всю поддержку, полученную от участников и пользователей в течение многих лет с момента первоначального выпуска CNTK с открытым исходным кодом. CNTK позволяет командам Майкрософт и внешним пользователям выполнять сложные и крупномасштабные рабочие нагрузки во всех способах приложений глубокого обучения, таких как исторические прорывы в распознавании речи, достигнутые исследователями службы "Речь Майкрософт", источниками платформы.

Поскольку ONNX все чаще используется в обслуживании моделей, используемых в таких продуктах Майкрософт, как Bing и Office, мы привержены синтезу инноваций из исследований с строгими требованиями производства к прогрессу экосистемы вперед.

Прежде всего, наша цель заключается в том, чтобы сделать инновации в глубоком обучении в программном и аппаратном стеках как можно более открытым и доступным. Мы будем работать над тем, чтобы принести как существующие сильные стороны CNTK, так и новые современные исследования в других проектах с открытым исходным кодом, чтобы действительно расширить охват таких технологий.

С благодарностью,

- Команда CNTK

Основные сведения об этом выпуске

• Перемещен в CUDA 10 для Windows и Linux.
• Поддержка расширенного цикла RNN в экспорте ONNX.
• Экспортируйте модели размером более 2 ГБ в формате ONNX.
• Поддержка FP16 в действии обучения скрипта мозга.

Поддержка CNTK для CUDA 10

CNTK теперь поддерживает CUDA 10. Для этого требуется обновление для сборки среды до Visual Studio 2017 версии 15.9 для Windows.

Чтобы настроить среду сборки и среды выполнения в Windows, выполните приведенные ниже действия.

• Установите Visual Studio 2017. Примечание. Переход к CUDA 10 и более поздних версий больше не требуется для установки и запуска с определенными средствами VC версии 14.11.
• Установка Nvidia CUDA 10
• В PowerShell выполните следующую команду: DevInstall.ps1
• Запустите Visual Studio 2017 и откройте CNTK.sln.

Чтобы настроить среду сборки и среды выполнения в Linux с помощью docker, создайте образ Docker Unbuntu 16.04 с помощью Dockerfiles здесь. Сведения о других системах Linux см. в dockerfiles, чтобы настроить зависимые библиотеки для CNTK.

Поддержка расширенного цикла RNN в экспорте ONNX

Модели CNTK с рекурсивными циклами можно экспортировать в модели ONNX с помощью операций сканирования.

Экспорт моделей размером более 2 ГБ в формате ONNX

Чтобы экспортировать модели размером более 2 ГБ в формате ONNX, используйте cntk. API функции: save(self, filename, format=ModelFormat.CNTKv2, use_external_files_to_store_parameters=False) с параметром FormatFormat.ONNX и use_external_files_to_store_parameters задать значение True. В этом случае параметры модели сохраняются во внешних файлах. Экспортированные модели следует использовать с внешними файлами параметров при вычислении модели с onnxruntime.

2018-11-26.
Netron теперь поддерживает визуализацию файлов CNTK версии 1 и CNTK версии .model 2.