(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 
 

PyTorchPipe: инструмент для обучения нейросетей от IBM

Источник: neurohive

 

PyTorchPipe (PTP) - это фреймворк, который облегчает создание и поддержание системы обучения нейросети. PTP разбит на блоки по этапам обучения нейросети, которые связываются в единую систему. 

Блоки PTP - это разные этапы создания нейросети: от предобработки данных до тестирования модели, - которые взаимодействуют друг с другом через потоки данных. Каждый поток может состоять из нескольких компонентов: кусок данных для задачи, любое количество обучающих компонентов (моделей) и дополнительные компоненты для обработки данных и вычислений.

В результате процедура обучения и тестирования моделей перестает быть привязанной к задаче и архитектуре модели. В PTP есть встроенные механизмы для проверки совместимости новых данных для созданного пайплайна. Система создана для облегчения разработки комплексных пайплайнов и тестирования моделей.

PyTorchPipe базируется на PyTorch. PyTorch используется в том числе для распределения вычисления на CPU/GPU ресурсах. Тьюториал по работе с PTP доступен по ссылке.

Датасеты

PTP на данный момент содержит в себе базовые датасеты для задач из трех областей:

  • компьютерного зрения (MNISTCIFAR);
  • обработки естественного языка (WiLY, WikiTextANKI);
  • визуальные вопросно-ответные системы (CLEVRGQAImageCLEF VQA)
Доступные датасеты по задачам

Архитектура

То, что стандартно называют моделью, в PTP называется пайплайном. Пайплайн состоит из множества взаимосвязанных компонентов с одной или более моделями. Модели - это обучаемые компоненты пайплана.

В PTP встроены модели для задач из четырех областей:

  • компьютерного зрения;
  • обработки естественного языка;
  • модели общего назначения;
  • визуальная вопросно-ответная система

Для некоторых моделей можно выбрать параметры.

Доступные модели по областям применения

Помимо моделей, в PTP доступны компоненты для работы с данными:

  • Методы предобработки текстовых данных;
  • Функции потерь и статистики;
  • Трансформации формата данных;
  • Просмотр данных
Список доступных опций для работы с данными

Воркеры в PTP - это Python-скрипты, которые стандартны для задач, моделей и пайплайнов, с которыми работают. В текущей версии фреймворка доступны три воркера: ptp-offline-trainer, ptp-online-trainer и ptp-processor. Они отвечают за то, как проходит процесс обучения. 

Подробное описание инструмента доступно в официальном репозитории на GitHub.



 Распечатать »
 Правила публикации »
  Написать редактору 
 Рекомендовать » Дата публикации: 23.10.2019 
 

Магазин программного обеспечения   WWW.ITSHOP.RU
IBM Domino Messaging Server Processor Value Unit (PVU) License + SW Subscription & Support 12 Months
IBM Domino Utility Server Processor Value Unit (PVU) License + SW Subscription & Support 12 Months
IBM DOMINO ENTERPRISE CLIENT ACCESS LICENSE AUTHORIZED USER LICENSE + SW SUBSCRIPTION & SUPPORT 12 MONTHS
IBM Domino Messaging Client Access License Authorized User License + SW Subscription & Support 12 Months
IBM DOMINO ENTERPRISE CLIENT ACCESS LICENSE AUTHORIZED USER ANNUAL SW SUBSCRIPTION & SUPPORT RENEWAL
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Безопасность компьютерных сетей и защита информации
Новости ITShop.ru - ПО, книги, документация, курсы обучения
CASE-технологии
Программирование на Microsoft Access
Утиль - лучший бесплатный софт для Windows
3D и виртуальная реальность. Все о Macromedia Flash MX.
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
Обсуждения в форумах
Пишу программы на заказ профессионально (2816)
Пишу программы на заказ на языках Pascal (численные методы, списки, деревья, прерывания) под...
 
Отличается ли ДрифтКазино от беттинга? (1)
Друзья, давно заметил, что на Дрифте уже несколько месяцев во всю рекламируется и предлагается...
 
Разработка программ базы данных (10)
Написание прикладных компьютерных программ (базы данных) на заказ. Разработка корпоративных...
 
Введение в WML (3)
если все странички пишутся на wml, почему опубликованы они с расширением php?
 
Улучшение качества видео (1)
Есть запись с видеокамеры наружного наблюдения , в качестве 750*630, в которой в одном углу идут...
 
 
 



    
rambler's top100 Rambler's Top100