Исследовательское подразделение Fujitsu разработало компьютерную систему, которая способна взаимодействовать одновременно с пальцами пользователя и информацией на бумажных носителях. Предполагается, что со временем такая технология сможет заменить традиционные средства ввода.
Демонстрационное видео разбито на три части. В первой части пользователь с помощью пальца выделяет различные участки на бумажном проспекте, размещенном на столе. Компьютер сканирует и вносит эти участки в память. Во второй части показана возможность дополнения печатного изображения компьютерной графикой. В третьей части пользователь прикрепляет к холсту бумажные стикеры с текстом, которые компьютер тут же оцифровывает. Далее осуществляется манипуляция оцифрованными стикерами.
Разработка подобных систем ведется не первый год, однако до сих пор для взаимодействия с предметами требовалось, чтобы они были оснащены какими-либо датчиками, например RFID-метками. Представители Fujitsu утверждают, что они разработали первую систему, которой для взаимодействия с предметами не нужны дополнительные приспособления.
Помимо этого, система Fujitsu построена из простейших деталей - камеры и проектора, которые можно приобрести в магазине. И это является второй особенностью системы - ее дешевизна.
При этом система способна очень точно определять форму предметов и положение пальцев рук даже при низком разрешении камеры. За это отвечают несколько разработанных в Fujitsu технологий, работающих на уровне программного обеспечения.
Система автоматически выявляет возникающие на столе предметы неровной формы, после чего подстраивает системы координат для камеры, проектора и физических объектов. Это нужно для того, чтобы сопоставлять перемещения пальцев и места их прикосновения к объектам с изображением, проецируемым на объекты.
Система узнает пальцы по их контуру и цвету, при этом используются данные о внешней освещенности, выполняется подстройка цвета и яркости. Отдельная технология отвечает за распознавание каждого пальца в отдельности.
После того как пальцы рук распознаны, программа обрабатывает их изображение для повышения точности определения мест прикосновения к предметам. Даже при использовании веб-камеры с низким разрешением обеспечивается точность, необходимая для качественной работы интерфейса. Система способна следить за пальцами, перемещающимися со скоростью 30 см в секунду, что соответствует обычной скорости перемещения пальцев во время работы на компьютере.
В дальнейших планах исследователей Fujitsu - оценка применения разработанной системы и сопутствующих приложений в реальной среде. Компания планирует выпустить технологию на коммерческий рынок до марта 2014 г.