(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 
 

Большие перспективы индустрии Big data

Источник: politru

Участники состоявшегося 8 февраля экспертного семинара РВК "Big data - новые горизонты" оценили текущее состояние отрасли "больших данных", а также обсудили примеры использования технологии и ее ближайшее будущее.

Вел семинар генеральный директор ОАО "РВК" Игорь Агамирзян. Открывая мероприятие, он определил сущность понятия "Big data": это технология, которая позволяет сравнивать и сопоставлять ту информацию, которая ранее была принципиально не сопоставима.

В приветственном слове заместитель министра связи и массовых коммуникаций России Марк Шмулевич рассказал, что его ведомство поддерживает эту отрасль и будет содействовать исследованиям в области Big data. Чиновник с сожалением отметил, что если взять условный top-50 самых сильных ученых в этой области, то окажется, что ни один из них не работает в России. Это связано, в том числе, и с тем, что специалисты в этой области крайне востребованы на Западе. Например, на одном из самых популярных в Соединенных Штатах сайте по поиску вакансий среднее предложение для астронома со степенью PhD - 50 тысяч долларов в год, всего 335 вакансий. Среднее же предложение для специалиста в области Data science - 100 тысяч долларов в год при нескольких тысячах открытых вакансий.

Основной доклад на семинаре представил профессор Высшей школы экономики Леонид Жуков. Он сразу отметил, что является не только исследователем в области Big data, но и использует эти технологии в компании-стартапе.

Жуков рассказал об истории появления термина Big data. Большая шумиха вокруг этой темы возникла после того, как в июне 2011 года консалтинговая компания McKinsey выпустила доклад "Большие данные: следующий рубеж в инновациях, конкуренции и производительности", в котором оценила потенциальный рынок Big data в миллиарды долларов. Вслед посыпались публикации во многих достаточно уважаемых изданиях: от Wall Street Journal до Harvard Business Review. Мнение о том, что сфера Big data как минимум второй по потенциалу сектор IT индустрии стало общепринятым.

В 2012 году Белый дом выделил 200 миллионов долларов для того, чтобы различные американские ведомства организовывали конкурсы по внедрению технологий Big data в жизнь. Если в 2009 году американские венчурные фонды вложили в отрасль всего 1,1 миллиард долларов, то в 2012 - уже 4,5.

Определений понятию Big data существует несколько. Одно из них гласит, что это данные, которые невозможно обработать традиционными способами из-за их большого объема. Другое - что это феноменальное ускорение накопления данных и их усложнение. Третье определение утверждает, что это набор инструментов, позволяющих работать с данными вне зависимости от их типа и объема.

Такая ситуация объясняет тот факт, что для характеристики Big data используют "три v": объём (от английского volume, имеется в виду объем данных), скорость (от слова velocity, это и скорость накопления новых данных, и скорость их обработки) и многообразие (английское слово variety обозначает разнообразие типов данных, которые могут обрабатываться).

Индустрия Big data возникла из-за того, что все большему количеству структур и компаний необходимо было обрабатывать такое количество данных, что традиционные методы уже не годились. Так, по некоторым данным, Google в день обрабатывает 24 петабайта (24 миллиона гигабайт). Суперкомпьютеры, которые в теории могли справиться с таким потоком, были не по карману большинству IT-компаний, и им стали искать замену. Одна из идей состояла в том, что можно объединить в сеть огромное количество обычных компьютеров и распределять между ними вычисления. Проблема состояла в том, что такая система постоянно давала сбои.

Решением стала программа, дублирующая вычисления в разных участках огромной сети, благодаря чему отказ одного из ее элементов не скажется на конечном результате.

Исторически сложилось так, что инновационные разработки в области Big data начинались не в маленьких стартапах, как это часто бывает в IT-индустрии, а в больших компаниях. Так, например, технология распределенной обработки данных MapReduce была разработана в Google, a Hadoop - свободное ПО для выполнения распределенных вычислений на кластерах из сотен и тысяч узлов - сразу после создания активно поддержала компания Yahoo.

Большинство программных продуктов в области Big data являются свободными, а их адаптацией и продвижением занимаются те самые стартапы. Традиционные поставщики решений в области хранения и обработки данных, такие как IBM и EMC внимательно относятся к новым разработкам в области Больших Данных и стараются использовать их в своих продуктах совместно с собственными технологиями.

Одним из содокладчиков выступил Вячеслав Нестеров, генеральный директор центра разработок EMC (г. Санкт-Петербург) - компании, которая занимается хранением и управлением информацией.

Вячеслав Нестеров рассказал, что ежедневно генерируется около 7 тысяч петабайт новых данных, из них структурированы только 10% - причем эта доля постоянно уменьшается. Сегодня 15-20% информации генерируется в "интернете вещей" - в том числе, в многочисленных телефонах, планшетах и других устройствах. К 2020 году доля информации, генерируемой "интернетом вещей", возрастет до 40%.

Помимо стремительно растущего интернета, появляется огромное количество медицинской информации, например, полученной при секвенировании генома. Сейчас существуют десятки мощных баз данных, в которых аккумулирована гигантская информация о структуре не только генома человека, но и геномов многих других организмов. В одной ДНК содержится около трех миллиардов нуклеотидных пар, что относительно немного с точки зрения объема информации. Но надо еще принять во внимание необходимость хранения "сырой" информации, получаемой из секвенаторов, результатов исследования белковых молекул и прочих биоинформатических данных. Информацию, которую возможно получить из расшифрованного генома, еще только предстоит собрать, осмыслить, подвергнуть сравнительному анализу. Для работы именно с таким огромным количеством научной информации и появляются технологии, которые оказались в центре внимания семинара.

Big data приобретает популярность, потому что существовавшие до этого способы работы с информацией не удовлетворяют запросам бизнеса. Так, Нестеров сравнил работу Data scientist и бизнес-аналитиков. Бизнес-аналитики изучают полученную информацию о прошлом и отвечают на вопрос "а что произошло?". Аналитики данных (Data scientists) способны ответить на вопрос "а что произойдет, если...?". Для этого они должны обладать знаниями в области статистики, математики, разбираться в предметной области исследования и вдобавок уметь немного программировать. Именно поэтому выпускники университетов в сфере Data science в Калифорнии "стоят" от 100 тысяч долларов в год.

Сергей Лихарев, руководитель по развитию бизнеса IBM Big Data Solutions, в своем выступлении рассказал, что думают о технологии Big data в больших компаниях. По его словам, 6% процентов компаний уже применяют соответствующие технологии, 22% - планируют их внедрить. 47% рассматривают бизнес-кейсы, то есть примеряют опыт на себя, 24% предпринимателей пока раздумывают о целесообразности внедрения технологий Big data.

Big data, по словам Лихарева, позволит компаниям по-новому взглянуть на клиента. Анализ не только структурированных данных о клиентах, но и информации, например, из социальных сетей поможет компаниям лучше понять, почему клиенты пользуются их продуктами и услугами, почему они рекомендуют компанию своим знакомым, что хотят улучшить. Ключевое отличие здесь в том, что в социальных сетях информация часто представлена в виде обычного текста и выделить оттуда ценные знания - не всегда простая задача.

Big data позволяет расширить традиционные системы информационной безопасности. Анализ данных, поступающих из различных источников в разных форматах, возможность сопоставления этих данных, выявления аномалий, реагирование на угрозы в реальном режиме времени - все это стало возможным с использованием технологий обработки и анализа Big data. Важно, что такой анализ можно проводить практически на неограниченном объеме данных.

Big data позволит упростить хранение данных. Зачастую в аналитических хранилищах скапливаются огромные массивы информации, ценность которой уже не очевидна, а затраты на хранение которой относительно высоки. Технологии Big data помогут разгрузить аналитическое хранилище, при необходимости предоставляя архивную информацию для анализа и исследования.

Выступающие сошлись на том, что сейчас отрасль Big data находится на пике общественного интереса и, соответственно, венчурных вложений. Пока нельзя сделать вывод, окажутся ли Big data в скором времени необходимыми в повседневной жизни человечества, как персональный компьютер и Интернет, но то, что они уже меняют нашу жизнь и бизнес на наших глазах, не вызывает сомнений.

Ссылки по теме


 Распечатать »
 Правила публикации »
  Написать редактору 
 Рекомендовать » Дата публикации: 11.09.2013 
 

Магазин программного обеспечения   WWW.ITSHOP.RU
IBM DOMINO COLLABORATION EXPRESS AUTHORIZED USER ANNUAL SW SUBSCRIPTION & SUPPORT RENEWAL
IBM Domino Utility Server Processor Value Unit (PVU) License + SW Subscription & Support 12 Months
IBM DOMINO COLLABORATION EXPRESS AUTHORIZED USER LICENSE + SW SUBSCRIPTION & SUPPORT 12 MONTHS
IBM Domino Enterprise Server Processor Value Unit (PVU) License + SW Subscription & Support 12 Months
IBM DOMINO ENTERPRISE CLIENT ACCESS LICENSE AUTHORIZED USER LICENSE + SW SUBSCRIPTION & SUPPORT 12 MONTHS
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Безопасность компьютерных сетей и защита информации
Новости ITShop.ru - ПО, книги, документация, курсы обучения
Программирование на Microsoft Access
CASE-технологии
OS Linux для начинающих. Новости + статьи + обзоры + ссылки
ЕRP-Форум. Творческие дискуссии о системах автоматизации
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
Обсуждения в форумах
Помощь по MS Access (332)
Доброе время суток. Случайно оказался на этом сайте, искал статьи по OLAP. Вижу, что...
 
Мужчины забудут о половом бессилии (1)
Мужчины забудут о половом бессилии благодаря таблеткам Дженерик Сиалис. Мой партнер покупает в...
 
Как выбрать матрас (3)
Подскажите как правильно выбрать матрас и на что в целом следует обратить внимание на ваш...
 
Беговая дорожка (1)
Купила беговую дорожку вот здесь https://4gym.com.ua/product/technogym-artis-run Очень классная,...
 
Отличается ли ДрифтКазино от беттинга? (12)
Друзья, давно заметил, что на Дрифте уже несколько месяцев во всю рекламируется и предлагается...
 
 
 



    
rambler's top100 Rambler's Top100