Big Data - это собственно данные и способы их получения и обработки. Объем данных много больше того, с которым приходилось иметь дело раньше. Гигантский массив структурированной и неструктурированной разнообразной информации, содержащийся в различных источниках: внутренних и внешних, статических и динамических, открытых и закрытых. Массив органический, непрерывно растущий.
Источники данных:
- Внутренние. Данные компании о своих клиентах. CRM, посетители сайта, данные с конференций, отчеты о командировках, данные с видеокамер в торговом зале, сигналы с носимых гаджетов и так далее.
- Внешние. Открытые: социальные сети, поисковые системы, официальные сведения, базы данных и каталоги. Закрытые или проприетарные: данные сторонних компаний о своих клиентах, в первую очередь телекомов, крупных онлайн- и офлайн-ритейлеров, компаний по продаже билетов и туров; официальные сведения ведомств и организаций, исследовательских агентств, распространяемые на платной основе и т.п.
Информацию надо собрать, сохранить, очистить, структурировать, найти взаимосвязи, проанализировать, интерпретировать, использовать для достижения конкретных целей.
Предположу, что Big Data, как комплекс из данных, инструментов и технологий, на серьезном уровне применяется пока небольшим количеством организаций. Спецслужбы, государственные и финансовые институты, крупнейшие технологические компании, некоторые научно-исследовательские институты. Остальные же пользуются другими технологиями, способами - от Business Intelligence, Data Mining до "простой" аналитики.
Вот некоторые, далеко не все, причины, по которым Big Data не распространены:
- Не всем нужно и нет четкого представления, что это такое.
- Очень мало профильных специалистов.
- Нет общепринятых стандартов, методологии.
- Мало инструментов для работы с Big Data. Безусловно, существует экосистема Hadoop, есть другое ПО от ИТ-компаний, в том числе IBM Watson, пример использования которого мы увидели на форуме IBM BusinessConnect. Но насколько широко они применяются?
Если рассматривать Big Data как продукт, товар, то он находится на начальных этапах жизненного цикла. Где-то на стыке этапов зарождения и роста.
Результат применения Big Data показан в фильме "Особое мнение" (2002, С. Спилберг). Там заранее узнают о еще не осуществленном деянии и предотвращают его. Это социальный аспект. А коммерческий - управление потребительским поведением, упреждение. Один из эпизодов - демонстрация в каком-то общественном здании (торговый центр или пересадочный узел) рекламных объявлений и предложений, предназначенных именно для главного героя, попавшего туда мимоходом.
По всей видимости, такая модель - возможность коммуникации с потребителем в любой точке пространства и времени с предложением необходимого сейчас или о котором потребитель подумает завтра, товара или услуги - вполне устроит маркетинговые и рекламные подразделения.
Дело за "малым". Поищем покупателя среди посетителей сайта или магазина, проанализируем его профили в соцсетях, проверим другие источники. Однако на этом пути есть несколько проблемных зон, если мы говорим о массивах данных.
Очистка данных. Например, 340 млн. пользователей ВКонтакте. Несколько десятков параметров для обработки и изучения в каждом аккаунте. Изрядная часть данных представляет собой информационный шум и мусор. От мусора надо избавиться. Основная проблема в том, что шум и может являться источником догадки, идеи. Инсайта, на базе которого специалисты выстроят платформу бренда.
Использование. Несмотря на то, что внутренние данные компании, казалось бы, вот они, под рукой, используются и интерпретируются эти сведения далеко не в полной мере. Подтверждение тому - истории в статье главного редактора CRN. В банках информация о персоне как о вкладчике и заемщике может хранится отдельно, вне связи друг с другом. Достаточно распространенное явление, когда данные о клиенте не агрегированы в CRM-системе компании.
Здесь еще одна сложность - создание сводного профайла из внешних источников данных. Если в рамках одной компании данные о клиенте объединить достаточно просто, то корректно свести воедино данные из разных соцсетей, историю посещения страниц на сайте и прочие данные гораздо сложнее.
Интерпретирование. Собрали данные, обработали, разложили по полочкам. Дальше пока не обойтись без специалиста, который скажет, как использовать данные или результаты, как в целом, так и в каждом конкретном случае для достижения коммерческого результата.
И, наконец, еще одна важная деталь - обработка и использование данных без противоречия с законом "О персональных данных".
В общем, пока для большинства: "Big Data - очень круто, но что делать - непонятно". Но ситуация довольно быстро меняется. Через несколько лет картина будет иная. Развитие технологий, накопление опыта, появление специалистов. Настоящий прорыв в коммерческом применении Big Data может случится, когда и если появятся коробочные продукты. Это не единственный фактор, конечно. Сейчас же надо, как минимум, стараться собирать и хранить данные. Для большинства компаний вполне достаточно существующих ныне инструментов, чтобы обрабатывать и эффективно использовать данные о клиентах. Надо только захотеть.
Еще немного о данных
В маркетинге, социологии и смежных областях тема получения, обработки и правильного использования информации сейчас весьма актуальна. Вполне вероятно, что ландшафт рынка исследований и обработки данных скоро довольно существенно изменится. Не без влияния ИТ-компаний и развития технологий.
В рамках Конгресса NRV (New Research Vision) в октябре 2015 года состоялась форсайт-сессия "Индустрия маркетинговых исследований - 2025", где ведущими участниками отрасли маркетинговых исследований рассматривались перспективы ее развития. Один из пунктов: "Big Data: революция в аналитике данных или еще один инструмент?". В конце февраля 2016 года на очередном заседании клуба Гильдии Маркетологов также обсуждались эти вопросы.
Участники мероприятий отметили факторы, влияющие на отрасль, и тренды. Драйверы существенных изменений отрасли - новые запросы клиентов и новые технологии. Заказчики требуют повысить качество предоставляемых данных и аналитики, желают получить интерпретацию данных в реальном времени, иметь одновременную обработку информации из нескольких источников. Среди технологических факторов назывались проникновение мобильных устройств, появление новых классов носимых устройств, дальнейшее развитие социальных сетей, конкуренция со стороны технологических компаний и альтернативных поставщиков данных.
Ключевой внутриотраслевой тренд - все большое использование не только традиционных данных из "полей", но и "рынка данных" в широком понимании: данные социальных медиа, данные, собираемые онлайн, в том числе онлайн-опросы, результаты работ маркетинговых сообществ, данные с устройств носимой электроники. Что же касается Big Data, то участники форсайт-сессии отметили, что сущность требует дополнительного осмысления.
С 14 по 18 марта этого года прошла "Российская Исследовательская Неделя" - это первый в масштабе страны форум участников рынка прикладной социологии и маркетинговых исследований. Организаторами Недели стали крупнейшие социологические компании ВЦИОМ, ФОМ, GfK Russia, TNS, Оnline Market Intelligence (OМI), ЦИРКОН. В рамках Недели проведены очередная "Грушинская социологическая конференция", где генеральным партнером, кстати, выступала корпорация IBM, и "Research Expo", выставка решений, методик и технологий для маркетинговых исследований. Главная тема конференции: "Жизнь исследования после исследования: Как сделать результаты понятными и полезными?". На этих мероприятиях также отмечалось, что сейчас нужны не только результаты исследования, но аналитика, интерпретация, решения по эффективному использованию данных. Одна из секций была посвящена Big Data. Основной вопрос для обсуждения - что мы понимаем под термином Big Data и как определить классы исследовательских и управленческих задач, решаемых с помощью Big Data. Спикеры выступали с такими тезисами: "Big Data - новая парадигма или очередной фальстарт?", "Нужны ли бизнесу исследования с использованием Big Data?".
Возможно, через какое-то время слово Big пропадет. И будем снова работать просто с данными.