Аннотация

Компания может потратить миллионы (долларов) на систему управления взаимодействием с клиентами (CRM), но не добиться ожидаемого дохода на инвестиции вследствие низкого качества данных. Однако в то время как большинство предприятий тратят месяцы на поиски наиболее оптимальных аппаратных и программных решений, способствующих развитию их бизнеса, только немногие из них уделяют внимание качеству данных, которые могут поддержать их инвестиции. В ретроспективе они понимают, что общее повышение качества данных является сложной задачей, и избавление от неверных данных - довольно болезненный процесс.

Низкое качество данных - порочный круг с автоматической подпиткой

"В течение 2010 г. 1000 наиболее успешных компаний мира понесет большие убытки из-за данных низкого качества по сравнению с прибылью, которую они получат от внедрения систем управления взаимодействием с клиентами, внутренних рисков эмитента и приложений бизнес-аналитики". [Основные вопросы, рассматриваемые в Инициативах по управлению данными и интеграции (Data Management and Integration Initiatives), 2009, агентство Gartner].

Отрицательное воздействие низкого качества данных нелегко измерить, поскольку оно имеет как внутренние, так и внешние аспекты. Одно из наиболее очевидных последствий низкого качества данных состоит в том, что даже лояльные заказчики могут прервать деловые отношения из-за неправильно адресованных им писем, либо если их не узнают во время телефонных звонков или при их прибытии, например, на склад. Если компания теряет своих лояльных клиентов, она также теряет базу для получения будущей потенциальной прибыли.

Это может прозвучать слишком драматично, но когда клиент получает два или три раза подряд письмо по одному и тому же вопросу из одной и той же страны, у него создается впечатление, что у компании плохое руководство, которое безразлично к отношениям с клиентами, проблемам окружающей среды и контролю за расходами. Если имя клиента, его должность или пол указаны неправильно, то он может потерять доверие к компании и усомниться в ее надежности. Это на самом деле досадные ошибки.

В принципе низкое качество данных вступает в противоречие с главной задачей CRM, которая состоит в управлении взаимоотношениями с клиентами. Поскольку мировая экономика сталкивается с новыми и серьезными вызовами, все более важное значение приобретает повышение удовлетворенности клиентов -- главным образом, потому, что уход клиентов очень дорого обходится компаниям. Привлечение нового клиента обходится компании во много раз дороже, чем сохранение существующего, поэтому удержание клиентов должно стать первоочередной задачей для любой компании.

При работе с данными низкого качества компания не только ставит под угрозу свою собственную клиентскую базу; с понижением качества данных начинает закручиваться самоподпитываемый порочный круг.

Проблема качества данных не является изолированной; низкое качество данных может привести к еще большему снижению качества данных. Если управление данными по клиентам и потенциальным клиентам организовано плохо, то менеджеру по продажам будет сложно идентифицировать соответствующие учетные записи в системе. Если пользователи не могут легко идентифицировать соответствующие записи, то велика вероятность создания новых избыточных записей. Этот процесс все больше развивается с созданием каждогй новой записи, что осложняет работу менеджеров по продажам и снижает производительность и эффективность их труда. Отсюда возникает потребность в использовании CRM-приложения.

Сотрудники компаний знают о низком качестве данных, поэтому стараются ими не пользоваться. Всегда существует вероятность того, что менеджеры по продажам будут больше доверять данным, записанным от руки на клочке бумаги, чем данным, содержащимся в многочисленных избыточных записях в системе.

Сокрытие информации всегда сопряжено с риском. При низком качестве данных такая проблема возникает очень часто. Но низкое качество данных не только вызывает серьезные проблемы для отдельных пользователей; в конечном счете вся система не может работать эффективно.

При наличии в системе неполных и избыточных записей данные по отдельным заказчикам или потенциальным клиентам хранятся не в отдельной учетной записи клиента. В этом случае соответствующие данные будут рассеяны по различным избыточным записям, что не позволит реализовать потенциал перекрестных продаж. А процесс идентификации корректных счетов для маркетинговых кампаний становится намного более сложным. Надлежащее разбиение целевых групп клиентов на сегменты основывается на корректных данных. Без таких данных многие ценные заказчики и потенциальные клиенты будут исключены из кампании либо будут недоступны, в то же время с отдельными клиентами будут осуществляться многократные попытки связи по неправильным адресам. Словом, компании могут потратить уйму денег, если не смогут определить корректные учетные записи.

Следующий уровень фатальных последствий связан с любым основанным на ошибочных данных аналитическим обзором, который приводит к неверным выводам и неточным прогнозам. Результатом явится медленное, но устойчивое разрушение репутации организации в глазах заказчиков и потенциальных клиентов, а также ее неспособность принимать здравые решения, основанные на точной и надежной информации.

Какие из нижеприведенных факторов чаще всего влияют на качество данных в вашей организации?

Источник : "Taking Data to the Enterprise Through Data Governance", by Philip Russom, TDWI Best Practices Reports, March, 2006.(www.tdwi.org/research).

Различные причины низкого качества данных

Низкое качество данных подобно прогрессирующей болезни --- и эти болезни обычно наиболее коварны. Тема относится к кризисной обстановке, когда сервер находится в аварийном состоянии или когда определенные функции системы не работают надлежащим образом. Либо качество данных рассматривается как часть проекта по переносу данных, но впоследствии о нем забывают. Тем не менее, содержание данных не является статическим, и качество данных со временем ухудшается. Приблизительно 2% записей в сценарии "бизнес-заказчик (B2C)" устаревает в течение одного месяца вследствие изменения адреса, имени, смерти клиента и т.д. В сценарии "бизнес-бизнес (B2B)" ситуация не сильно отличается, поскольку компании изменяют свои названия, юридическую форму и адреса, а имена контактных лиц устаревают со сменой их должностей. Для данных CRM особенно характерна неполнота или избыточность записей в системе вследствие ряда причин:

• Объединения и поглощения компаний разрушают базу данных и приводят к появлению дублирующих записей.
• Информация поступает из различных источников, например при саморегистрации в веб-магазинах, при управлении партнерами, при управлении внешними списками и т.д.
• Элементы данных дублируются в других системах.
• В CRM-приложение вводится неполная информация из-за дефицита времени или сокрытия некоторых данных ответственным менеджером по продажам.
• Известны или доступны только части адреса или контактных данных.

Менеджеры по продажам по вполне понятным причинам больше сконцентрированы на совершении сделок, чем на поддержании полноты и точности данных. Любой сотрудник хочет получать надежные данные из системы, но ни один из них не желает утруждать себя вводом данных и слежением за их корректностью в системе. Сегодня в компаниях идут разговоры о "прозрачности клиента", при этом подразумевается получение полной информации о клиентах, в том числе демографическая ситуация в районах их проживания, предпочтения и т.п. Однако в реальности большинство системных записей содержат только ошибочные, неполные или избыточные данные.

Повышение качества данных в CRM. Три краеугольных камня

Забота о качестве данных - постоянная задача, поскольку большая часть данных устаревает в первые минуты после их ввода в систему. Поддержание высокого качества данных требует очистки уже введенных в систему данных, а также недопущения, прежде всего, ввода некорректных данных. Для этого в ежедневные обязанности сотрудников, отвечающих за ввод новых данных, должно входить проведение определенных процедур; кроме того, каждый из них должен осознавать свою ответственность за выполнение этой важной работы. Менеджеры по продажам должны понимать, что даже если для выполнения текущих задач достаточно знать только телефонные номера, этой информации будет недостаточно для управления проводимыми акциями.

Несмотря на огромное значение укрепления осознания важности качества данных, только один этот шаг не приведет к желаемым результатам. С практической точки зрения, наилучшим подходом является поддержка максимально простого и гибкого ввода достоверных данных.

Интерактивная проверка подлинности адресов

В прошлом точный почтовый адрес считался информацией высокого качества. Сегодня корпоративные базы данных содержат исчерпывающую информацию о "деловом партнере в целом". Однако по-прежнему адрес и контактные данные являются наиболее важными элементами, определяющими качество данных. Поэтому многие компании используют в своей работе решение для проверки подлинности почтовых адресов, которое не только улучшает качество адресных сведений, но и повышает эффективность решения задач ввода данных. В этом случае пользователь должен ввести только минимум данных, а отсутствующие элементы добавляются автоматически. В ходе синтаксического анализа исправляются неправильно введенные данные; если, например, номер дома был введен в поле "улица", элемент данных будет исправлен без повторного ввода данных.

Если система не может определить адрес, пользователю предлагается список вариантов: для неполного адреса, не являющегося уникальным, система автоматически предложит исправленный и полный адрес, который может выбрать пользователь.  Пользователь может выбрать один из вариантов: использовать предложенный системой адрес либо оставить ранее введенный адрес.

Эффективные решения по проверке достоверности адресов способны регулярно обновлять базы данных для поддержания релевантности данных - например, автоматически заменяя строку "Manhattan" на "New York".   База данных также способна отличить местное название улицы, например, "Avenue of the Americas" и ее официальное почтовое название "6^th Avenue".  Но обновляться могут не только обычные атрибуты адреса; в дополнение к ним программное обеспечение может использовать геоданные, например широту и долготу, являющиеся основой для определения кодов налогообложения.

Алгоритм работы решений по проверке достоверности адресов охватывает не только сами адреса. Для автоматического обновления полей можно получить определенную информацию из комбинации адреса и имени. Например, имя может указывать на пол человека - однако это зависит от страны. Например, в Германии имя "Andrea" вероятнее всего является женским именем, однако в Италии оно более характерно для мужчин. В данной ситуации система может указать, что имя является "определенно женским", "вероятно женским", "нейтральным" и т.д. В Корее слово "Kim" обычно является фамилией, но в других странах оно более характерно как имя человека. В данном случае основанный на региональных стандартах интеллектуальный синтаксический анализ позволяет распознать и исправить данные.

Краткие формы имен могут быть автоматически преобразованы, например, "Мэг" в "Маргарет" а "Бет"  в "Элизабет". Эта функциональность также играет большую роль в таком аспекте качества данных, как проверка записей на наличие дубликатов.

Онлайновая проверка записей на наличие дубликатов

Наличие полного и точного адреса является лучшим методом выявления потенциальных дублирующих записей в системе, позволяющим предотвратить ввод дублирующих записей и идентифицировать дубликаты, уже существующие в базе данных. Онлайновая проверка записей на наличие дубликатов работает при каждом создании новой учетной записи или при редактировании соответствующих полей существующей учетной записи. При каждом создании новой учетной записи и обнаружении системой аналогичных записей пользователь будет видеть эти потенциальные дублирующие записи. В этом случае, при необходимости, пользователь может продолжить работу с новой записью либо выбрать одну из идентифицированных дублирующих записей и продолжить работу с ней.

Описанная выше простая проверка на наличие дублирующих записей базируется только на имени и атрибутах адреса. Ясно, что существует множество других критериев выявления потенциальных дублирующих записей, и эффективное сопоставление записей всегда будет представлять собой очень сложную задачу.

В ситуации B2B такие контактные данные, как номер телефона и веб-адрес являются релевантными, однако идентификационные номера, например торговый регистр или налоговые номера, также являются важной информацией. Платежные реквизиты являются еще одним способом выявления дублирующих записей. Другие характеристики, например промышленные коды или атрибуты секретности, не являются уникальными для отдельного юридического лица, но могут поддерживать идентификацию аналогичных записей. В сценарии B2C такие атрибуты, как дата рождения, адрес электронной почты или номер платежной карточки, являются важными характеристиками для сопоставления записей. Но существуют и другие многочисленные характерные атрибуты, в том числе специфичные для клиента поля, позволяющие идентифицировать дублирующие записи, а также домохозяйства, имеющие по два различных имени в базе данных, которые дважды получают одну и ту же почту.

Эффективное решение по выявлению дублирующих записей обычно содержит много критериев и может быть очень гибким в отношении определения критериев соответствия и правил замещения. Это решение также должно быть гибким в отношении определения порогов подобия записей клиентов; другими словами, только когда две или более записи аналогичны с точки зрения установленного порога, они должны считаться потенциальными дубликатами.

В отличие от ввода данных, идентификация потенциальных дубликатов должна быть устойчива к ошибкам. Проверка на наличие дубликатов должна использовать устойчивый к ошибкам (или "нечеткий") поиск по нескольким атрибутам.

Помимо выбора критериев проверки на наличие дубликатов также важно определить, как эти критерии будут использоваться. Например, адрес электронной почты частного лица обычно является признаком наличия дублирующей записи только если он полностью соответствует адресу электронной почты другого или других лиц. Имя частного лица является хорошим примером, когда имеет смысл использовать нечеткий или даже фонетический поиск. В данном случае полезной является возможность нахождения подобных записей через неточное соответствие.

Названия компаний или имена частных лиц особенно подвержены внесению ошибок, связанных с перестановкой букв или неправильным введением данных в поля для имени и фамилии. Различное написание имен (например, Meyer, Mayer, Maier) является еще одной распространенной ошибкой, наряду с различными сокращениями названий компаний (например, GE для General Electric или ATT для AT&T). Контроль дублирующих записей предотвращает ввод в систему новых дубликатов.

Кроме того, наличие вероятных дубликатов можно отследить при профилактических чистках баз данных.

Очистка данных

Поскольку дублирующие записи всегда присутствуют в системе, требуется решение для объединения избыточных учетных записей. Этот процесс слияния называется очисткой базы данных. При очистке базы данных две или более подобных записи сливаются в одну расширенную объединенную запись.

Создание ситуации появления дублирующих записей и ее обработка разделены во времени, это означает, что один пользователь может создать такую ситуацию, а другой впоследствии объединяет эти записи. В процессе ручного объединения можно сравнивать записи, включенные в процедуру очистки, а также определять, является ли бизнес источником согласования данных или целевым объектом (также называется "основным счетом"). Обычно исходные объекты архивируются после процесса слияния, и только целевой объект сохраняется в системе.

Проблема при слиянии учетных записей состоит в том, чтобы иметь одну остающуюся объединенную запись, не потеряв при этом релевантной информации, которая была сохранена на уровне исходной записи. Здесь ключевым фактором является переназначение данных. Пользователь должен решить, является ли стандартный адрес клиента A более предпочтительным, чем стандартный адрес клиента B, когда клиент B имеет, например, лучшие данные для связи с ним. Эта процедура особенно важна, когда источник содержит подробные данные, которые не были созданы для целевого объекта. Чем больше объектов охватывает процедура очистки данных, тем сложнее она становится.

Передачу зависимых объектов довольно просто осуществить. Обычно пользователю не требуется принимать какого-либо решения, поскольку все связанные объекты, такие как операции, возможности, и т. д., передаются целевому объекту. Обычно исходные записи не удаляются сразу после процесса слияния, а отмечаются флажками, обозначающими архивирование, и больше не используются в процессах по осуществлению продаж, предоставлению услуг и в маркетинге.

Повышение эффективности решения задач, связанных с качеством данных. Автоматизация и аутсорсинг

Процедуры выявления дублирующих записей, очистки базы данных от этих дубликатов и объединения избыточных данных очень важны для поддержания качества данных в системе. Однако этот процесс является довольно трудоемким и отнимающим много времени. Реорганизация данных не может быть выполнена каким-то одним пользователем; для этого требуются люди, фактически знакомые с этими потенциально дублирующими друг друга заказчиками или потенциальными клиентами, поэтому выполнение этой задачи сопряжено с большими затратами. И хотя CRM-система никогда не должна отвлекать продавцов от сосредоточения на их высшем приоритете - заключении выгодных сделок - плохое качество данных является самым главным препятствием для осуществления процесса продаж в целом и не только для него. Существуют две опции для управления этой дилеммой.

Аутсорсинг задач, связанных с качеством данных

Для проверки корректности данных можно воспользоваться услугами сторонних агентств. Они могут сравнить данные со своими собственными базами данных и скорректировать и дополнить данные, осуществляя проверку корректности адреса, подтверждая достоверность адреса организации или физического лица и выявляя дублирующие записи. Некоторые компании, ведущие бизнес в других странах, предлагают услуги по подтверждению и повышению качества данных, а большинство из них также предоставляют финансовую информацию о кредитных рейтингах и т.п.

Автоматизация решения задач, связанных с качеством данных

Другим способом повышения эффективности бизнеса является автоматизация и регулярное выполнение процедур улучшения качества данных. В некоторых случаях выявление дубликатов и реорганизацию подобъектов можно осуществить только путем взаимодействия с пользователем. Однако в других ситуациях это можно сделать автоматически, особенно в области B2C, где данные поступают из различных источников, а менеджеры по продажам имеют дело с большими массивами данных. В последнем случае менеджеры по продажам фактически не могут выполнять работу по идентификации и объединению дублирующих записей, а также использовать автоматизированное решение.

В принципе, можно автоматизировать решение задач всех типов: проверку достоверности почтовых адресов, идентификацию дубликатов, создание очистительных случаев и слияние учетных записей. Это можно сделать как для всей базы данных, так и только для подмножества похожих записей, например, записей для определенной страны или региона или для записей, которые были созданы или изменены.

При условии наличия в системе надлежащих правил и критериев идентификации дубликатов и определения целевых объектов можно автоматизировать весь процесс, начиная от идентификации дубликатов, создания очистительных случаев и заканчивая процедурой слияния записей. Для минимизации риска идентификации некорректных записей как дубликатов, порог подобия должен быть достаточно высоким. Это означает, что только записи с высоким уровнем соответствия идентифицируются как дубликаты. Например, проверку корректности почтового адреса можно автоматизировать только при условии, что определение полного адреса дает уникальные результаты.

В целом, автоматизация и аутсорсинг не могут полностью заменить ручную обработку данных, однако эти меры могут очень существенно сократить усилия менеджеров по продажам и значительно улучшить общее качество данных. Никогда еще время не было столь ценным для продавцов, как сегодня. Стимулирующая экономика вынуждает профессиональных продавцов еще больше сосредоточиться на вопросе эффективности продаж для ускорения процесса получения оплаты и заключения новых сделок. Для менеджеров это означает, что они должны больше времени тратить на разъезды и на переговоры с клиентами, чем на поддержание целостности данных в CRM-приложении.

Повышение качества данных и эффективности с помощью SAP CRM. Основа улучшения CRM-процессов

Приложение SAP Customer Relationship Management (SAP CRM) поддерживает ваши инициативы, направленные на повышение качества данных, своей обширной функциональностью, в том числе опциями по созданию случаев очистки, слиянию учетных записей и объединению данных. В состав приложения CRM SAP также включены интерфейсы для интеграции с рядом проверенных решений сторонних разработчиков, включая программное обеспечение для контроля достоверности почтовых адресов и проверки наличия дублирующих записей.

Один из вариантов - внедрение программного обеспечения SAP BO по управлению качеством данных для решений от компании SAP. Это эффективное решение объединяет в своем составе функциональность приложения SAP CRM по проверке наличия дубликатов и контролю достоверности почтовых адресов и приложение SAP ERP. Оно повышает эффективность устойчивого к ошибкам поиска дублирующих записей и имеет расширенные функции выявления соответствий в записях. Решение SAP Business Objects Data Quality Management for SAP поддерживает глобальную проверку достоверности адресов для более 230 стран современными и надежными данными. Кроме того, приложение поддерживает вывод подробных графических и инструментальных отчетов, помогающих выявлять проблемы с данными.

Рис. 2: Структура управления качеством данных в SAP CRM

Для повышения эффективности решения всех задач, связанных с качеством данных, приложение SAP CRM имеет мощную структуру, поддерживающую эти задачи. Структура управления качеством данных SAP CRM предоставляет набор мощных функций, в том числе технически интегрированный контроль наличия дубликатов, выявление дубликатов и слияние дубликатов при использовании программного обеспечения от SAP или модулей расширения сторонних разработчиков. Другие встроенные функции поддерживают аутсорсинг решения задач управления качеством данных, таких как проверка наличия дубликатов, достоверности почтовых адресов и содержания записей, при помощи которого данные экспортируются и обрабатываются внешним агентством, а проверенные записи заново загружаются в базу данных.

Структура очень гибкая и поддерживает специфические для клиента варианты задач. На каждом отдельном шаге выполнения задачи генерируются свои собственные ключевые показатели эффективности, позволяющие измерить степень выполнения задачи на данном шаге. Эта информация позволяет количественно оценить улучшение качества данных, а, следовательно, и эффективность процесса. В пределах этой структуры управления качеством данных можно задавать расписание выполнения задач, которые будут периодически выполняться без дополнительного ввода данных пользователем.