Источник: microsoftbi
Ivan Kosyakov
Управление информацией организаций (Enterprise Information Management, EIM) является отдельной областью знаний, которая специализируется на решениях по оптимальному использованию информации в пределах организаций, например, для поддержки управленческих решений или операционной деятельности, требующей наличия знаний.
В составе платформы данных Microsoft SQL Server 2012 цикл управления информацией организаций (обнаружение, получение, наращивание и управление) поддерживается следующими продуктами:
- Компонент "Project Barcelona" позволяет автоматически собрать информацию об имеющихся источниках данных, интеграционных проектах, сервисах, порталах и службах отчетности, а затем проследить связи между этими объектами.
- Компонент "Integration Services" служит для организации загрузки и преобразования данных между различными системами (в том числе, для загрузки данных в хранилище данных).
- Компонент "Data Quality Services" предоставляет стандартные средства очистки и сопоставления данных, на основании имеющихся баз знаний.
- Компонент "Master Data Services" предоставляет возможности по управлению нормативно-справочной информацией как на уровне дружественных Excel- и Web-интерфейсов, так и на уровне программных интерфейсов.
В результате применения перечисленных выше технологий процесс управления информацией организации может осуществляться в следующей последовательности:
- С помощью проекта Barcelona можно проанализировать имеющиеся базы данных, систематизировать эту информацию, выявить похожие сущности и т.д. На основании этой информации можно разрабатывать интеграционные проекты.
- В интеграционном проекте Integration Services по загрузке данных в хранилище данных первым шагом выполняется извлечение данных в промежуточную область.
- Следующим шагов данные во временных таблицах прогоняются через Data Quality Services, чтобы очистить в автоматическом режиме имеющиеся некорректные данные.
- Далее поток данных (колонки со справочными данными) сопоставляется с сущностями в Master Data Services .
- Если соответствие с нормативно-справочной информацией не найдено, эти записи можно сохранить в отдельном месте хранения и затем сопоставить/дедуплицировать c помощью Data Quality Services в ручном режиме, например, с использованием Excel и надстройки MDS с функциями DQS.
- Откорректированные данные с помощью SSIS публикуются в системе-потребителе (например, в хранилище данных).
- С помощью проекта Barcelona можно произвести автоматическую инвентаризацию имеющихся данных, интеграционных проектов и отчетных систем, что позволит в будущем учесть все зависимые системы при внесении изменений в структуры данных.
Пример такого интеграционного проекта с применением MDS и DQS показан в следующей демонстрации.