Big Data. Большие данные

Одной из основных проблем обработки данных в больших компаниях является ее распределенность, как территориальная, так и программно-организационная. Каждая компания имеет 20-50 информационных систем или файловых ресурса, где хранятся разнородные данные в произвольных форматах. При этом рядовой пользователь вынужден либо просматривать их по порядку и затрачивать на это существенное время, либо брать то, что нашел первым, зачастую в ущерб качеству информации.

 

 

Ранее основным подходом для создания единой точки доступа являлось формирование супер-хранилища, в форматы которого преобразовывались все данные, теряя все, что не подошло по формату. И это не учитывая затрат на создание и поддержку соответствующей инфраструктуры.

Компания ITPS предлагает иной подход к проблеме, основанный на применении поисковых сервисов, подобных интернет-поисковикам. Сами данные остаются там, где они и находились, а собирается только метаинформация о них. При этом не изменяются сложившиеся в компаниях бизнес-процессы, а данные в принципе не могут быть утеряны. Пользователь видит все данные в едином окне, а для получения более детальных сведений может перейти в систему-источник.

 

 

Архитектура решения позволяет практически безразмерное масштабирование системы, а открытый код решения – его доработку под нужды конкретной компании силами собственных разработчиков, не прибегая к услугам вендора.

 

 

Развитый поисковый интерфейс позволяет производить три вида поиска – пространственный (на ГИС-интерфейсе), атрибутивный, включая связки логическими операторами, и контекстный. При этом комбинация видов поиска может быть произвольной.

Помимо создания единой точки доступа к данным, платформа позволяет разработать глобальную систему проверки полноты и качества информации, основанную на нормализации межсистемных справочников, создании правил контроля данных и экспертной установки флагов качества. Таким образом конечный пользователь может получить наиболее актуальные данные без лишних трудозатрат.

 

 

Разработанное решение уже прошло проверку на практике и получило награду на конкурсе «Global CIO» в номинации «Лучший проект управления большими данными цифрового производства».