Большие данные превратились из модной технологии в товар повседневного спроса
Большие данные как тренд и перспективная развивающаяся технология перестали существовать. Они превратились в часть повседневного процесса оптимизации работы компаний, тесно связанного с интернетом вещей, носимой электроникой, мобильными устройствами. Успех проекта зависит от понимания того, как планируется использовать результаты обработки данных и какую выгоду это принесет. На первое место выходят способы обработки неструктурированных данных, вопросы стандартизации и межотраслевого взаимодействия. Реализация закрытых проектов внутри отдельно взятого предприятия малоэффективна по сравнению с возможностями, которые открывает обмен информацией.
Секция больших данных на CNews Forum 2016 была представлена очень разнородными кейсами и докладами. Количество сфер деятельности, в которых они используются, стремительно растет. Кроме того, большие данные применяются для решения все новых и новых задач.
Что происходит с большими данными
Председатель Совета директоров CleverDATA Денис Реймер напомнил участникам секции об исследовании Gartner, согласно которому инвестиции в проекты, связанные с большими данными, в 2016 году впервые начали сокращаться. По мнению аналитиков, это связано с переходом ранее проинвестированных проектов на следующие стадии – пилотирования и развертывания. Большие данные становятся частью повседневной работы, а их место на пике графика развивающихся технологий Gartner занимает машинное обучение. При этом основные сферы применения БД-проектов из года в год остаются прежними — это управление клиентским опытом, таргетированный маркетинг, повышение эффективности текущей деятельности, снижение издержек и т.д.
Основной стимул развития больших данных, интернета вещей, цифровых двойников — появившаяся у компаний возможность в реальном времени получать информацию о том, как используется их продукт. Это принципиально меняет производственный процесс на всех его стадиях – от формирования идеи до поддержки и сопровождения продукта. Из него выпадают многие актуальные ранее звенья, и бизнес должен вовремя перестроиться. Ключевые решения, предлагаемые на рынке CleverData, нацелены на сбор, обработку и грамотное управление как внутренними данными компании и ее клиентов, так и внешними данными, которые дополняют и обогащают систему принятия решений.
Руководители ИТ-департамента банка «Альба Альянс» Сергей Тихонов и Мирослава Бондаренко также отмечают, что решения в области больших данных не существуют сами по себе, они работают в связке с IoE (Internet Of Everything — интернет всего) и другими смежными технологиями. Цель — создать для клиентов «жизнь без трения». Например, в банковской сфере это позволяет добиться роста годового дохода до 14,5%. Представители «Альба Альянс» рассказали еще об одном интересном тренде, появившемся на европейском рынке и получившем название «подключенный клиент» (connected client), в рамках которого клиент может не только пользоваться решениями, которые приготовил для него банк, но и создавать собственные приложения на базе API. Работу такого приложения на базе API немецкого Postbank Мирослава Бондаренко готова была продемонстрировать желающим непосредственно в ходе форума.
Сложности внедрения
Многие компании сталкиваются с трудностями при выборе технологических решений для своих проектов. Руководитель направления больших данных в DIS Group Петр Борисов привел впечатляющий слайд, описывающий разнообразие продуктов, которые предлагают разработчики в данной сфере. DIS Group — мультивендорная компания, предлагающая комплексные решения, одно из которых — платформа Informatica. Ее ключевыми преимуществами являются интеграция всех необходимых для работы с данными компонентов, а также простота и прозрачность для команды, которая будет заниматься реализацией проекта.
Стек технологий больших данных
Источник: DIS Group, 2016
Сергей Жуков, начальник отдела информационно-аналитического обеспечения центра управления полетами S7 Airlines, рассказал о проблеме консолидации большого количества данных из разных источников. Например, устаревшая система обработки и использования метеоданных создает большие сложности в работе авиакомпаний. Поставщики данных могут предоставлять их в разных форматах, в том числе неизменяемых, в виде уже готовых слоев с «белыми пятнами». Обработка, визуализация и использование по назначению всех этих сведений требует привлечения огромных ресурсов. «Пока не оцифруешь всю авиационную отрасль, решения в рамках отдельного аэропорта остаются неэффективными», — говорит Сергей Жуков. Решать подобного рода проблемы бессмысленно на корпоративном уровне, т.к. это вопрос межотраслевого взаимодействия и государственной стандартизации.
Начальник сектора НТО МНИТИ Сергей Калегин также подчеркнул в своем докладе, что проблемы, связанные с большими данными, в основном лежат в области их обработки. Большая часть данных доступна нам в неструктурированном или частично структурированном виде. Технологии извлечения информации из таких массивов — предмет серьезных научных исследований. Например, на сегодняшний день, по данным Сергея Калегина, не существует гарантированных способов определить языковую принадлежность той или иной информации, несмотря на то, что 93-95% накопленных человечеством данных существует в виде текста. «Все разработки, которыми мы пользуемся в личных целях, мало пригодны для автоматизации работы с большими объемами данных», – отмечает он.
Как выглядят реализованные возможности
Большой интерес участников секции вызвал доклад советника руководителя ДИТ Москвы Артема Костырко о том, как используются большие данные при управлении столицей. Основными их поставщиками являются граждане города. «Все мы ходим на работу, включаем свет, воду, все это является источником больших данных, которые начинают жить своей жизнью», — уточняет Артем Костырко. В городе сформирован «навигатор» — своего рода мета-описание того, какие данные, из каких источников и в результате каких процессов и жизненных ситуаций формируются. Второй поставщик информации — это объекты городской инфраструктуры.
Примерами использования больших данных в городе являются планирование субсидирования квартплаты на основании данных о реальном росте тарифов ЖКХ по районам для разных категорий населения, планирование кредитования ресурсоснабжающих организаций по результатам прогноза задолженности населения и скоринга различных категорий должников. Решения о строительстве новых поликлиник, школ, детских садов и объектов культуры принимаются на основании данных о транспортной доступности и загруженности существующих мощностей в конкретных районах. Информация со спутников используется для мониторинга просадки зданий и сооружений, контроля над дорожным строительством, выявления точек незаконного сброса мусора. Одна из самых интересных и актуальных тем — прогнозирование суточной мобильности населения по данным сотовых операторов и планирование на основе этих прогнозов маршрутных сеток городского транспорта, работы светофоров и т.п.
Места проживания и дневного пребывания населения московской агломерации
Источник: ДИТ Москвы, 2016
Развитие направления больших данных ДИТ Москвы видит в совершенствовании прогнозирования – оно должно стать рутинной процедурой и стандартной кнопкой на компьютере любого чиновника. Кроме того, планируется более плотная работа с перспективными командами, которые помогут городу внедрить в текущую деятельность технологии использования интернета вещей, спутниковых снимков, информации от сотовых операторов и т.п. Артем Костырко также отметил, что необходимо развивать обработку неструктурированных данных, которые продуцирует город за пределами информационных систем — звука, фото, видео.
Борис Рабинович, директор центра компетенций развития BI-технологий компании «Сбербанк-Технологии» рассказал о том, как использует большие данные крупнейший банк страны. Основная цель их сбора и обработки в Сбербанке — это монетизация. Данные должны либо приносить прибыль, либо минимизировать убытки. Именно с этой точки зрения рассматривается целесообразность их включения в любые технологические процессы. Бизнес-подразделения Сбербанка сгенерировали больше 300 идей по монетизации данных, которые проходят экспертизу и принимаются в работу в случае положительной оценки. В качестве примера Борис Рабинович привел предиктивную модель, позволяющую предсказывать выход из строя банкоматов на основании анализа технических логов устройства. Также анализ и оптимизация запасов наличности в банкоматах приносит несколько миллиардов рублей экономии в год при инвестициях в проект в несколько десятков миллионов.
Около года назад стартовала программа «Фабрика данных», объединившая в себе БД-проекты Сбербанка. Кроме того, банк активно развивает тему монетизации внешних данных и обогащения за их счет своих систем, а также продажи имеющихся в его распоряжении данных третьим лицам. К 2018-2019 гг. Сбербанк планирует полностью перейти на новую автоматизированную систему, основанную на Hadoop.
Отраслевой опыт
Приборостроительный ВНИИА им.Духова работает на b2b-рынке и относится к тем организациям, которые решали задачи по обработке огромных массивов информации еще до того, как их назвали большими данными. Евгений Абакумов, начальник отделения информационных технологий института, заметил, что предприятие располагает мощным суперкомпьютерным центром, который, однако, не фигурирует ни в одном рейтинге. «В отечественной промышленности накопился огромный объем конструкторской документации в бумажном виде, которую никто не трогал», — продолжает он. Вся эта документация требует оцифровки для дальнейшего хранения, а самое главное — для использования в новых разработках. Обработка сведений об испытаниях, измерениях, условиях и событиях на протяжении всего жизненного цикла изделия также необходима для оптимизации процессов разработки, производства и обслуживания приборов. Высокое качество конечного продукта в промышленности может быть достигнуто только путем использования больших данных и базирующихся на их основе систем поддержки принятия решений.
По мнению руководителя направления инженерного ПО «Сколково» Дмитрия Ходькова, сегодня банковский сектор и ритейл хорошо знают, как монетизировать данные, и весьма активно этим занимаются. Промышленные предприятия пока находятся в числе отстающих. Однако, данные «Сколково» свидетельствуют, что в 2015-2016 гг. возросло количество проектов в сфере предиктивной аналитики и предупреждения выхода из строя оборудования. Потребителями таких технологий становятся недродобывающие предприятия, телеком, в меньшей степени обрабатывающие производства. «У нас есть проекты, по уровню не уступающие IBM, — говорит Дмитрий Ходьков. — За 100-200 тысяч рублей можно получить технологию, которая сэкономит десятки миллионов». Для этого на предприятии должен быть человек, который отвечает за использование и анализ данных, заинтересован в проекте и может четко сформулировать потребности бизнеса.
Об опыте «ВТБ Страхование», которая успешно оптимизировала процесс подготовки отчетности, рассказал Александр Языков, начальник отдела разработки отчетности департамента связи и ИТ. С ростом компании существовавшая в ней учетная система перестала справляться с объемами накопленных и поступающих данных, увеличилось время подготовки отчетов. Было принято решение о ее модернизации. В результате бизнес получил качественную аналитику и единый источник данных для оценки эффективности работы и контроля финансовых результатов вплоть до конкретной транзакции, а ИТ-подразделение – гибкий и удобный в управлении инструмент. Потребность в системе постоянно растет, поэтому процесс ее модернизации будет продолжен, говорит Александр Языков.
О преимуществах диджитализации бизнеса рассказали руководитель отдела риск-технологий Вадим Мамонов и архитектор BI Сергей Гоппов банка «Дельта Кредит». По их данным, средний возраст заемщиков банка с 2005 года снизился с 44 до 34 лет, при этом около 20% - это люди в возрасте от 26 до 30 лет. Все они активно пользуются интернетом и новыми технологиями. Банк внедряет систему автоматического одобрения заявки на получение кредита. Располагая относительно небольшим штатом сотрудников, ИТ-департамент собирается использовать для проверки платежеспособности клиента все доступные внешние данные. При этом cистема должна в каждый момент времени представлять собой готовое работающее бизнес-решение, несмотря на модернизацию и продолжающийся процесс разработки.
Анна Агеева
О применении больших данных в различных отраслях и возможностях, которые они предоставляют, участникам CNews Forum 2016 рассказал Денис Афанасьев, генеральный директор компании CleverDATA (группа «Ланит»).
CNews: Для каких отраслей большие данные уже стали повседневной работой, а какие только приходят к этой теме?
Денис Афанасьев: Подходы, связанные с большими данными, сложной математикой и предиктивной аналитикой, можно применять в госсекторе и наукоемких отраслях. Коммерческие компании, с которыми мы в основном работаем, используют большие данные при анализе рисков. Поскольку большие данные – это не только технологии, но и машинное обучение и различные предиктивные модели.
Презентации участников форума
