Tele2 увеличила емкость платформы больших данных на 40% при помощи RT.DataLake
Tele2, российский оператор мобильной связи, завершил расширение существующего кластера хранения и обработки больших данных (Big Data) за счет решения RT.DataLake. Общая емкость нового внедренного кластера Hadoop RT.DataLake составила 2,4 ПБ. Это позволило на 40% нарастить полезную емкость платформы (Big Data) Tele2 и увеличить производительность для расчетов задач машинного обучения. Благодаря расширению компания сократила зависимость от иностранного ПО, получила возможность увеличивать вычислительные мощности и масштабировать текущее решение без ограничений.
Tele2 использует кластер Hadoop для хранения и аналитики данных с 2018 г. За это время в кластер интегрировано более 100 источников данных, а ежедневный объем интегрируемых данных достигает 100 ТБ. Платформой Big Data ежедневно пользуются десятки бизнес- и технических команд, при этом основным внутренним клиентом является команда аналитики и монетизации данных. Нагрузка на кластер непрерывно росла, а свободное место уменьшалось. Сложные процессы интеграции данных затрудняли работу команды специалистов по данным (Data Scientists). В связи с этим компания решила разделить архитектуру платформы Big Data на сегмент обработки данных и сегмент Data Science.
Для расширения платформы Tele2 выбрала продукт RT.DataLake «Ростелекома» на базе технологии Hadoop. Данное решение имело лучшие показатели по экономии бюджета и совокупной стоимости владения: расчет в рублях за лицензии исключает валютные и санкционные риски, а суммарная экономия за 5 лет составит более $3 млн.
Сборка RT.DataLake является одним из самых современных коммерческих дистрибутивом Hadoop в мире – она состоит из самых свежих стабильных версий фреймворков и компонент. Это позволяет решить потребности инженеров данных и Data Scientists Tele2, которые крайне требовательно относятся к регулярному обновлению версий компонент в кластере. «Ростелеком» как вендор ПО показал готовность выполнить кастомизацию дистрибутива под нужды Tele2. Это дало возможность обеспечить необходимый набор используемых версий компонента Hadoop, реализовать добавление функциональности в исходный код проекта и предоставить набор средств автоматизации развертывания и управления на базе технологии Ansible.
Tele2 обеспечивает информационную безопасность и сохранность данных, постоянно проводя аудиты и совершенствуя методы их защиты. RT.DataLake не исключение. В решении реализовано разграничение доступа на базе технологии Ranger, внедрен протокол аутентификации Kerberos и выполнена интеграция с корпоративной службой Active Directory. Команда «Ростелекома» регулярно выпускает патчи обновления компонент и устранения угроз информационной безопасности.
Алексей Мартынов, директор по информационным технологиям Tele2, сказал: «ИТ-cотрудники Tele2 расширяли кластер без привлечения подрядчиков. Большую помощь в этом процессе оказывала команда “Ростелекома”, которая устраняла любые недостатки в дистрибутиве в считанные дни. Наша компания сократила зависимость от иностранного ПО, получила возможность масштабировать платформу Big Data Tele2 без ограничений и увеличивать вычислительные мощности».
Антон Мерзляков, директор по аналитике больших данных Tele2, отметил: «После расширения платформа Big Data Tele2 позволяет хранить 6,6 ПБ данных, состоит из 126 вычислительных узлов суммарной мощностью 9 тыс. ядер и 86 ТБ оперативной памяти. Мощность расширенного кластера позволяет комфортно работать команде Data Scientists и решать самые высоконагруженные задачи. Мы уверенно смотрим в будущее и рассчитываем на полную реализацию наших планов по запуску продуктов на базе аналитики больших данных как для задач Tele2, так и обширного круга внешних клиентов и партнеров».
