Tele2 увеличила емкость платформы big data на 40% при помощи RT.DataLake

Tele2 успешно завершил расширение существующего кластера хранения и обработки больших данных за счет решения RT.DataLake. Общая емкость нового внедренного кластера Hadoop RT.DataLake составила 2,4 Пб. Это позволило на 40% нарастить полезную емкость платформы big data Tele2 и увеличить производительность для расчетов задач machine learning. Благодаря расширению компания сократила зависимость от иностранного ПО, получила возможность увеличивать вычислительные мощности и масштабировать текущее решение без ограничений.

Алексей Мартынов, директор по информационным технологиям Tele2:

«IT-cотрудники Tele2 расширяли кластер без привлечения подрядчиков. Большую помощь в этом процессе оказывала команда «Ростелекома», которая устраняла любые недостатки в дистрибутиве в считанные дни. Наша компания сократила зависимость от иностранного ПО, получила возможность масштабировать платформу big data Tele2 без ограничений и увеличивать вычислительные мощности».

Tele2 использует кластер Hadoop для хранения и аналитики данных с 2018 года. За это время в кластер интегрировано более 100 источников данных, а ежедневный объем интегрируемых данных достигает 100 Тб. Платформой big data ежедневно пользуются десятки бизнес- и технических команд, при этом основным внутренним клиентом является команда аналитики и монетизации данных. Нагрузка на кластер непрерывно росла, а свободное место уменьшалось. Сложные процессы интеграции данных затрудняли работу команды data scientists. В связи с этим компания решила разделить архитектуру платформы big data на сегмент обработки данных и сегмент data science.

Для расширения платформы big data Tele2 выбрала продукт RT.DataLake от «Ростелекома» на базе технологии Hadoop. Данное решение показало лучшие показатели по экономии бюджета и совокупной стоимости владения: расчет в рублях за лицензии исключает валютные и санкционные риски, а суммарная экономия за 5 лет составит более $3 миллиона.

Сборка RT.DataLake является одним из самых современных коммерческих дистрибутивом Hadoop в мире – она состоит из самых «свежих» стабильных версий фреймворков и компонент. Это позволяет решить потребности инженеров данных и data scientists Tele2, которые крайне требовательно относятся к регулярному обновлению версий компонент в кластере. «Ростелеком» как вендор ПО показал готовность выполнить кастомизацию дистрибутива под нужды Tele2. Это дало возможность обеспечить необходимый набор используемых версий компонента Hadoop, реализовать добавление функционала в исходный код проекта и предоставить набор средств автоматизации развертывания и управления на базе технологии Ansible.

Антон Мерзляков, директор по аналитике больших данных Tele2:

«После расширения платформа big data Tele2 позволяет хранить 6,6 Пб данных, состоит из 126 вычислительных узлов суммарной мощностью 9000 ядер и 86 Тб оперативной памяти. Мощность расширенного кластера позволяет комфортно работать команде data scientists и решать самые высоконагруженные задачи. Мы уверенно смотрим в будущее и рассчитываем на полную реализацию наших планов по запуску продуктов на базе аналитики больших данных как для задач Tele2, так и обширного круга внешних клиентов и партнеров».

Tele2 надежно обеспечивает информационную безопасность и сохранность данных, постоянно проводя аудиты и совершенствуя методы их защиты. RT.DataLake не исключение. В решении реализовано разграничение доступа на базе технологии Ranger, внедрен протокол аутентификации Kerberos и выполнена интеграция с корпоративной службой Active Directory. Команда «Ростелекома» регулярно выпускает патчи обновления компонент и устранения угроз информационной безопасности.

URL: https://babr24.com/msk/?IDE=231884

bytes: 3814 / 3662

Поделиться в соцсетях:

Экслюзив от Бабра в соцсетях:
- Телеграм
- ВКонтакте

Связаться с редакцией Бабра:
[email protected]

Автор текста: Соня Ломачевская, журналист.

На сайте опубликовано 447 текстов этого автора.

Другие статьи в рубрике "Интернет и ИТ" (Россия)

Иркутский Телеграм: новое племя. Предпочтения читателей в январе 2024

Скажи, кто твой друг, и я скажу, кто ты. Или в современном прочтении: скажи мне, чьи новости ты читаешь, а я скажу, что ты за человек.

Глеб Севостьянов

Интернет и ИТПолитикаОбществоМир Иркутск

7432

06.02.2024

На что способен мобильный тариф: Tele2 напомнила клиентам о своих уникальных фишках

Многие считают, что тарифы сотовых операторов примерно одинаковы, – различие только в цене и наполнении пакета. На самом деле, это далеко не так. Точнее, не у всех.

Саша Савельева

Интернет и ИТРоссия

5032

25.01.2024

Эксперты рассказали, где россиянам торговать криптовалютой после ввода санкций

В 2022 году из-за обострения геополитической обстановки многие криптоплатформы заблокировали доступ для граждан РФ или ограничили их функционал. Регуляторы из ЕС и США сделали ведение бизнеса невозможным, что вынудило даже наиболее лояльные площадки прекратить обслуживание россиян.

Ярослава Грин

Интернет и ИТЭкономика и бизнесРоссия

17026

21.12.2023

Заморозить цены на тарифы и поговорить с редкими животными: дайджест новостей от Tele2

Компания предлагает клиентам любых операторов бесплатно подключить мультиподписку до 31 декабря, новым пользователям – заморозить цены на тарифы до конца 2025 года, а действующим абонентам – спасти диких животных с помощью звонка.

Ярослава Грин

Интернет и ИТРоссия Иркутск

19406

30.11.2023

На вес золота: о связи в самых удаленных уголках и красивых номерах в подарок

Рассказываем, где появилась мобильная связь Tele2 и как получить телефонный номер с запоминающейся комбинацией цифр бесплатно.

Ярослава Грин

Интернет и ИТИркутск Россия

17102

30.11.2023

Сибирь – заложница «серых» майнеров

Нелегальный майнинг – энергодефицит – рост тарифов для теневых криптодобытчиков. Такая цепочка выстраивается в последнее время из-за серьёзных проблем с энергией в преддверии зимы.

Анна Амгейзер

Интернет и ИТЭкономика и бизнесИркутск Россия

38979

29.11.2023

Скидки на гаджеты, пироги из тыквы и быстрый интернет – листопад осенних новостей от мобильного оператора

В новом дайджесте от Tele2 рассказываем про страшно выгодные скидки и ужасно быстрый интернет, а еще о том, как получить в подарок к Хэллоуину тыквенный пирог с корицей.

Ярослава Грин

Интернет и ИТИркутск Россия

24840

31.10.2023

Смартфон со скидкой, подарки за подключение и бесплатный интернет в доме

В новом дайджесте от мобильного оператора Tele2 рассказываем о подарке ребенку к началу учебного года, открытии нового салона связи в Иркутске и возможности 4 месяца пользоваться фиксированным интернетом без оплаты.

Ярослава Грин

Интернет и ИТИркутск Россия

29012

31.08.2023

Летний драйв от Tele2: заправляем авто со скидкой и заряжаем смартфоны для приключений

На три вещи можно смотреть бесконечно долго: видео в соцсетях, не расходующее пакет трафика, активизацию скидки 10% на бензин и на рост скорости мобильного интернета. Об этом, а также о крутых возможностях для геймеров – в дайджесте новостей от мобильного оператора.

Ярослава Грин

Интернет и ИТИркутск Россия

29875

30.07.2023

Недушное лето с Tele2: замораживаем стоимость тарифов и гуляем по воде

Как остановить рост цен на мобильный тариф, получить незабываемые эмоции в отпуске и скидки на аренду SUP-бордов, а еще подключить домашний интернет и 3 месяца пользоваться им бесплатно – в сегодняшней подборке новостей от Tele2.

Ярослава Грин

Интернет и ИТТуризмРоссия Иркутск

29560

27.07.2023

Лето быстрого безопасного интернета и больше подарков c Tele2

Защититься от спама, оценить новые возможности программы лояльности и новое качество связи в отдельных районах Иркутской области предлагает Tele2. Больше подарков на каждый день Согласитесь, настроение мы зачастую создаем себе сами.

Ярослава Грин

Интернет и ИТИркутск Россия

28195

30.06.2023

Турбоскорость каждый день и три подарка в понедельник

Новости сотового оператора, которые будут полезны всем, у кого есть телефон. Как получать по три подарка каждый понедельник, разогнать мобильный интернет до максимальных скоростей, а также о том, как готовят сеть к летнему сезону и капризам природы, рассказали в Tele2.

Ярослава Грин

Интернет и ИТЭкологияИркутск Россия

66880

23.06.2023

Лица Сибири

Петрук Светлана

Рихванова Марина

Колесов Роман

Шевченко Сергей

Душин Александр

Хлопонин Александр

Бурлаков Александр

Чернышов Дмитрий

Зубков Александр

Касперович (Подгорная) Анна