Разработчик Hadoop

Мы строим единую аналитическую платформу, включающую в себя централизованное корпоративное хранилище данных, витрины отчетности и BI-инструменты, аналитические «песочницы» данных и инфраструктуру для применения моделей искусственного интеллекта.

Какие задачи ждут именно вас:

• Проектирование и разработка процессов загрузки данных в единую модель данных КХД в Hadoop, загрузки данных и расчета витрин в Vertica;
• Оптимизация и настройка производительности ETL процессов;
• Проведение исследований новых технологий в рамках R&D;
• Разработка системы контроля качества данных, регламентных служебных процессов для обслуживания загрузки КХД;
• Рефакторинг существующих решений по загрузке данных и расчету витрин, перевод их на новую модель и инструменты.

Мы ждем от вас:

• Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark);

• Опыт программирования на Python и работу с Apache Airflow;

• Понимание архитектуры организации хранилищ данных и систем обработки данных (онлайн, батч режим).

Будет плюсом:

• Опыт работы с СУБД колоночного хранения (предпочтительно Vertica);
• Опыт работы с промышленными ETL средствами (Informatica, Pentaho);
• Опыт работы в распределённой (территориально) команде.

Мы готовы предложить:

• Развиваться в команде профессионалов и работать, используя гибкие методологии разработки ПО;
• Самостоятельно принимать решения;
• Стабильность, полное соблюдение ТК РФ;
• ДМС и скидки от компаний-партнеров.