Разработчик Hadoop

Мы строим единую аналитическую платформу, включающую в себя централизованное корпоративное хранилище данных, витрины отчетности и BI-инструменты, аналитические «песочницы» данных и инфраструктуру для применения моделей искусственного интеллекта.

Какие задачи ждут именно вас:

  • Проектирование и разработка процессов загрузки данных в единую модель данных КХД в Hadoop, загрузки данных и расчета витрин в Vertica;
  • Оптимизация и настройка производительности ETL процессов;
  • Проведение исследований новых технологий в рамках R&D;
  • Разработка системы контроля качества данных, регламентных служебных процессов для обслуживания загрузки КХД;
  • Рефакторинг существующих решений по загрузке данных и расчету витрин, перевод их на новую модель и инструменты.

Мы ждем от вас:

  • Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark);
  • Опыт программирования на Python и работу с Apache Airflow;

  • Понимание архитектуры организации хранилищ данных и систем обработки данных (онлайн, батч режим).

Будет плюсом:

  • Опыт работы с СУБД колоночного хранения (предпочтительно Vertica);
  • Опыт работы с промышленными ETL средствами (Informatica, Pentaho);
  • Опыт работы в распределённой (территориально) команде.

Мы готовы предложить:

  • Развиваться в команде профессионалов и работать, используя гибкие методологии разработки ПО;
  • Самостоятельно принимать решения;
  • Стабильность, полное соблюдение ТК РФ;
  • ДМС и скидки от компаний-партнеров.