Разработчик Hadoop
Мы строим единую аналитическую платформу, включающую в себя централизованное корпоративное хранилище данных, витрины отчетности и BI-инструменты, аналитические «песочницы» данных и инфраструктуру для применения моделей искусственного интеллекта.
Какие задачи ждут именно вас:
- Проектирование и разработка процессов загрузки данных в единую модель данных КХД в Hadoop, загрузки данных и расчета витрин в Vertica;
- Оптимизация и настройка производительности ETL процессов;
- Проведение исследований новых технологий в рамках R&D;
- Разработка системы контроля качества данных, регламентных служебных процессов для обслуживания загрузки КХД;
- Рефакторинг существующих решений по загрузке данных и расчету витрин, перевод их на новую модель и инструменты.
Мы ждем от вас:
- Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark);
Опыт программирования на Python и работу с Apache Airflow;
- Понимание архитектуры организации хранилищ данных и систем обработки данных (онлайн, батч режим).
Будет плюсом:
- Опыт работы с СУБД колоночного хранения (предпочтительно Vertica);
- Опыт работы с промышленными ETL средствами (Informatica, Pentaho);
- Опыт работы в распределённой (территориально) команде.
Мы готовы предложить:
- Развиваться в команде профессионалов и работать, используя гибкие методологии разработки ПО;
- Самостоятельно принимать решения;
- Стабильность, полное соблюдение ТК РФ;
- ДМС и скидки от компаний-партнеров.