Data-инженер (Оат, Heavy metrics)

Дирекция мониторинга Agile в поисках опытного Инженера Данных с навыками проектирования и разработки витрин данных, выстраивания Etl-процессов.

Команда разрабатывает уникальный по масштабу и сложности проект, призванный изменить систему управления Банком, сделав её прозрачной за счёт data-driven подхода. Продукт внедрен и используется в периметре Sbergile Agile dashboard (известный также как черный дэшборд). Ежемесячная аудитория дэшборда составляет 3500+ уникальных пользователей. Продукт активно развивается и дорабатывается новыми фичами на основе требований и пожеланий заказчиков. Наша система мониторинга ежедневно используется руководством Банка для принятия стратегических решений, а количество задач растёт изо дня в день.

Тебе предстоит работать с уникальным размером и разнообразием проектной деятельности (3000+ команд), большим количеством источников данных, и с самым требовательным заказчиком топ менеджментом Банка. Много интересной и разнообразной работы, а также сильный и амбициозный коллектив гарантируем!

Обязанности

Проработка архитектуры хранилища данных, а также его интеграций с внешними системами (включая Корпоративную аналитическую платформу Сбера)

Проектирование и разработка витрин данных для целей аналитики и моделирования на тех. стеке: PostgreSql, Greenplum, ClickHouse, Sql, Python, Kafka, Rest Api, Qlik;

Загрузка, очистка и трансформация больших объемов данных из различных источников в рабочую область, встраивание их в единую модель данных;

Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин;

Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;

Разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных;

Предоставление экспертной поддержки внутренним потребителям по вопросам, связанным с использованием данных

Рефакторить текущие процессы, предлагать лучшие практики работы с данными.

Разработка и поддержка сопроводительной документации и спецификаций данных, развитие и поддержка базы знаний по вопросам работы с данными.

Требования

Опыт работы в качестве Data Engineer / Mle от 2 лет;

Знание Sql на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов);

Знание основных понятий и концепций Data Warehousing и Big Data;

Опыт разработки Etl-процессов;

Опыт работы с большими объемами данных, построения хранилищ и витрин данных;

Опыт работы с Mpp (Gp как преимущество) / колоночными Субд (Clickhouse как преимущество);

Опыт работы со стеком технологий Big Data (Hadoop, Spark, Hive/Impala, Kafka).

Условия

Современный It-офис вблизи Москва-Сити с фитнес залом;

Формат работы: офис или гибрид;

Позитивная и заряженная команда профессионалов;

Интересные, сложные, амбициозные задачи;

Создание и развитие уникального внутреннего продукта, используемого на регулярной основе всеми Agile-командами банка (3000+ команд);

Возможность профильного обучения за счет компании;

Стабильная, конкурентная белая заработная плата (оклад + достойные премии);

Льготные условия по ипотеке и кредитам Сбербанка;

Дмс, социальные гарантии, корпоративные мероприятия.

Требуется data-инженер (оат, heavy metrics)

Web-разработчик, web-программист, программист python, разработчик, web-developer, программист, developer python, developer