Data engineer (Внутрибанковская безопасность)

Для решения бизнес задач Гак 'Внутренняя безопасность' в плотном взаимодействии с командами Ds , Ml, бизнес аналитиков, потребуется построить витрины данных и обеспечить потребности смежных команд в необходимых данных.

Обязанности:

• Наша команда Data - инженеров и аналитиков занимается проектированием , разработкой , тестированием и выводом в промышленную эксплуатацию целевых решений (витрин данных и реализация интеграционных процессов между аналитическими и продуктовыми системами Банка и партнеров).
• Наша цель построить контур, пополняющийся из множества источников данных, мы будем работать с данными как с актуальностью Т-1 так и Near Real Time репликами.
• В ходе работ вы столкнетесь с огромными репликами данных (таблицы в 10-ки Тб и сотни миллиардов записей ) , извлечением и загрузкой данных, методами их обработки и трансформации, валидацией готовящихся выгрузок, современными инструментами Devops (Ci/Cd). Источники данных – продуктовые системы Банка и Партнеров (реляционные Субд Oracle, Ms Sql, Teradata), работать предстоит с реализованными в Hadoop репликами источников. Команда работает c применением методологии Agile, используя инструменты Jira и Confluence.
• При выполнении задач потребуется умение классификации данных и валидация выгрузок данных для Data-платформ других подразделений Банка.
• В команде есть опытные дата инженеры и аналитики, с учетом роста потребностей Гак и планируемой реализации новых бизнес инициатив проводим расширение команды.

• Знание Sql
• Опыт от 1 года работы с экосистемой Hadoop в роли Data инженера
• Опыт проектирования, разработки витрин данных, тестирования и вывода решений в промышленную эксплуатацию желателен
• Навыки разработки витрин данных на Big Data с использованием описанного ниже стека инструментов и знанием соответствующего окружения и языков программирования:

1. экосистема Hadoop (Hive, Spark, Kafka, Oozie)
2. языки программирования (Scala, Java, Python)
3. инструменты Devops (Git, Nexus, Jenkins)

• Конкурентные условия труда (белая заработная плата, оклад, премии)
• График работы - стандартный, но с гибким подходом к личным обстоятельствам
• Большой и комфортный офис с бесплатным спортзалом
• Программу по поддержанию и улучшению состояния здоровья - Дмс (включая стоматологию), страхование
• Льготное кредитование в Сбербанке - возможность пользоваться премиальными продуктами Банка на очень специальных условиях
• Широкий спектр скидок и привилегий от компаний-партнеров