Разработчик Java (Data Lineage)

SberData – департамент по управлению данными всего Сбербанка. SberData строиn централизованное хранилище данных, объем которого уже превышает 10 Пб. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению Ai.

Data lineage – восстановление подробных сведений о потоке данных от системыисточника к системе-приемнику, которые позволяют отследить их преобразования и взаимосвязи.

Цель:

Восстановить data lineage в Hadoop

Создать общий справочник информационных потоков

Строить ad-hoc аналитику над метаданными

Проект только стартовал, и мы активно ищем новых сотрудников в нашу команду.

Задачи:

Восстановление и активное развитие data-lineage в Hadoop.

Участие в проработке архитектурных решений.

Разработка на Java

Доработка Atlas под задачи Сбербанка

Конфигурирование и настройка Kafka

Навыки:

Уверенные знания Java Core/Spring Boot

Знание Ci/Cd инструментов (Gradle, GitLab, Jenkins, Nexus, Docker, Kubernetes)

Знание основ работы с распределёнными брокерами сообщений (Kafka)

Огромным плюсом будет:

Знание Apache Atlas

Опыт работы в high load

Понимание архитектуры/опыт сопровождения Hadoop

С нашей стороны:

Небольшая, но очень амбициозная команда

Множество интересных задач

Комфортный офис, фитнес зал

Регулярное корпоративное обучение;

Дмс, страхование от несчастных случаев и тяжелых заболеваний;

Материальная помощь и социальная поддержка, корпоративная пенсионная программа;

Льготные условия кредитования