Data engineer (Sbi)

Мы интернациональная команда, занимающаяся адаптацией, локализацией и созданием новых сервисов экосистемы для дочерних банков экосистемы Сбер.

Обязанности

Чем предстоит заниматься:

• полным циклом разработки всех слоев хранилища данных и отображения отчетности
• участвовать в составлении плана проекта, оценка проектных сроков и рисков
• участвовать в проектировании системы, решать сложные исследовательские задачи по реализации никем ранее не реализованного функционала
• развивать корпоративное хранилище и витрины данных (Ас Облако данных) для развития международного бизнеса Сбербанка. Участвовать в сложных интеграционных проектах по развитию корпоративного Dwh (преимущественно Hadoop, возможно, интеграции с Бд Oracle и Teradata) в роли разработчика.
• разрабатывать и проектировать потоки данных, алгоритмы загрузки и обработки данных в Hadoop с использованием Apache Spark
• разрабатывать и оптимизировать Etl, обеспечивать производительность и стабильность, при необходимости участвовать в анализе инцидентов
• организовывать оптимальный процесс разработки
• участвовать в приемке системы

Требования

• опыт работы в области Data engineer от одного года

Работа с данными:

• знание Sql - простые запросы, Joinы, агрегаты, группировки, вложенные запросы
• знание python: стандартные структуры данных (dict, list, set, модуль collections), pandas, numpy, h5py
• опыт работы с Hadoop (Hive, Spark, Hbase) является плюсом

Моделирование:

• Feature Engineering: - методы оценки значимости и отбора признаков, методы уменьшения размерности, приемы работы с текстом
• Model - умение различать основные классы задач (регрессия, классификация, кластеризация) и формулировать бизнес-задачу в их терминах. Знать основные методы и знать api по их использованию
• Python - sklearn, numpy, scipy, xgboost (в порядке убывания приоритета)

Evaluation:

• умение различать методы оценки качества модели под основные классы задач и понимать плюсы и минусы их применения. (f1, precision, recall, roc auc, mse, rmse, silhouette)
• опыт работы с инструментами для организации и автоматизации работы: GridSearch, pipelines, ide, git, Jira, Confluence
• понимание методологии Agile и DevOps
• владение английским языком на уровне чтения технической документации

Условия

• работа в команде профессионалов, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны
• можно работать в офисе или в смешанном графике
• конференции и обучение на корпоративных или вендорских курсах за наш счёт
• отличная Дмс, включая несчастные случаи и тяжелые заболевания
• льготные условия по ипотеке и кредитам
• материальная помощь и социальная поддержка
• корпоративная пенсионная программа
• офис в бизнес-центре Поклонка (м. Кутузовская)

Требуется data engineer (sbi)

Web-разработчик, web-программист, программист python, разработчик, web-developer, программист, developer python, developer