Дата инженер

Наша команда создает информационную платформу для решения аналитических и исследовательских задач в области создания продуктов и услуг на мировых финансовых рынках: торговля валютой, ценными бумагами, производными финансовыми инструментами.

Этот бизнес потребляет и порождает огромное количество данных, которые должны обрабатываться c целью:

Разработки витрин данных и моделей машинного обучения

Поддержки регулярных бизнес-операций

Проведения Ad hoc анализа

Подготовки регулярной аналитической и управленческой отчетности

Разрабатываемая нами информационная платформа высоконагруженное решение, призванное обеспечить достижение всех этих целей.

Обязанности

• Проектирование и разработка корпоративной аналитической платформы (Пкап)
• Системная разработка, поддержка и оптимизация Etl-процессов и Ml-моделей (Mlops) на платформах Greenplum и Hadoop
• R&D, реализация пилотов по выбору технологий и решений
• Поддержка промышленной эксплуатации разработанных решений
• Проведение презентаций и обучения процессам в Пкап членов продуктовых команд
• Поддержание технической документации в актуальном состоянии

Требования

• Опыт промышленной разработки на python (Etl-процессы Airflow)
• Опыт с экосистемой Hadoop (Hdfs, Hive, Impala, Spark, Oozie, ...)
• Опыт работы с Ci/Cd решениями на базе Jenkins и Bitbucket/Git
• Опыт работы с популярными Рсубд (Greenplum, Teradata, Oracle, Mssql)
• Знание Sql, Pl/Sql
• Знание основ администрирования Ос Linux
• Понимание построения хранилищ данных (Dwh)

Будет плюсом:

• Опыт программирования на Java/Scala
• Создание моделей машинного обучения, прохождение курсов по машинному обучению
• Понимание основ облачных технологий и технологий виртуализации и контейнеризации
• Практический опыт с автоматизацией развертывания По
• Опыт администрирования Рсубд

Требуется дата инженер

Web-разработчик, web-программист, программист python, разработчик, web-developer, программист, developer python, developer