Data инженер (Ису)

Команда продукта Ису Руководителя занимается созданием и внедрением следующих решений:

1. Data-решения для управленческих функций: витрины данных и базы знаний на основе множества источников структурированной и неструктурированной информации.

2. Ai-сервисы для инструментов руководителя от идеи до промышленной эксплуатации, а именно:

- развитие голосового Виртуального Ассистента для помощи руководителю;

- классификация встреч/задач;

- умные цели по эффективности;

- автоматический график встреч сотрудника;

- извлечение главного из диалоговых последовательностей (голос, текст).

3. Решения с использованием сервисов партнеров экосистемы (Jazz, SberChat, Салют).

4. Трекер задач (аналог Trello), обеспечивающей управление задачами end2end: от планирования до мониторинга выполнения и поиска корневых причин.

5. Инструменты оценки встреч и обратной связи, реализующие принципы прозрачности в рамках follow-up менеджмента.

Вызовы заключаются в определении единой Mlops-архитектуры (концептуальная арх-ра и microservices solution architecture) для деплоя Ai-моделей продукта с учетом взаимосвязи между их входами и выходами. Дополнительный вызов исследование большого количества новых источников данных и участие в организации интеграционных взаимодействий в части доставки исходных данных до целевой платформы получателя информации, а также создания единого централизованного хранилища различных данных под нужды микросервисов внутри продукта (сервисы аналитики, исполнения моделей).

В задачи сотрудника входят:

- определение концептуальной и microservices solution архитектуры для обеспечения согласованной работы аналитических (в т.ч. Ai) сервисов продукта с учетом требований к технологическому стеку внутри банка;

- подготовка решений на основе моделей и реализация Mlops-функции для деплоя моделей в промышленное окружение с учетом функциональных и нефункциональных требований;

- выстраивание единой схемы данных продукта с учетом основных требований к их доступности и согласованности для обеспечения исполнения моделей в режимах batch-processing и Nrt;

- обработка новых источников данных;

- разработка сервисов загрузки данных из новых источников;

- выстраивание промышленных интеграций между источниками и получателем информации, включающее Etl-процессы, проектирование staging area и внутренней логики Цхд от схем с сырьевыми данными до схем с конечными витринами с учетом требований отдельных функциональных подсервисов (в т.ч. Ai-моделей) продукта.

Обязанности

• сбор и спецификация функциональных и нефункциональных требований к промышленным решениям с использованием Ai-моделей
• оценка нагрузки и выбор систем хранения
• формирование технических требований для обеспечения масштабируемости, надежности и низкой задержки работы микросервисов
• разработка и актуализация микросервисной архитектуры с учетом одобренного тех. стека
• определение архитектурного data-ландшафта всего продукта
• реализация скриптов предобработки и загрузки данных в Бд (Python, стандартные библиотеки для работы с данными)
• подготовка Python-скриптов к использованию в серверном окружении в рамках микросервисной архитектуры
• реализация логики обработки данных в Бд Postgres (Pl/pgSql) и Greenplum
• организация интеграций с Централизованным Хд (Greenplum) в рамках Etl-пайплайнов

Требования

• контейнеризация: Docker, OpenShift, K8s
• инструменты DevOps (Mlops): Bitbucket, Nexus, Jenkins
• брокеры сообщений: Kafka, RabbitMq
• Ml System Design (от этапа scope refinement до модульного дизайна с выделением подсистем хранения и аналитики)
• сбор и спецификация требований к произвольному элементу data-ландшафта:
• pipeline, Db, Dwh (dim/lkp/fact/table, Dds/Ods, data mart)
• Oltp vs Olap
• продвинутый уровень Sql (Ddl, Dml, Dcl, Tcl + диалекты T-Sql, Pl/Sql, Pl/pgSql)
• Smp Субд: Ms Sql Server, MySql, Oracle, PostgreSql и др.
• Mpp Субд: Teradata, Greenplum и др.
• опыт обработки больших объемов данных и распараллеливания вычислений
• Er-моделирование: инфологическая, даталогическая модели
• нормализация Бд (3 Нф)
• знание Etl/Elt + Etl-инструменты: Apache NiFi/Airflow, Ab Initio, Informatica и др.
• знание Яп Python: функциональный подход, Ооп, библиотеки для анализа данных, Web-фреймворки (Flask, Django и др.)
• ключевые архитектурные парадигмы построения детального слоя хранилищ данных (Dds Dwh), а именно
• Star/Snowflake Schema, Data Vault 1.0/2.0, Anchor Modelling
• логирование основных событий в Бд, в том числе для выстраивания мониторинга и обеспечения контроля качества данных, а также управления модельным риском
• понимание фундаментальных различий основных видов NoSql-решений: key-value, column-oriented, document-oriented, graph
• опыт работы с NoSql-решениями: MongoDb, Elasticsearch, Firebase, Redis, Cassandra, Vertica, ClickHouse, Neo4j и др.
• файловые системы и объектные хранилища: Hdfs, S3

Условия

• возможность работать в офисе или, по результатам прохождения испытательного срока в рамках смешанного графика
• свободное взаимодействие в команде, отсутствие излишнего формализма. Наша цель
• выполнение задачи с учетом заданных требований, а не соответствие формальной картинке
• команда молодых профессионалов, готовых поддержать твои инициативы и поделиться опытом
• конференции и обучение на корпоративных курсах за наш счёт
• отличная Дмс, включая несчастные случаи и тяжелые заболевания
• возможность сменить команду или проект при желании
• программы лояльности для сотрудников: скидки на продукты банка и компаний-партнеров, льготные условия кредитования
• материальная помощь и социальная поддержка
• корпоративная пенсионная программа

Требуется data инженер (ису)

Web-разработчик, web-программист, программист python, разработчик, web-developer, программист, developer python, developer