Ведущий инженер (BigData)

Задачи:

Основные:

• Администрирование и техническое сопровождение платформы обработки больших данных: Apache Airflow, Apache Flink, ClickHouse, Redis, GridGain, Apache Ignite, Tarantool, SyslogNg, WinlogBeat, стек Elk (Elasticsearch, Logstash, Kibana), Cloudera (Hadoop, Kafka, Spark);
• Автоматизация процессов на платформе обработки больших данных;
• Работа с данными и выполнение функций Data Engineer. Организация сбора данных из различных источников. Управление источниками. Подготовка данных для DataScience (очистка и парсинг данных);
• Интеграция с внешними системами.

Возможность развития в области аналитики данных:

• Выявление закономерностей и аномалий в массивах данных. Реализация задач по выявлению инцидентов кибербезопасности (в том числе выявление неизвестных угроз) с применением методов машинного обучения и анализа данных;
• Разработка, обогащение и работа с профилями поведения пользователей/объектов;
• Исследовательский анализ данных;
• Визуализация данных.
  

Требования:

• Высшее техническое образование;
• Знание Linux - на уровне администратора;
• Опыт работы с различными инструментами стека Big Data: Apache Airflow, Apache Flink, ClickHouse, Redis, GridGain, Apache Ignite, Tarantool, SyslogNg, WinlogBeat, стек Elk (Elasticsearch, Logstash, Kibana), Cloudera (Hadoop, Kafka, Spark);
• Умение разбираться в логах различных систем и обрабатывать их;
• Понимание и умение работать с регулярными выражениями;
• Знания в сфере информационной безопасности;
• Как плюс: опыт разработки на языках Java, Python;
• Английский на уровне чтения технической документации и возможности прохождения обучения/ сдачи сертификационных экзаменов.

Условия:

• Работа в команде специалистов, занимающихся сопровождением систем кибербезопасности;
• Профессиональное обучение;
• Дмс, программы лояльности для сотрудников;
• Офис расположен в шаговой доступности от станции метро Римская или Площадь Ильича.