Senior Data Engineer (f/m/d)

Старший инженер по данным (Senior Data Engineer) (ж/м/д)

Что вы будете делать

• Масштабировать Feature Store: Использовать Apache Flink для преобразования требований Data Science в высокопроизводительные потоки реального времени. Позвольте специалистам по Data Science добавлять новые признаки и реализуйте их самостоятельно при необходимости.
• Обеспечивать качество, наблюдаемость и целостность данных: Внедрять процессы валидации, мониторинга и управления данными для поддержания точности, согласованности и надежности всех наборов данных и признаков в Feature Store.
• Оптимизировать производительность конвейеров: Выявлять и устранять узкие места в сложных ETL-задачах, трансформируя длительные процессы в оптимизированные циклы быстрой итерации.
• Связывать команды Data Science и Backend: Выступать в качестве ключевого связующего звена между командами Data Science и Backend, обеспечивая бесшовную интеграцию и использование данных в масштабах всей организации.
• Исследовать новые источники данных: Сотрудничать с Data Scientists для создания пользовательской логики приема данных из неструктурированных или нетипичных источников, обрабатывая интенсивную предварительную обработку, необходимую для экспериментальных исследований.
• Развивать архитектуру данных: Поддерживать и оптимизировать наше Data Lake. Вы поможете нам принять решение о будущем нашего хранилища (например, переход к модели Data Lakehouse) и внедрить лучшие практики.
• Работать в международной среде: Присоединиться к международной англоговорящей команде, ориентированной на вывод нашей adtech-платформы на новый уровень.

Кто вы

• У вас более 5 лет опыта разработки программного обеспечения, работы с современным стеком инженерии данных.
• У вас есть подтвержденный опыт работы с Apache Flink для обработки потоков данных с сохранением состояния и вычисления признаков в реальном времени.
• У вас есть обширный опыт работы с системами потоковой передачи данных в реальном времени, такими как Kafka, Kinesis или Pub/Sub.
• У вас есть опыт работы с системами, обрабатывающими несколько ТБ данных в день и несколько тысяч событий в секунду.
• Вы знаете, как выявлять узкие места в конвейерах данных, и у вас есть опыт их оптимизации и масштабирования.