Data Engineer

Инженер данных

TradingView — это платформа №1 в мире для всего, что связано с инвестициями. Более 100 миллионов пользователей доверяют нам, чтобы принимать обоснованные торговые решения. Хотите внести свой вклад? Подайте заявку сейчас — помогите формировать будущее финансов.

Что предстоит делать

• Поддерживать и разрабатывать DAG-файлы Airflow
• Оптимизировать и разрабатывать SQL-запросы для витрин данных (data marts)
• Поддерживать и развивать инфраструктуру платформы данных
• Разрабатывать модели dbt и мигрировать существующие витрины данных на dbt
• Проектировать, разрабатывать и тестировать ETL/ELT процессы
• Проводить пилотные проекты (proof-of-concept), представлять результаты и выводить их в продакшн
• Участвовать в принятии архитектурных решений для платформы данных
• Документировать технические аспекты реализованных решений

Что делает вас идеальным кандидатом

• 4–5 лет опыта работы инженером данных
• Глубокое знание Python, включая написание DAG-файлов Airflow
• Отличные навыки SQL, включая оптимизацию запросов, чтение планов выполнения запросов и повышение производительности запросов
• Опыт работы с AWS
• Практический опыт работы с Apache Airflow и принципами проектирования конвейеров данных (pipelines)
• Опыт работы с dbt
• Понимание MPP (Massive Parallel Processing) баз данных и практический опыт работы с такими системами, как Redshift, Greenplum или Vertica
• Уверенный пользователь Linux
• Способность четко формулировать технические спецификации и отстаивать технические решения
• Умение выбирать подходящие технологии для конкретных задач

Желательно иметь

• Опыт работы с архитектурой Lakehouse с использованием Parquet, AWS Athena и других технологий AWS
• Опыт работы с системами мониторинга (Prometheus + Grafana, Zabbix)
• Опыт работы с Postgres, ClickHouse
• Опыт работы с Apache NiFi
• Опыт создания и поддержки Docker-контейнеров

Что мы предлагаем

• Гибкий график работы и гибридный формат работы
• Хорошо оборудованные офисы для сфокусированной и совместной работы