Администратор платформы (Databricks)
Nitka Technologies разрабатывает ПО для заказчиков из США и Европы и объединяет около 300 профессионалов из Восточной Европы, Северной и Южной Америки, Армении, Грузии и Казахстана.
Мы ищем опытного Администратора платформы (Databricks) на долгосрочный проект. Заказчик — компания из Калифорнии, лидер отрасли по продаже билетов на мероприятия в Европе и США.
Предлагаем 100% удаленную работу на полный рабочий день.
Основные задачи:
- Управление несколькими рабочими областями Databricks (dev/qa/prod);
- Настройка политик кластеров, управления и соответствия требованиям;
- Создание и поддержка объектов Unity Catalog: каталогов, схем, грантов, сервисных принципалов, внешних хранилищ и т.д.;
- Мониторинг и отладка неудачных / долго выполняющихся заданий с использованием системных таблиц (job_run_timeline, node_timeline, workflow_run);
- Устранение сбоев кластеров, ошибок OOM драйвера, сбоев исполнителей, утечек памяти;
- Расследование ошибок Python / Spark, конфликтов зависимостей (PyPI, WHL, Maven)
- Помощь пользователям с настройкой кластеров/заданий, ошибками блокнотов, разрешениями Unity Catalog;
- Объяснение ограничений платформы и лучших практик инженерам данных;
- Поддержка страниц Confluence с правилами платформы и руководствами по устранению неполадок;
Требования:
- Опыт внедрения, интеграции или технической поддержки;
- Опыт работы с Linux, Bash;
- Уверенные навыки SQL;
- Большой опыт работы с инфраструктурой AWS (ec2, s3, iam, vpc, управление секретами, sqs);
- Опыт работы с Python достаточный для написания небольших скриптов или приложений;
- Опыт поддержки заданий и сред Databricks;
- Опыт работы с REST API/SDK;
- Понимание файловых баз данных (DeltaLake, Parquet, Hive);
- Понимание типов кластеров и семейств узлов;
- Устный английский на уровне Intermediate или выше;
Будет плюсом:
- Databricks REST API / Databricks SDK;
