Senior/Staff AI Engineer, Quality & Evals (m/f/x)

Вы подойдёте на эту роль, если вы...

• Имеете сильный опыт работы с Python и/или бэкенд-инжинирингом.
• Имеете солидное понимание того, как оцениваются LLM и агентские системы — включая детерминированные проверки, проверенные данные, LLM-как-судья, проверку человеком и метрики качества — и можете рассуждать о том, когда каждый подход уместен.
• Разворачивали и эксплуатировали системы в облаке, в идеале на GCP.
• Имеете практический опыт создания сквозных систем оценки конвейеров поиска или ML и использования инструментов наблюдаемости или экспериментирования с LLM, таких как Braintrust, MLflow, Langfuse или Weights & Biases.
• Комфортно работаете с аналитическими базами данных, хранилищами данных, колоночными хранилищами и данными событий или трассировок большого объёма.
• Понимаете системный дизайн, надёжность, наблюдаемость, мониторинг, логирование, отладку и операционные компромиссы.
• Обладаете инженерным суждением уровня Senior: вы можете принимать архитектурные решения, обсуждать компромиссы и создавать системы, которые другие инженеры могут расширять.
• Комфортно работаете в условиях неопределённости, способны рассуждать от первых принципов и заинтересованы в создании инфраструктуры для ИИ-систем, которые активно используются в продакшне.

Желательно, но не обязательно:

• Проектирование конвейеров данных, рабочих процессов ETL/ELT, систем обработки событий или циклов обратной связи для продакшн-данных.
• Создание инфраструктуры вокруг продуктов на основе LLM или агентских систем, включая оптимизацию использования LLM, контекстных окон, логических токенов или выбора модели.
• Работа с продакшн-трассировками сложных распределённых систем.
• Создание внутренних платформ для инженеров, доменных экспертов или операционных команд.
• Использование систем оркестрации рабочих процессов, таких как Temporal или аналогичных.
• Знакомство с аудитом, финансами, комплаенсом или другими областями, требующими высокой точности.
• Опыт работы в стартапе на ранней стадии или в быстро развивающейся инженерной среде.

Никто не соответствует всем требованиям. Если вы занимались разработкой поисковых систем и любите управлять оценками и конвейерами, давайте поговорим.

Что мы предлагаем

• Высокое влияние и рост: формируйте стратегию в растущем AI-стартапе с первого дня.
• Культура, ориентированная на миссию: амбициозная команда, ценящая мышление на основе первых принципов и смелые идеи.
• Привлекательная компенсация: конкурентоспособная заработная плата плюс значительная доля в компании (equity).
• Лучшие инструменты для работы: щедрый бюджет на покупку инструментов для программирования, чтобы вы могли использовать лучшие инструменты для выполнения работы.
• Преимущества стартапа: гибкий отпуск, командные обеды, ретриты, центральный офис в Берлине.

Процесс собеседования

• Первый звонок — Знакомство с Cortea с Лизой
• Второй звонок — Техническое собеседование с Владом
• Третий звонок — Углублённое обсуждение нашей культуры с нашим сооснователем Филиппом
• Очный день (Берлин) — Встреча с командой и совместная работа над реальной проблемой