Software Developer in Test (Python) – Senior
SOFTSWISS ищет Software Developer in Test к себе в команду. Мы ищем QA-специалиста, ориентированного на автоматизацию, с сильными навыками Python, который поможет создавать надежную автоматизацию тестирования, улучшать качество продукта и участвовать в оценке качества систем на основе AI и LLM.
Что вы будете делать
- Анализировать требования и определять подход к тестированию новых функций и изменений продукта
- Автоматизировать тест-кейсы с использованием существующего фреймворка на основе Python и PyTest
- Создавать конвейеры автоматизированной оценки качества для AI-систем с использованием метрик и подходов LLM-as-judge
- Тестировать MCP-серверы, схемы инструментов и поведение вызова инструментов, включая граничные случаи и недопустимые аргументы
- Оценивать агентные рабочие процессы, включая выбор инструментов, многошаговое рассуждение, обработку ошибок, восстановление после циклов и корректность состояния
- Поддерживать и улучшать фреймворк автоматизации тестирования и вносить вклад во внутренние инструменты тестирования, включая моки
- Готовить и поддерживать документацию по тестированию, включая чек-листы, тест-кейсы и отчеты о качестве
- Участвовать в проектировании тестов, оценках, тестировании релизов и оценке качества продукта
- Вносить вклад в CI/CD и улучшения QA-процессов
- Проектировать и поддерживать наборы для оценки и эталонные наборы данных для RAG и агентных потоков
- Проводить нагрузочное тестирование AI-систем, включая инъекции промптов, обходы ограничений (jailbreaks), неправильное использование инструментов и риски утечки данных
- Настраивать регрессионные проверки изменений в промптах, моделях, настройках извлечения и стратегиях сегментации (chunking)
- Отслеживать качество AI-систем вместе со стоимостью, задержкой и использованием токенов
- Использовать инструменты трассировки и наблюдаемости для отладки, измерения и улучшения поведения LLM-приложений
Требуемый опыт
- 5+ лет опыта в Quality Assurance, включая как ручное, так и автоматизированное тестирование
- Глубокое понимание принципов QA, проектирования тестов, покрытия тестами, пирамиды тестирования и SDLC
- Опыт работы с фреймворками автоматизации тестирования на основе Python, такими как PyTest, Behave или аналогичными
