Data Science, Product ML Engineer (Personalization & Monetization)

Моделирование прироста и персонализированные предложения

• Ответственность за увеличение конверсии от предложений: скидки, кредитные ваучеры, пробные версии, предложения об обновлении тарифного плана, кампании по возврату.
• Моделирование прироста, а не склонности. Таргетирование пользователей, наиболее склонных к конверсии, тратит маржу на людей, которые и так бы сконвертировались; вся ценность этой работы заключается в поиске пользователей, чье решение изменяет предложение.
• Разработка случайных контрольных групп, которые делают моделирование прироста возможным и измеримым, и их постоянное поддержание.
• Соблюдение ограничений: модель предложений, оптимизирующая только конверсию, с радостью найдет аккаунты, которые конвертируются с отрицательной валовой маржой, и в первую очередь выявит мошеннические схемы. Маржа и сигналы мошенничества являются ограничениями цели, а не последующей доработкой.
• Работа с юридическим отделом над тем, что можно персонализировать. Персонализированное ценообразование и скидки затрагивают правила защиты прав потребителей и согласия на нескольких наших рынках — вы должны участвовать в этом обсуждении, а не избегать его.

Отток, удержание и жизненный цикл

• Создание моделей прогнозирования оттока и понижения тарифного плана для подписчиков, а также прогнозирования повторных покупок для покупателей пакетов кредитов.
• Понимание разницы между моделью, прогнозирующей отток, и моделью, снижающей его. Высокий AUC, полученный путем выявления пользователей, которые уже перестали использовать продукт, ничего не стоит.
• Постоянное отслеживание утечек — функции, связанные с отменой подписки, дадут вам красивую офлайн-метрику и бесполезную систему.
• Сопоставление каждой модели склонности с вмешательством и экспериментом. Результатом является удержанный пользователь, а не оценка.

Интеллект генерации (слой признаков)

• Преобразование того, что пользователи фактически создают, в признаки, которые могут использовать вышеуказанные модели: метки использования и намерения для промптов, входные и выходные активы, модель и параметры.
• Понимание контента здесь имеет решающее значение — таксономия существует для того, чтобы ранжирование знало, для чего предназначен пресет, и чтобы предложение знало, какой вариант использования не работает у пользователя. Мультимодальность, поскольку большая часть наших генераций почти не содержит текста промпта, а намерение содержится в загруженном изображении.
• Анализ неудачных, заброшенных и возвращенных генераций: они являются самым сильным сигналом оттока и неудовлетворенного спроса, который у нас есть, а обучающие данные, основанные только на успехах, имеют встроенное смещение выжившего.

Как мы работаем

• Полная ответственность за модели: определение проблемы, признаки, обучение, офлайн-оценка, обслуживание, мониторинг, переобучение.
• Внедрение моделей за экспериментами. Офлайн-метрики решают, что пробовать; онлайн-эксперименты решают, что остается.
• Мониторинг дрейфа и деградации — новые запуски моделей, изменения цен и сезонность — все это влияет на работу развернутой модели.
• Документирование ценности каждой модели в денежном выражении и поддержание этой цифры в актуальном состоянии.

Кого мы ищем

Опыт внедрения ML, который обслуживал реальный трафик пользователей и изменил бизнес-метрику. Ноутбуки и офлайн-бенчмарки — это не то.

• Глубокие знания как минимум в двух из следующих областей: рекомендательные системы / обучение ранжированию, моделирование прироста и причинно-следственные связи, моделирование оттока или склонности, персонализация в реальном времени.
• Истинная причинная грамотность: случайные контрольные группы, инкрементальность, оценка Qini/прироста, эффекты отбора, почему прирост, измеренный до и после, обычно не является приростом.
• Отличное знание Python и SQL; уверенное владение градиентным бустингом и нейронным ранжированием, а также скучными частями — пайплайнами признаков, смещением при обучении/обслуживании, бюджетными ограничениями по задержке, периодичностью переобучения.
• Продуктовое мышление: вы можете назвать решение и метрику до выбора модели, и вы знаете, когда ответом является правило, а не модель.
• Комфортное владение изображениями и видео как данными, или явное желание быстро освоить это.
• Прагматизм. Эвристика, внедренная в этом месяце и повышающая конверсию, лучше двухквартальной платформы. Затем вы заменяете эвристику.
• Свободное владение письменным и устным английским языком, уровень B2+.

Что мы предлагаем

• Конкурентоспособная базовая заработная плата в долларах США, основанная на вашем опыте, навыках и масштабе роли.
• Участие в акционерном капитале через программу опционов компании.
• Поддержка релокации в Алматы для кандидатов, переезжающих из другого города или страны.
• Высококомандная, быстро развивающаяся среда, где вы можете работать напрямую с опытными лидерами.
• Возможности для профессионального роста, получения ответственности и карьерного развития.
• Оборудование, питание, транспорт или другие офисные льготы, предоставляемые компанией.

Это полностью очная должность в нашем офисе в Алматы. Наша команда работает в офисе пять дней в неделю полный рабочий день.