LawZero
Senior ML Data Processing Developer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер по обработке данных для пайплайна обучения Scientist AI: превращение сырых веб-данных в качественные датасеты. Работа на стыке data engineering, курирования данных и ML.
Задачи
- Совместно с исследовательской командой определять, строить, автоматизировать и масштабировать пайплайны обработки данных для обучающих датасетов Scientist AI
- Строить и поддерживать пайплайны обработки: дедупликация, модельная оценка качества, эвристическая фильтрация, удаление токсичности, очистка PII, извлечение метаданных, версионирование датасетов и отслеживание происхождения
- Обеспечивать соответствие данных требованиям комплаенса, внутренним политикам Data Governance и юридическим обязательствам
- Разрабатывать и улучшать инструменты скоринга и фильтрации: эвристики, LLM-as-a-judge, ML-классификаторы, модули извлечения метаданных, human-in-the-loop ревью
- Оснащать пайплайны мониторингом качества данных, guardrails и алертингом для раннего выявления регрессий
- Анализировать потребности исследователей в данных, находить и приобретать крупные текстовые корпуса, проводить анализ покрытия и работать с Legal & Governance по лицензированию источников
- Проектировать и поддерживать механизмы обнаружения утечек для защиты от контаминации оценки
- Строить внутренние инструменты и интерфейсы для исследования и запросов к датасетам
Требования
- Степень в computer science, software engineering или смежной области
- Опыт работы с массивными неструктурированными текстовыми датасетами (триллионы токенов), 5+ лет в обработке данных, ML engineering или NLP
- Практический опыт с распределёнными фреймворками (Spark, Ray, Flink) и оптимизацией высоконагруженных пайплайнов
- Опыт реализации приватности данных (PII scrubbing), фильтрации контента (токсичность, bias) и предотвращения контаминации оценки
- Умение работать с командами Research, Engineering и Legal/Governance
- Сильное владение Python, опыт написания production-grade кода обработки данных
- Опыт с фреймворками оркестрации пайплайнов (Airflow, Prefect, Dagster)
Условия
- Несколько открытых позиций в команде
- Некоммерческая организация, работа над безопасным AI
- Распределение обязанностей по опыту и интересам
Навыки
- Python
- Spark
- Ray
- Flink
- Airflow
- Prefect
- Dagster
- NLP
- LLM-as-a-judge
- PII scrubbing
- vLLM
- SGLang
- Docker
- Kubernetes
- Weights and Biases