LawZero

Senior ML Data Processing Developer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер по обработке данных для пайплайна обучения Scientist AI: превращение сырых веб-данных в качественные датасеты. Работа на стыке data engineering, курирования данных и ML.

Задачи

  • Совместно с исследовательской командой определять, строить, автоматизировать и масштабировать пайплайны обработки данных для обучающих датасетов Scientist AI
  • Строить и поддерживать пайплайны обработки: дедупликация, модельная оценка качества, эвристическая фильтрация, удаление токсичности, очистка PII, извлечение метаданных, версионирование датасетов и отслеживание происхождения
  • Обеспечивать соответствие данных требованиям комплаенса, внутренним политикам Data Governance и юридическим обязательствам
  • Разрабатывать и улучшать инструменты скоринга и фильтрации: эвристики, LLM-as-a-judge, ML-классификаторы, модули извлечения метаданных, human-in-the-loop ревью
  • Оснащать пайплайны мониторингом качества данных, guardrails и алертингом для раннего выявления регрессий
  • Анализировать потребности исследователей в данных, находить и приобретать крупные текстовые корпуса, проводить анализ покрытия и работать с Legal & Governance по лицензированию источников
  • Проектировать и поддерживать механизмы обнаружения утечек для защиты от контаминации оценки
  • Строить внутренние инструменты и интерфейсы для исследования и запросов к датасетам

Требования

  • Степень в computer science, software engineering или смежной области
  • Опыт работы с массивными неструктурированными текстовыми датасетами (триллионы токенов), 5+ лет в обработке данных, ML engineering или NLP
  • Практический опыт с распределёнными фреймворками (Spark, Ray, Flink) и оптимизацией высоконагруженных пайплайнов
  • Опыт реализации приватности данных (PII scrubbing), фильтрации контента (токсичность, bias) и предотвращения контаминации оценки
  • Умение работать с командами Research, Engineering и Legal/Governance
  • Сильное владение Python, опыт написания production-grade кода обработки данных
  • Опыт с фреймворками оркестрации пайплайнов (Airflow, Prefect, Dagster)

Условия

  • Несколько открытых позиций в команде
  • Некоммерческая организация, работа над безопасным AI
  • Распределение обязанностей по опыту и интересам

Навыки

  • Python
  • Spark
  • Ray
  • Flink
  • Airflow
  • Prefect
  • Dagster
  • NLP
  • LLM-as-a-judge
  • PII scrubbing
  • vLLM
  • SGLang
  • Docker
  • Kubernetes
  • Weights and Biases

Похожие вакансии

Senior Data Scientist - Applied Scientist
Vestiaire CollectiveSeniorБерлинГибрид
17 нояб.
Staff Data Scientist – Offer Intelligence (m/f/d)
SixtLeadМюнхенГибрид
17 нояб.
AI RnD Engineer, XeSS and Neural Graphics (f/m/d)
IntelSeniorМюнхенГибрид
127,039 – 198,495 EUR в год
17 нояб.
Data Scientist (f/m/d)
omni:usMiddleБерлинУдалённо
12 нояб.
Solutions Engineer Machine Learning (all genders) - Hybrid, Berlin/Frankfurt
didaMiddleБерлинГибрид
17 нояб.
KI-Entwickler / AI Developer (m/w/d) - Generative AI, Python & Azure
BGV / Badische VersicherungenMiddleКарлсруэГибрид
17 нояб.
(Senior) Machine Learning Engineer
Anvajo GmbHSeniorДрезденГибрид
23 окт.
German Speaking Senior AI Engineer (Hybrid)
Eco Plus Solutions ABSeniorМюнхенГибрид
80,000 – 100,000 EUR в год
17 нояб.
Senior Software Engineer — Autonomous Driving
NVIDIASeniorУдалённо
112,200 – 194,480 EUR в год
17 нояб.
Senior ML Engineer
JobgetherSeniorУдалённо
16 нояб.