Data Engineer, App SW

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в команду Data Engineering and Machine Learning (Application Engineering) для локализации и развития технологии автономного вождения Wayve на немецком рынке. Задача — строить масштабируемые пайплайны данных для обучения и оценки ML-моделей.

Задачи

• Строить и улучшать масштабируемые пайплайны данных для разработки, оценки и production ML-процессов автономного вождения
• Загружать, трансформировать и курировать крупномасштабные реальные, синтетические и партнёрские датасеты в структурированные, надёжные и готовые для моделей форматы согласно стандартизированным таксономиям и системам координат
• Разрабатывать проверки качества данных, процессы валидации и мониторинг для сырых и обработанных данных
• Курировать и майнить реальные и синтетические данные для разнообразия сценариев, покрытия и развития фич
• Улучшать производительность, надёжность и удобство пайплайнов, снижать узкие места и ускорять итерации ML-разработки
• Тесно сотрудничать с ML-инженерами, командами Data Corpus, AI Platform и внешними партнёрами

Требования

• Опыт построения и эксплуатации масштабируемых пайплайнов данных или распределённых систем обработки данных в production
• Сильные навыки software engineering на Python, практики поддерживаемой, надёжной и хорошо протестированной разработки
• Владение SQL и PySpark, опыт с warehouse/OLAP-концепциями, оконными функциями и Spark
• Опыт с современными архитектурами пайплайнов данных, включая оркестрацию workflow и DAG-системы (Airflow, Flyte, Ray или аналоги)
• Понимание концепций данных робототехники и автоматизированного вождения: характеристики сенсоров, таймстемпы и синхронизация часов, преобразования координат, калибровка, ego-motion сигналы (GNSS/IMU, одометрия)
• Понимание workflow машинного обучения: генерация обучающих данных, оценочные датасеты, майнинг сценариев, итерации моделей
• Отличные коммуникативные и коллаборативные навыки для работы с междисциплинарными командами

Условия

• Зарплата ежегодно бенчмаркается по рынку
• Значимый equity
• Релокационная поддержка и визовая спонсорство где применимо
• Гибридный формат, core hours, работа в автомобильных мастерских и лабораториях
• Бюджеты на обучение и развитие, поддержка тренингов и конференций
• Комплексные бенефиты: медстрахование, стоматология, расширенные отпуска по материнству и отцовству, пенсионные программы, доступ к терапевтам, wellbeing-партнёрства, командные мероприятия

Навыки

• Python
• SQL
• PySpark
• Spark
• Airflow
• Flyte
• Ray
• GNSS
• IMU
• OLAP