Software Engineer, I - Data Engineering

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных в команду Data Engineering компании Torc Robotics, разрабатывающей ПО для автономных грузовиков. Задача — строить и поддерживать масштабируемые облачные пайплайны для сбора, хранения и подготовки данных под ML-обучение.

Задачи

• Создавать отказоустойчивые пайплайны для обработки больших объёмов данных от автопарков и симуляций
• Разрабатывать и поддерживать масштабируемые пайплайны Data Factory для ML-обучения
• Масштабировать data lake через распределённую систему хранения, краулинг и обнаружение данных
• Обеспечивать целостность данных: валидация, версионирование, происхождение и управление данными
• Расширять data lake за счёт внутренних и внешних источников данных
• Участвовать в разработке и поставке облачных решений
• Взаимодействовать с командами perception, planning, control, mapping и тестирования транспорта
• Внедрять новые облачные возможности для расширения технологического стека
• Участвовать в дежурствах on-call в рабочие часы

Требования

• Степень BS/MS в Computer Engineering, Computer Science или смежной области
• Опыт написания кода на Python
• Практический опыт с Docker и контейнеризацией
• Приверженность test-driven development, CI/CD и infrastructure as code
• Опыт работы с Linux и написания bash-скриптов
• Опыт развёртывания, диагностики, мониторинга и поддержки Linux-систем

Условия

• Конкурентная компенсация с бонусом и опционами
• 100% оплата медицинской, стоматологической и офтальмологической страховки
• План 401K с 6% вкладом работодателя
• Гибкий график и щедрый оплачиваемый отпуск
• Страхование жизни и AD+D
• Распределённая remote-first команда

Навыки

• Python
• AWS
• Lambda
• SFN
• Batch
• EventBridge
• Athena
• Glue
• Linux
• Bash
• Docker
• Terraform
• React
• JavaScript
• Datadog
• AWS CloudWatch
• Databricks
• pandas
• numpy
• ECS Fargate
• NoSQL
• Ray