Software Engineer, II - Data Engineering

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных в команду Data Engineering компании Torc Robotics, разрабатывающей ПО для автономных грузовиков. Задача — строить и поддерживать масштабируемые облачные пайплайны приёма, обработки и хранения данных для аналитики, симуляции и обучения ML.

Задачи

• Создавать отказоустойчивые пайплайны для обработки больших ежедневных объёмов данных от автопарков и симуляционных сред
• Строить и поддерживать масштабируемые пайплайны в рамках Torc Data Factory для поставки данных в обучение ML
• Масштабировать data lake через распределённую систему хранения, краулинг и обнаружение данных
• Обеспечивать целостность данных через валидацию, версионирование, происхождение данных и governance
• Расширять data lake за счёт подключения дополнительных внутренних и внешних источников данных
• Участвовать в проектировании, архитектуре и поставке облачных решений
• Взаимодействовать с командами perception, planning, control, mapping и тестирования транспорта
• Внедрять новые облачные возможности для расширения технологического стека
• Участвовать в on-call дежурствах в рабочие часы

Требования

• Bachelor's Degree в Computer Science, Robotics, Electrical Engineering или смежной области и 4+ года опыта, либо Master's Degree и 0-3+ года опыта
• Опыт развёртывания, диагностики, мониторинга и поддержки Linux-систем
• Опыт создания и поддержки нагрузок в публичных облаках
• Знание различных архитектур баз данных: реляционные и NoSQL, векторные хранилища, data warehousing, кластерные распределённые хранилища
• Практический опыт работы с Linux и bash-скриптами
• Практический опыт с Docker и контейнеризацией
• Реализация workflow-паттернов с использованием DAG (Apache Airflow, AWS Step Functions)
• Приверженность test-driven development, CI/CD и infrastructure as code

Условия

• Конкурентный компенсационный пакет с бонусом и опционами
• 100% оплата медицинской, стоматологической и офтальмологической страховки для full-time сотрудников
• План 401K с 6% match от работодателя
• Гибкий график и щедрый оплачиваемый отпуск (доступен сразу после старта)
• Страхование AD+D и жизни
• Удалённый формат работы (remote first команда)

Навыки

• AWS
• Lambda
• Step Functions
• Batch
• EventBridge
• Athena
• Glue
• Linux
• Bash
• Docker
• Terraform
• Python
• React
• JavaScript
• Datadog
• AWS CloudWatch
• Jenkins
• GitHub Actions
• Apache Airflow
• Databricks
• Ray
• pandas
• numpy
• NoSQL
• CI/CD