Data Engineer (Software Developer 2)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в лабораторию Tolias Lab (Stanford Medicine) для построения и поддержки data-платформы, обслуживающей экспериментальные workflow Enigma. Работа с ETL/ELT-пайплайнами, дизайном схем, data lakehouse и наблюдаемостью в тесной связке с учёными и инженерами.

Задачи

• Проектировать, строить и эксплуатировать ETL/ELT и высоконагруженные ingestion-пайплайны между acquisition-софтом, обработкой, реестрами метаданных, объектным хранилищем и базами данных
• Отвечать за data-слой end-to-end: дизайн схем, индексирование, оптимизация запросов, миграции, бэкапы и долговечные модели данных
• Повышать надёжность, масштабируемость, наблюдаемость и производительность data-стека, вести troubleshooting и incident response
• Создавать инструменты для исследователей и внутренних AI-агентов: поиск датасетов, инспекция состояния обработки, диагностика и перезапуск упавших задач
• Доводить исследовательский код до продакшена: тестирование, упаковка, деплой, мониторинг, документация
• Работать в связке с командами data acquisition, инфраструктуры, научного анализа и AI-моделирования
• Документировать сборки систем и конфигурации приложений, поддерживать документацию в актуальном состоянии
• Менторить младших разработчиков и выступать техническим ресурсом по приложениям

Требования

• Уверенное владение Python и SQL
• Опыт с реляционными и NoSQL базами данных, а также объектным хранилищем (S3, MinIO, Ceph)
• Опыт проектирования, построения и эксплуатации production ETL/ELT-пайплайнов
• Опыт проектирования долговечных моделей данных и схем для сложных эволюционирующих датасетов
• Опыт построения высоконагруженных ingestion-систем и оптимизации перемещения данных
• Опыт с Docker и оркестрацией контейнеров (Kubernetes)
• Опыт проектирования API или сервисных интерфейсов для нескольких команд
• Опыт оркестрации workflow: Airflow, Dagster, Prefect или аналоги
• Сильные коммуникативные навыки и опыт работы в кросс-функциональных командах
• Bachelor's degree и 5 лет релевантного опыта либо эквивалентная комбинация образования и опыта
• Экспертиза в проектировании, разработке, тестировании и деплое приложений
• Навыки проектирования приложений и моделирования данных
• Желательно: опыт scientific computing и работы с крупномасштабными нейронаучными данными
• Желательно: опыт построения пайплайнов для автономных агентных AI-систем
• Желательно: опыт с производительными компилируемыми языками (C, C++, Rust)
• Желательно: знание data provenance и lineage, метаданных-каталогов, версионирования датасетов

Условия

• Высоко коллаборативная среда на стыке нейронауки, инженерии и AI
• Участие в создании нейротехнологической платформы нового поколения
• Конкурентная зарплата и бенефиты
• Сильный менторинг и поддержка карьерного развития
• Для отклика нужно приложить cover letter и отдельный документ с ответами на технические вопросы

Навыки

• Python
• SQL
• NoSQL
• S3
• MinIO
• Ceph
• ETL
• ELT
• Docker
• Kubernetes
• Airflow
• Dagster
• Prefect
• Ray
• C
• C++
• Rust
• API