Data Engineer (Software Developer 2)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в лабораторию Tolias Lab (Stanford Medicine) для построения и поддержки платформы данных, обслуживающей экспериментальные процессы Enigma. Работа с ETL/ELT-пайплайнами, схемами данных, наблюдаемостью и производительностью в тесном сотрудничестве с учёными и инженерами.

Задачи

• Проектировать, строить и эксплуатировать ETL/ELT и высоконагруженные пайплайны приёма данных, связывающие acquisition-софт, обработку, реестры метаданных, объектное хранилище и базы данных
• Отвечать за слой данных целиком: проектирование схем, индексация, оптимизация запросов, миграции, бэкапы и долговечные модели данных
• Повышать надёжность, масштабируемость, наблюдаемость и производительность стека данных, вести диагностику инцидентов
• Создавать инструменты, помогающие исследователям и AI-агентам находить датасеты, проверять состояние обработки и перезапускать упавшие задачи
• Доводить исследовательский код до продакшена: тестирование, упаковка, деплой, мониторинг, документация
• Работать совместно с командами сбора данных, инфраструктуры, научного анализа и AI-моделирования

Требования

• Уверенное владение Python и SQL
• Опыт с реляционными и NoSQL базами данных, а также объектным хранилищем (S3, MinIO, Ceph)
• Опыт проектирования, построения и эксплуатации production ETL/ELT пайплайнов
• Опыт проектирования долговечных моделей данных и схем для сложных эволюционирующих датасетов
• Опыт построения высоконагруженных систем приёма данных и оптимизации перемещения данных
• Опыт с Docker и оркестрацией контейнеров (Kubernetes)
• Сильные коммуникативные навыки и опыт работы в кросс-функциональных командах
• Опыт проектирования API или сервисных интерфейсов для нескольких команд
• Опыт научных вычислений и работы с крупномасштабными научными данными
• Опыт оркестрации workflow (Airflow, Dagster, Prefect или аналоги)
• Опыт построения пайплайнов для автономных агентных AI-систем
• Опыт с производительными компилируемыми языками (C, C++ или Rust)
• Знакомство с отслеживанием происхождения и lineage данных, каталогами метаданных, версионированием датасетов
• Степень бакалавра и пять лет релевантного опыта или эквивалентная комбинация образования и опыта

Условия

• Высоко коллаборативная среда на стыке нейронауки, инженерии и AI
• Возможность внести вклад в нейротехнологическую платформу нового поколения
• Конкурентная зарплата и бенефиты
• Сильное менторство и поддержка карьерного развития

Навыки

• Python
• SQL
• NoSQL
• S3
• MinIO
• Ceph
• ETL
• ELT
• Docker
• Kubernetes
• Airflow
• Dagster
• Prefect
• Ray
• C
• C++
• Rust
• API