Software Developer & Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-разработчик и дата-инженер, второй инженер в команде нового data lakehouse The Pantry. Отвечает за реализацию и архитектуру платформы, объединяющей разрозненные данные о продуктах питания в единый достоверный источник.

Задачи

• Реализовывать lakehouse и участвовать в проектировании архитектуры данных и платформы вместе с командой данных
• Строить и стандартизировать пайплайны загрузки из разных источников: API, текстов из открытых источников и внешних баз данных
• Решать задачи идентичности и entity resolution: объединять множество записей о продукте из разных ритейлеров и за разные даты в одну достоверную запись, определять приоритет источника при расхождениях и сохранять исходные записи для трассировки
• Консолидировать существующие пайплайны обогащения данных о еде в единый пайплайн совместно с инженерной командой
• Строить надёжные коннекторы для передачи консолидированных данных в WISE Intel и потребительское приложение
• Поддерживать строгую дисциплину конфигурации: выносить значения в конфиги, обеспечивать ранние явные падения при отсутствии настроек
• Обеспечивать качество данных и отчётность для готовности Data Assembly
• Писать короткие датированные записи о решениях до реализации кода

Требования

• 3+ года опыта в аналогичной роли
• Свободное владение Python и SQL
• Подтверждённый опыт проектирования и запуска lakehouse или хранилища данных с нуля и эксплуатации его в продакшене не менее года
• Опыт работы с идентичностью данных и entity resolution как архитектурными задачами первого класса
• Опыт эксплуатации batch-пайплайнов, вызывающих платные облачные и сторонние API в больших объёмах, с жёстким контролем затрат и бюджетов
• Опыт ежедневной совместной работы с другими инженерами в быстром темпе
• Комфорт с неопределённостью и высоким темпом

Условия

• Полностью удалённая работа
• Конкурентная базовая зарплата, бонус и значимая доля в компании (детали на этапе найма)
• Неограниченный оплачиваемый отпуск и 10 оплачиваемых праздничных дней
• 401(k) с 4% match от компании и немедленным вестингом
• Медицинская, стоматологическая, офтальмологическая страховка, страхование жизни и дополнительные покрытия
• 100% покрытие для сотрудников и 80% для иждивенцев
• 100% оплата работодателем STD, LTD, защиты от кражи личности и страхования жизни
• Доступны FSA и HSA: взносы $200/мес для индивидуального плана и $400/мес для плана с иждивенцами

Навыки

• Python
• SQL
• DuckDB
• DuckLake
• S3 Parquet
• Postgres
• DynamoDB
• Prefect
• Kubernetes
• Fargate
• dbt
• Dagster
• Airflow
• AWS
• S3
• ECS
• Lambda
• EventBridge
• SNS
• Terraform
• IAM
• Lakehouse
• Quarto
• Medallion architecture
• Star schema
• GitHub Actions
• CI/CD