Veralto
Data Engineering Developer II
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Разработчик data engineering в Trojan Technologies: развитие и поддержка пайплайнов, бэкенд-сервисов и инфраструктуры приложения Stream и экосистемы AI/аналитики. Работа с Python, Snowflake, Airflow, API и облачными сервисами совместно с Data и AI инженерами.
Задачи
- Разрабатывать и поддерживать data-пайплайны на Snowflake, Airflow и смежных технологиях
- Поддерживать и улучшать бэкенд-сервисы приложения Stream, включая серверную бизнес-логику и API-эндпоинты
- Обеспечивать ingestion, хранение, обработку и оркестрацию данных в экосистеме Trojan
- Мониторить продакшн-пайплайны и устранять проблемы надёжности, безопасности, производительности и качества данных
- Разрабатывать проверки качества данных и мониторинг для проактивного выявления багов и сбоев пайплайнов
- Внедрять улучшения производительности пайплайнов и хранилищ
- Взаимодействовать с AI-инженерами, Data-инженерами, разработчиками, QA и бизнес-стейкхолдерами
- Документировать пайплайны, API, словари данных и инженерные процессы
- Участвовать в Agile/Scrum-поставке: оценка задач, спринты, устранение проблем, постоянные улучшения
Требования
- Степень бакалавра в Computer Science, Data Science, Engineering, Information Systems или смежной области
- 3+ года опыта проектирования, построения и управления end-to-end data-пайплайнами с нуля для SQL-баз данных
- Опыт разработки DAG в Apache Airflow или аналогичной платформе оркестрации, включая планирование, зависимости, мониторинг и troubleshooting
- Опыт построения data forwarders и процессов ingestion для streaming и batch нагрузок на Python
- Сильные практические навыки Python и SQL, умение разрабатывать, отлаживать и оптимизировать продакшн data-воркфлоу
- Инженерное мышление и интерес к построению надёжной, поддерживаемой и масштабируемой data-инфраструктуры
- Опыт работы в Agile/Scrum, включая управление обязательствами спринта
Условия
- Удалённая работа в пределах Онтарио, Канада
- Собеседование включает onsite-интервью
- Компенсация $80,000-$100,000 CAD в год
- Возможна бонусная выплата
- Оплачиваемый отпуск, медицинская/стоматологическая/офтальмологическая страховка для подходящих сотрудников
Навыки
- Python
- SQL
- Snowflake
- Airflow
- API
- облачные сервисы
- DAG
- streaming
- batch
- Agile
- Scrum