Engelhart Commodities Trading Partners
Software Engineer, Data
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер в команду Data компании Engelhart на стыке backend-разработки и data engineering с акцентом на data engineering. Задача — строить пайплайны, backend-сервисы и инфраструктуру для надёжной обработки больших объёмов данных.
Задачи
- Строить и поддерживать надёжные data pipelines и процессы ингестии структурированных и неструктурированных данных из внутренних и внешних источников
- Разрабатывать и поддерживать backend-сервисы и API (например, FastAPI) для ингестии, обработки и распространения данных, включая асинхронную ингестию в масштабе
- Трансформировать и обрабатывать данные на Python и Pandas
- Разрабатывать переиспользуемые фреймворки и инструменты для упрощения подключения новых источников данных
- Работать с data lakes, аналитическими и реляционными БД, участвовать в их проектировании и оптимизации
- Каталогизировать и документировать данные
- Повышать надёжность, масштабируемость, наблюдаемость и экономичность data-инфраструктуры
- Интегрировать данные между системами, снижая дублирование и обеспечивая качество данных
- Участвовать в оркестрации workflow и автоматизации обработки данных
- Создавать внутренние библиотеки и сервисы для доступа других команд к данным
- Мониторить, диагностировать и устранять проблемы в production-системах и пайплайнах
- Участвовать в обсуждениях архитектуры и технических решений по data-платформе
- Создавать и поддерживать простые внутренние self-service инструменты, иногда с UI
- Использовать AI-ассистенты (например, GitHub Copilot) для ускорения разработки
- Искать возможности упрощения систем, автоматизации и снижения операционных издержек
Требования
- Образование в Computer Science, Software Engineering, Information Systems или эквивалентный практический опыт
- Около 2+ лет профессионального опыта в data engineering или backend-разработке с фокусом на data pipelines и data-intensive системах
- Опыт разработки приложений и сервисов на Python, включая обработку данных с Pandas или аналогичными библиотеками
- Опыт построения или работы с data pipelines (ETL/ELT) или системами обработки данных
- Уверенные знания SQL и опыт работы с реляционными БД (например, PostgreSQL, SQL Server)
- Опыт создания RESTful API и backend-сервисов
- Знакомство с контейнеризацией (например, Docker), Git и CI/CD
- Понимание основ software engineering: принципов проектирования, парадигм программирования, тестирования и поддерживаемости
- Опыт использования AI-ассистентов (например, GitHub Copilot) с критической оценкой результата
- Способность работать в быстро меняющейся среде и принимать прагматичные компромиссы
- Хорошие навыки решения проблем и аналитические способности
- Умение работать самостоятельно и в команде
- Ответственность и готовность учиться и брать больше ответственности
- Хорошие коммуникативные навыки и свободный английский
- Желательно: опыт в трейдинге или быстро меняющемся бизнесе (сырьё, финансовые услуги, возобновляемая энергетика)
Условия
- Конкурентная компенсация и участие в дискреционном бонусном плане Engelhart
- 28 дней ежегодного отпуска плюс праздники Берлина
- Взнос €3 000 в год в частную пенсионную схему
- Субсидия €20 в месяц на билеты BVG
- Субсидия €25 в месяц на членство ClassPass
- Субсидия на курсы немецкого языка
- Открытая международная культура и социальная рабочая среда
Навыки
- Python
- Pandas
- SQL
- PostgreSQL
- SQL Server
- REST API
- FastAPI
- Docker
- Git
- CI/CD
- ETL/ELT
- AWS
- S3
- Glue
- Athena
- SQS
- Lambda
- ECS
- CloudWatch
- ClickHouse
- Presto
- Parquet
- Airflow
- Kafka
- Infrastructure as Code
- JavaScript
- TypeScript
- React
- GitHub Copilot