Smarkets
Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Data Engineer в команду Data компании Smarkets. Разработка и поддержка ETL-пайплайнов, сервисов на Flask и data-инфраструктуры, работа с хранилищами Redshift и BigQuery, обучение и деплой ML-моделей.
Задачи
- Разрабатывать и поддерживать ETL-пайплайны, в том числе real-time
- Поддерживать data lake и хранилища Redshift и BigQuery в здоровом состоянии
- Разрабатывать и поддерживать сервисы на Flask и базы Postgres внутри команды Data
- Помогать командам с отчётностью, особенно с автоматизацией reporting-пайплайнов
- Проводить data exploration, обучать и деплоить ML-модели для сегментации пользователей, детекции аномалий и оценки бизнес-показателей
- Поддерживать и улучшать существующий recommender-сервис
Требования
- 3+ года опыта
- Понимание разработки ETL-пайплайнов на Python-фреймворках, например luigi или airflow
- Опыт разработки Python REST API / сервисов и их интеграции с базами данных (например, Postgres)
- Знание ключевых инструментов Python data science стека: Pandas, Numpy, scikit-learn
- Опыт обучения и деплоя ML-моделей
- Умение писать элегантный, хорошо покрытый тестами и поддерживаемый код
- Командный игрок, проактивный и дружелюбный
- Бакалавр по Computer Science, математике или смежной области либо релевантный опыт
Условия
- Stock Options с вестингом за 4 года
- Пенсионная схема через Aviva с матчингом до 6%
- Медицинская страховка
- Расширенный отпуск по уходу за ребёнком
- Завтраки и обеды от шефа, фрукты, снеки, чай и кофе
- Cycle-to-Work Scheme
- Бюджет £1,000 в год на обучение и развитие
- 25 дней оплачиваемого отпуска + банковские праздники, возможность переноса 5 дней
- Гибкий формат: 1 день из дома (20 дней в год) или 2 дня из дома (5 дней в год)
- Регулярные социальные мероприятия, хакатоны и события
Навыки
- Python
- ETL
- luigi
- airflow
- Flask
- FastAPI
- REST API
- Postgres
- Pandas
- Numpy
- scikit-learn
- ML
- Redshift
- BigQuery
- dbt
- Kafka
- Kubernetes
- Docker
- Jenkins
- AWS
- Prometheus
- Grafana
- Elastic Search
- Kibana
- Lightdash
- Linux