Capgemini
Data Engineer - National Security
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Data Engineer в Capgemini для проектов национальной безопасности Великобритании. Проектирование и эксплуатация защищённых облачных data-платформ, пайплайнов и инфраструктуры для AI/GenAI в изолированных средах.
Задачи
- Разрабатывать модульные компоненты для обработки, трансформации и предоставления данных для аналитики, операционных задач и AI-сценариев
- Проектировать и реализовывать паттерны ingestion и event-driven обработки для real-time и near-real-time потоков данных
- Определять data workflows как код: зависимости, планирование, обработка ошибок
- Паковать, деплоить и мониторить ML-, GenAI- и agentic-нагрузки, включая self-hosted/open-weight модели, RAG и vector search
- Контейнеризировать сервисы и деплоить в защищённые Kubernetes и облачные среды через CI/CD
- Реализовывать мониторинг, структурированное логирование, метрики и lineage для аудита и безопасности
- Провижинить инфраструктуру как код совместно с platform-командами
- Участвовать в развитии бизнеса: демо, технические deep-dive, переиспользуемые фреймворки и акселераторы
Требования
- Expert-level Python и сильные основы software engineering: ООП, автоматизированное тестирование, контроль версий
- Опыт вывода data pipelines и платформ в production
- Стек data engineering: streaming-фреймворки, распределённая обработка, реляционные и аналитические хранилища (Kafka, Spark, PostgreSQL)
- AWS: Glue, Lambda, Step Functions, Kinesis, EMR, Athena, Redshift, S3 data lakes; Bedrock и Knowledge Bases для AI
- Оркестрация: Airflow, Dagster или Prefect
- Data quality и lineage: Great Expectations или dbt
- MLOps и LLMOps: эксплуатация ML в production, понимание serving GenAI и agentic-систем, evaluation, guardrails, observability
- Docker и Kubernetes, hands-on CI/CD (GitLab CI, GitHub Actions или Argo)
- Мотивация работать над технологиями в интересах государства
- DV clearance (спонсируется Capgemini), только граждане Великобритании, обычно требуется 10 лет резидентства в UK
Условия
- Спонсируемая DV clearance
- Гибридный формат: офисы компании, площадки клиента и дом
- Гибкие условия работы, запрос гибкого графика доступен всем сотрудникам UK
- Обучение: 250 000 курсов, внешние сертификации AWS, Microsoft, Harvard Manage Mentor и другие
- Работа в основном on-site в защищённых локациях Лондона, также Манчестер или Глостер
- Частичная удалённая работа, где позволяет характер задач
Навыки
- Python
- Kafka
- Spark
- PostgreSQL
- AWS
- AWS Glue
- AWS Lambda
- Step Functions
- Kinesis
- EMR
- Athena
- Redshift
- S3
- Amazon Bedrock
- Airflow
- Dagster
- Prefect
- Great Expectations
- dbt
- Docker
- Kubernetes
- GitLab CI
- GitHub Actions
- Argo
- Terraform
- Ansible
- RAG
- vector databases
- LLM orchestration
- GenAI
- MLOps
- LLMOps