Data Governance Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер по управлению данными в команде Apple Ads Data Governance. Занимается приватность-ориентированными решениями, контролем доступа и качества данных в пайплайнах петабайтного масштаба.

Задачи

• Проектировать автономных агентов управления для пайплайнов данных петабайтного масштаба (Kafka, Spark, Hadoop) с обеспечением соответствия требованиям и качества на всех этапах обработки
• Создавать интеграции MCP для автоматического применения политик, обнаружения PII и валидации качества данных в различных средах хранения и вычислений
• Совместно с инженерами и продакт-менеджерами разрабатывать интеллектуальный мониторинг, выявляющий аномалии, формирующий отчёты о соответствии и автоматически устраняющий проблемы
• Создавать переиспользуемые шаблоны и воркфлоу агентов, адаптирующиеся к меняющимся регуляторным требованиям при сохранении производительности и снижении ручного контроля
• Развивать распределённую экосистему агентов с акцентом на надёжность: самовосстановление, автоматические фейловеры и динамическое распределение ресурсов
• Использовать AI-агентов для кодинга для ускорения реализации, покрытия тестами и отладки с проверкой корректности, приватности и стоимости

Требования

• B.S. в области Computer Science или смежной с 5+ годами опыта разработки ПО, включая работу с ML/AI-приложениями
• Продакшн-опыт на Python, Java, Rust или аналогичных языках, знакомство с обработкой данных и разработкой API
• Понимание распределённых систем и облачных платформ, включая компромиссы CAP-теоремы и базовое развёртывание ML-моделей
• Опыт с контейнеризацией (Docker), оркестрацией (Kubernetes) и infrastructure as code (Terraform, CloudFormation)
• Владение CI/CD-пайплайнами и DevOps-практиками с Git, GitHub Actions/Jenkins/GitLab CI, опыт автоматизированного тестирования и деплоя
• Знакомство с инструментами observability и мониторинга (Prometheus, Grafana, DataDog) и фреймворками логирования для продакшн-систем
• Базовые знания концепций машинного обучения и MLOps: пайплайны данных, версионирование моделей, инструменты трекинга экспериментов

Навыки

• Python
• Java
• Rust
• Docker
• Kubernetes
• Terraform
• CloudFormation
• Git
• GitHub Actions
• Jenkins
• GitLab CI
• Prometheus
• Grafana
• DataDog
• Kafka
• Spark
• Hadoop
• HDFS
• Flink
• Hive
• Iceberg Rest Catalog
• Datahub
• LangChain
• LangGraph
• AutoGen
• REST
• GraphQL
• RabbitMQ
• Snowflake
• Databricks
• MLflow
• Weights & Biases
• MCP
• MLOps