Data and Software Engineer (TS/SCI w/ Poly)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных и ПО в agile-команду для построения высоконагруженных mission-critical потоков данных корпоративного приложения. Проектирование end-to-end архитектур данных, ETL/ELT пайплайнов и cloud-native инфраструктуры на AWS.

Задачи

• Проектировать, строить и поддерживать production-пайплайны данных и ETL/ELT-процессы на Python, Apache Spark и Apache Airflow
• Разворачивать и оптимизировать open table formats (Apache Iceberg) и федеративные query-движки (Trino) для аналитических запросов и обработки больших данных
• Проектировать реляционные схемы, поддерживать индексы и оптимизировать запросы в MySQL и PostgreSQL
• Обрабатывать геопространственные и нестандартные форматы данных с использованием PostGIS и Uber H3
• Контейнеризовать микросервисы и batch-задачи в Docker/Podman, управлять ресурсами AWS (S3, Lambda, Step Functions) через Terraform или CloudFormation
• Внедрять каталогизацию и сквозное отслеживание lineage с помощью Unity Catalog OSS, Apache Polaris и OpenLineage
• Совместно с data science интегрировать AI/ML-сервисы и выводить модели инференса в data-пайплайны
• Вести техническую стратегию крупных миграций данных, эволюции схем и модернизации платформы с минимальным простоем
• Переводить нечёткие операционные требования в технические спецификации, писать документацию, задавать стандарты тестирования и менторить команду

Требования

• Гражданство США
• Действующий допуск TS/SCI с полиграфом
• Степень бакалавра в Computer Science, Information Systems или смежной технической области (или эквивалентный опыт)
• 5+ лет опыта в data engineering, software engineering или распределённых backend-системах
• Продвинутый Python, включая Pandas и NumPy
• Уверенный Bash для автоматизации и утилитных пайплайнов
• Знакомство с Java для отладки и расширения распределённых систем
• Глубокий production-опыт настройки и тюнинга Apache Spark / PySpark
• Опыт с Apache Iceberg и Trino
• Экспертиза в AWS: S3, Lambda, Step Functions
• IaC на Terraform или AWS CloudFormation
• Контейнеризация Docker или Podman
• Продвинутый SQL, проектирование схем и тюнинг производительности в MySQL и PostgreSQL
• Опыт с NoSQL (например, Amazon DynamoDB)
• Работа с геопространственными данными: PostGIS и H3
• Опыт внедрения каталогов и governance-инструментов (Unity Catalog OSS, Apache Polaris)
• Опыт observability/lineage через OpenLineage
• Настройка BI-дашбордов в Apache Superset
• Git и CI/CD-пайплайны
• Понимание безопасности данных, RBAC и регуляторных требований
• Опыт поставки платформ в федеральном, оборонном или сильно регулируемом секторе

Условия

• 100% работа в офисе
• Рассматривается релокационная поддержка для кандидатов вне зоны комuting
• Конкурентная компенсация и бенефиты
• Equal employment opportunity

Навыки

• Python
• Pandas
• NumPy
• Bash
• Java
• Apache Spark
• PySpark
• Apache Airflow
• Apache Iceberg
• Trino
• MySQL
• PostgreSQL
• Amazon DynamoDB
• PostGIS
• Uber H3
• AWS
• Amazon S3
• AWS Lambda
• AWS Step Functions
• Terraform
• AWS CloudFormation
• Docker
• Podman
• Unity Catalog OSS
• Apache Polaris
• OpenLineage
• Apache Superset
• Git
• CI/CD
• SQL
• RBAC