Software Developer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Разработчик в команду, поддерживающую и развивающую платформу обработки больших данных для государственного заказчика. Основной фокус — проектирование и оптимизация ETL/ELT-пайплайнов, интеграция данных из множества источников и обеспечение их качества.

Задачи

• Проектировать, разрабатывать и оптимизировать ETL-пайплайны и потоки данных
• Интегрировать данные из внутренних и внешних систем
• Обеспечивать качество, надёжность и согласованность данных в пайплайнах
• Диагностировать и устранять проблемы производительности и целостности данных
• Взаимодействовать с командами разработки, аналитики и бизнеса для поддержки потребностей в данных
• Документировать архитектуру пайплайнов, процессы и операционные процедуры
• Создавать ресурсы на базе AWS, писать, тестировать и отлаживать код приложений
• Администрировать сервисы баз данных, выполнять очистку, форматирование и управление данными

Требования

• Опыт разработки ETL/ELT, интеграции данных и оркестрации пайплайнов (обычно от 5 лет)
• Опыт проектирования, построения и поддержки масштабируемых пайплайнов данных
• Понимание процессов трансформации, очистки, валидации и миграции данных
• Опыт работы с большими и сложными наборами данных из множества источников
• Активный допуск TS/SCI с полиграфом
• Bachelor's и не менее 12 лет релевантного опыта, либо Master's и не менее 10 лет, либо 16+ лет опыта вместо степени
• Глубокое знание ETL-инструментов, фреймворков и лучших практик
• Владение TypeScript, Node.js и Python для backend и разработки пайплайнов данных
• Опыт разработки и поддержки API-интеграций, batch-задач и автоматизированных workflow
• Хорошее знание SQL и реляционных баз данных
• Знакомство с моделированием данных, проектированием схем и оптимизацией производительности
• Опыт работы с облачными или on-prem средами данных

Условия

• Диапазон оплаты $131,300.00 - $237,350.00
• Работа в agile-команде
• Вакансия открыта не менее 3 дней с даты публикации

Навыки

• ETL
• ELT
• Data Integration
• Pipeline Orchestration
• AWS
• TypeScript
• Node.js
• Python
• SQL
• Relational Databases
• Data Modeling
• Schema Design
• Performance Optimization
• API Integrations
• Batch Jobs
• Elasticsearch
• Apache NiFi
• NoSQL
• Message Queues
• Distributed Systems
• Data Warehousing