Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для поддержки Special Operations Command - Africa (SOCAF) в Штутгарте. Занимается управлением данными и модернизацией данных, интеграцией сложных данных командования.

Задачи

• Разработка, поддержка и тестирование инфраструктуры для генерации данных с преобразованием данных из различных структурированных и неструктурированных источников.
• Разработка сложных запросов для обеспечения доступности и оптимизации производительности NoSQL и/или big data инфраструктуры; создание и поддержка оптимальной архитектуры data pipeline.
• Построение и поддержка инфраструктуры для ETL данных из множества источников; извлечение данных из реляционных SQL и NoSQL баз данных и API платформ для приёма и интеграции данных.
• Настройка и управление фреймворками и пайплайнами аналитики данных с использованием NoSQL, SQL, HDInsight, MongoDB, Cassandra, Neo4j, GraphDB, OrientDB, Spark, Hadoop, Kafka, Hive и Pig.
• Применение концепций распределённых систем: согласованность и доступность, liveness и safety, долговечность, надёжность, отказоустойчивость, алгоритмы консенсуса.
• Администрирование облачных вычислений и CI/CD пайплайнов, включая Azure, Google и AWS.
• Координация со стейкхолдерами, включая продуктовые, data и дизайн-команды, для решения технических вопросов, связанных с данными, и поддержки их инфраструктурных потребностей.

Требования

• Минимум 3 года опыта.
• Степень бакалавра в STEM-области, предпочтительно Computer Science и Software Engineering.
• Подтверждённый опыт работы со структурами данных, управлением базами данных, распределёнными вычислениями и архитектурами на основе API с использованием SQL и NoSQL.
• Владение фреймворками моделирования, такими как UML, Agile Development и Git Operations.
• Требуется допуск Secret для начала работы.

Условия

• Диапазон зарплат: $90,000 - $217,000.
• Бонусы по результатам работы.
• Расширенное медицинское, стоматологическое и офтальмологическое страхование.
• План 401(k) с участием компании.
• Значительный оплачиваемый отпуск и праздничные дни.
• Гибкие условия работы, где это возможно.
• Программы защиты доходов.

Навыки

• SQL
• NoSQL
• HDInsight
• MongoDB
• Cassandra
• Neo4j
• GraphDB
• OrientDB
• Spark
• Hadoop
• Kafka
• Hive
• Pig
• Azure
• Google Cloud
• AWS
• CI/CD
• ETL
• API
• UML
• Agile
• Git
• Machine Learning