Software Engineer 3 - Linux/Bash/Python/Apache Airflow/SQL/Jupyter Notebook/NumPy/JSON

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в Captivation для проектирования и оптимизации путей приёма и передачи данных, обеспечивающих эффективную и надёжную обработку аналитических нагрузок на базе Apache Spark.

Задачи

• Проектировать, реализовывать и оптимизировать пути приёма/передачи данных (data ingress/egress)
• Обеспечивать эффективную, масштабируемую и надёжную обработку аналитических нагрузок
• Оркестрировать, планировать и мониторить сложные workflow с помощью Apache Airflow
• Работать с распределённой обработкой больших данных на Apache Spark
• Выполнять data wrangling и предобработку данных
• Писать Bash-скрипты для автоматизации ручных процессов

Требования

• Гражданство США и действующий допуск Top Secret/SCI с благоприятным полиграфом
• Степень магистра в Computer Science или смежной области + 5 лет опыта SWE, либо степень бакалавра + 7 лет опыта, либо 9 лет опыта SWE
• Опыт работы с Linux CLI и инструментами Linux
• Опыт разработки Bash-скриптов для автоматизации
• Недавний опыт разработки на Python и Java
• Опыт работы с Apache Airflow (DAG, планирование, операторы, сенсоры)
• Опыт работы с распределёнными движками обработки Big Data, включая Apache Spark
• Знакомство с SQL-технологиями: MySQL, MariaDB, PostgreSQL
• Опыт работы с Jupyter Notebook
• Опыт data wrangling и предобработки с pandas, NumPy
• Опыт работы со структурированными, полуструктурированными и неструктурированными данными: Parquet, JSON, CSV, XML
• Понимание концепций качества данных, валидации и обнаружения аномалий
• Опыт работы с Git

Условия

• Зарплата $130,000 - $270,000 в год в зависимости от опыта
• До 20% взносов в 401k без требования matching, vested с первого дня
• Ставки выше рынка
• Взнос $3,600 в HSA
• 6 недель оплачиваемого отпуска
• Оплачиваемая компанией медицинская, стоматологическая и офтальмологическая страховка, страхование жизни, краткосрочная и долгосрочная нетрудоспособность, AD&D
• Только прямой найм, без кадровых агентств

Навыки

• Linux
• Bash
• Python
• Java
• Apache Airflow
• Apache Spark
• SQL
• MySQL
• MariaDB
• PostgreSQL
• Jupyter Notebook
• pandas
• NumPy
• Parquet
• JSON
• CSV
• XML
• Git
• Slurm
• Jira
• Confluence