CDK Global
Sr Software Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior-инженер данных в CDK Global для проектирования и поддержки масштабируемых ELT/ETL-пайплайнов на Python, Spark, Snowflake, Databricks и AWS. Роль с гибридным форматом в офисе Остина и менторством младших инженеров.
Задачи
- Проектировать, разрабатывать, разворачивать и поддерживать масштабируемые ELT/ETL-пайплайны на Python, Apache Spark, Snowflake, Databricks и сервисах AWS
- Строить и оптимизировать процессы обработки данных для корпоративной аналитики и data-продуктов
- Загружать, трансформировать и обрабатывать структурированные и полуструктурированные данные (JSON, Parquet, Avro, CSV)
- Разрабатывать решения интеграции данных из внутренних и внешних источников
- Использовать AI-ассистированные инструменты разработки для повышения продуктивности и качества кода
- Внедрять процессы качества данных, мониторинга, аудита и наблюдаемости пайплайнов
- Оптимизировать модели данных, хранение, вычисления и производительность запросов в Snowflake
- Взаимодействовать с Data Scientists, аналитиками, архитекторами, product owner и бизнес-заказчиками
- Разрабатывать и поддерживать CI/CD-пайплайны и автоматизацию инфраструктуры для data engineering
- Менторить младших инженеров и участвовать в развитии стандартов и практик data engineering
- Участвовать в архитектурных и код-ревью, а также в production support и on-call ротациях
Требования
- Степень бакалавра в computer science, инженерии или смежной области и минимум 4 года опыта; либо минимум 12 лет релевантного опыта без степени
- Сильный опыт с архитектурой, разработкой, тюнингом производительности и администрированием Snowflake
- Сильный опыт работы с Databricks для обработки данных и разработки пайплайнов
- Опыт работы с облачными сервисами AWS
- Опыт разработки пайплайнов для структурированных, полуструктурированных и неструктурированных данных
- Экспертиза в Spark DataFrames, Spark SQL и концепциях распределённых вычислений
- Сильные навыки разработки на SQL и оптимизации запросов
- Опыт работы с Git и практиками CI/CD
- Сильные навыки траблшутинга, тюнинга производительности и решения проблем
- Навыки коммуникации и умение работать как самостоятельно, так и в команде
- Владение Microsoft Office
- Право на работу в США без необходимости визовой поддержки
Условия
- Гибридный формат: часть дней в офисе CDK в Остине, TX, остальные — удалённо; требуется проживание в пределах транспортной доступности офиса
- Базовая компенсация $120,000 - $150,000
- Возможны годовой бонус по результатам работы и другие программы поощрения
- Медицинская, стоматологическая и офтальмологическая страховка
- Оплачиваемый отпуск (PTO)
- Программа 401K Matching
- Компенсация обучения (Tuition Reimbursement)
- Участие в on-call ротациях и поддержке production-систем
Навыки
- Python
- Apache Spark
- Spark DataFrames
- Spark SQL
- Snowflake
- Databricks
- AWS
- SQL
- Git
- CI/CD
- JSON
- Parquet
- Avro
- CSV
- ELT
- ETL
- AI-Assisted Development
- Microsoft Office