Staff Software Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-эксперт по крупномасштабной инженерии данных и ETL-архитектуре в CDK Global. Отвечает за миграцию корпоративных ETL-систем из on-prem SQL Server/SSIS в Azure Data Factory и AWS, проектирование моделей данных и техническое руководство командой.

Задачи

• Применять экспертизу в области крупномасштабной инженерии данных, архитектуры ETL, проектирования баз данных и облачной миграции на платформах Azure и AWS
• Проектировать и внедрять корпоративные ETL- и системы обработки данных с использованием Azure Data Factory, SSIS, AWS Glue и облачных хранилищ (Azure Data Lake, AWS S3)
• Проектировать и поддерживать модели данных, фреймворки загрузки и логику трансформации для CRM-процессов и корпоративных сервисов данных
• Руководить созданием новых ETL-сред для готовности к облаку, включая миграцию с on-prem SQL Server и SSIS на Azure Data Factory
• Руководить кросс-функциональными инженерными работами с участием команд платформы данных, облачной инженерии, CRM, безопасности и инфраструктуры
• Руководить командой ETL-инженеров при миграции всего on-prem ETL-окружения в Azure Data Factory: техническое планирование, управление зависимостями, конвертация пайплайнов и QA-валидация
• Координировать поставку ключевых CRM-систем обработки: загрузка данных дилеров (DMSSOR), обработка справочных данных, базы доступа клиентов и процессы миграции pod
• Решать сложные технические задачи по крупномасштабной загрузке данных, облачной интеграции, оптимизации ETL и модернизации legacy-систем
• Перепроектировать legacy ETL-пайплайны для эффективной работы в Azure, включая конвертацию SSIS-пакетов в ADF-пайплайны
• Модернизировать legacy-системы на VB6, перенося логику на C# (SSIS), и выводить из эксплуатации устаревшие компоненты
• Внедрять корпоративные процессы хранения, архивирования и очистки данных для повышения производительности и соответствия требованиям
• Обеспечивать архитектурное руководство и техническое направление для облачной миграции и корпоративных инициатив по данным
• Разрабатывать схемы системной архитектуры, стратегии миграции и планы перехода в облако для ETL-нагрузок
• Определять подходы к интеграции данных для миграции Connected Communications Platform (CCP) с on-prem SQL на AWS S3 и AWS Glue
• Руководить проектированием и внедрением решения Master Data Management (MDM) «Golden ID» для единой идентификации клиентов на дилерских платформах
• Менторить инженеров и давать экспертные технические рекомендации по облачному ETL, моделированию данных, оптимизации SQL и облачной миграции
• Давать техническое направление по разработке ADF-пайплайнов, архитектуре данных, оптимизации SQL Server и PostgreSQL и облачной трансформации
• Проводить ревью кода, моделей данных и архитектурные оценки
• Взаимодействовать с функциональным руководством для влияния на приоритеты модернизации платформы и архитектурные решения
• Сотрудничать с продуктовыми лидерами, облачными инженерами и CRM-стейкхолдерами для определения сроков миграции, ресурсов и технических приоритетов
• Поддерживать обсуждения дорожной карты по выводу legacy-систем и переходу на DMSSOR/Gen SOR
• Поддерживать кросс-функциональные команды экспертизой по облачным системам, интеграции данных и производительности ETL
• Помогать командам CRM-инженерии, инфраструктуры и безопасности в проектировании потоков данных, облачных паттернов загрузки, логики ADF/SSIS и оптимизации ETL
• Соблюдать политики CDK, стандарты безопасности и требования управления данными
• Обеспечивать соответствие облачной безопасности, конфигурации IAM, шифрования данных, политик хранения и регуляторных требований в ETL- и CRM-системах
• Выполнять ожидаемые результаты по облачной миграции, модернизации платформы данных и корпоративной интеграции
• Обеспечивать достижение этапов миграции Azure ETL, облачного перехода CCP, внедрения MDM, вывода legacy DMS и модернизации DMS

Требования

• Bachelor’s degree или иностранный эквивалент в области Computer Science, Computer Engineering или смежной области
• 8 лет опыта в роли Software Developer или смежной должности
• Опыт работы с Microsoft SQL Server и T-SQL: проектирование, разработка и поддержка реляционных БД, создание таблиц, представлений, хранимых процедур и функций, написание и оптимизация сложных запросов через индексацию, анализ планов выполнения и тюнинг запросов
• Опыт работы с ETL и инструментами интеграции данных: AWS Glue, AWS Lambda, SQL Server Integration Services (SSIS) и Azure Data Factory на Microsoft Azure, включая эксплуатацию пайплайнов и валидацию точности и производительности данных в облаке
• Опыт разработки приложений на ASP.NET, C#, VB, ADO.NET и Python для построения и интеграции слоёв доступа к данным с backend-базами
• Опыт работы с инструментами администрирования БД: SQL Server Management Studio (SSMS), SQL Server Agent, Maintenance Plans и автоматизированные функции Azure SQL Managed Instance для backup/restore, обслуживания индексов, обновления статистики и мониторинга здоровья БД
• Опыт работы с инструментами мониторинга приложений и систем: AppDynamics, New Relic, Logic Monitor и Azure Monitor для наблюдения за продакшеном, выявления проблем производительности и траблшутинга
• Опыт работы с технологиями отчётности и аналитики: SQL Server Reporting Services (SSRS), SQL Server Analysis Services (SSAS) и облачные платформы данных, такие как Snowflake, для построения аналитических датасетов и отчётности
• Опыт работы с инструментами контроля версий и управления релизами: Git, Team Foundation Server (TFS), Azure DevOps и Harness CI/CD
• Опыт работы с процессами и инструментами CI/CD: Git, Azure DevOps, Bitbucket, Liquibase (DB Deployment), Terraform и Harness
• Опыт работы в Agile/Scrum с использованием Jira и Confluence, участие в sprint planning, груминге бэклога и командной работе
• Опыт проектирования моделей данных и поддержки хранилищ данных, включая dimensional modeling; разработка датасетов и запросов для BI-инструментов, таких как Snowflake, Power BI или Tableau
• Опыт проектирования и поддержки реляционных и NoSQL БД: Microsoft SQL Server, PostgreSQL, MySQL и MongoDB, работа со структурированными и полуструктурированными данными в распределённых средах
• Опыт мониторинга и траблшутинга БД и производительности приложений с помощью AppDynamics, New Relic, Redgate, AWS CloudWatch, SQL Profiler и Azure Monitor
• Право на работу в США без необходимости текущего или будущего спонсорства визы

Условия

• 100% удалённая работа (Telecommuting)
• Компенсационный пакет зависит от навыков, опыта, сертификаций и локации
• Возможен годовой performance bonus, льготы и/или иные incentive-программы
• Медицинская, стоматологическая и офтальмологическая страховка
• Оплачиваемый отпуск (PTO)
• Программа 401K Matching
• Компенсация обучения (Tuition Reimbursement)

Навыки

• Azure Data Factory
• SSIS
• AWS Glue
• AWS Lambda
• Azure Data Lake
• AWS S3
• SQL Server
• T-SQL
• PostgreSQL
• MySQL
• MongoDB
• Snowflake
• Power BI
• Tableau
• ASP.NET
• C#
• VB
• ADO.NET
• Python
• SSMS
• SQL Server Agent
• Azure SQL Managed Instance
• SSRS
• SSAS
• AppDynamics
• New Relic
• Logic Monitor
• Azure Monitor
• AWS CloudWatch
• SQL Profiler
• Redgate
• Git
• TFS
• Azure DevOps
• Bitbucket
• Liquibase
• Terraform
• Harness
• Jira
• Confluence
• ETL
• Data Modeling
• Dimensional Modeling
• MDM
• IAM
• Agile
• Scrum