Construction Partners
Data Platform Engineer (Palantir Foundry & Databricks)
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер платформы данных в команду CPI: консолидация данных операционных и финансовых систем в централизованный lakehouse и разработка операционных приложений на Palantir Foundry для поддержки решений по заводам, полевым работам, технике и финансам.
Задачи
- Строить и поддерживать пайплайны загрузки данных из ERP, бухгалтерии, сметных, полевых, производственных и телематических систем в Databricks через реляционные БД, REST API и SFTP/файловые фиды
- Разрабатывать batch- и инкрементальные пайплайны на Python, PySpark и SQL по слоистой lakehouse-архитектуре с очисткой, стандартизацией и объединением данных в документированные переиспользуемые датасеты
- Помогать определять общую модель данных между операционными компаниями, включая ключевание и сопоставление jobs, оборудования, заводов, сотрудников, вендоров и клиентов
- Строить проверки сверки, чтобы показатели платформы сходились с ERP и другими системами учёта
- Обрабатывать реалии исходных данных: изменения схем, поздние и дублирующиеся записи, несогласованные ключи, лимиты и сбои API
- Поддерживать онбординг данных новых приобретённых компаний: профилировать их системы, маппить на общую модель и подключать к платформе по повторяемому подходу
- Подключать Foundry к lakehouse Databricks и другим источникам, настраивать аутентификацию, права и расписания синхронизации
- Проектировать и расширять типы объектов Ontology, связи, свойства и действия, переиспользуя существующую модель
- Строить операционные приложения и автоматизированные workflow на Workshop, Pipeline Builder, Code Repositories и функциях TypeScript или Python, переходя на OSDK и кастомный frontend при ограничениях low-code
- Развивать геопространственные и time-series возможности: геозоны, аналитика cycle-time, загрузка оборудования
- Разрабатывать AIP- и LLM-ассистированные workflow в соответствии с политиками AI и data governance CPI
- Принимать ownership существующих решений Foundry, документировать их и доводить до поддерживаемых продуктов
- Мониторить здоровье пайплайнов и синхронизаций, настраивать алертинг и устранять сбои фидов, пайплайнов и дефекты приложений
- Применять least-privilege контроль доступа, markings и data lineage, согласовывая дизайн доступа с IT Security
- Следовать практикам команды по version control, code review, тестированию, документации и релизам и укреплять их
- Работать с внешними консультантами как hands-on участник и обеспечивать понимание, документирование и поддержку их результатов внутри компании
- Работать напрямую с бизнес-лидерами и пользователями: картировать workflow, выявлять боли и превращать неоднозначные потребности в технические дизайны и планы поставки
- Вести rollout и adoption с бизнес-владельцами и улучшать платформу по обратной связи и операционным результатам
Требования
- 2-4 года опыта в data engineering, software engineering или интеграции данных с построением и поддержкой production-систем
- Практический опыт с Databricks, Apache Spark или Palantir Foundry и значимый опыт хотя бы с одной другой enterprise-платформой
- Сильный SQL, включая сложные join и оконные функции, и умение быстро работать с незнакомыми схемами на SQL Server, PostgreSQL или Oracle
- Сильный Python для работы с данными, включая Pandas или PySpark, интеграцию API и скрипты автоматизации
- Опыт интеграции с REST API: аутентификация, пагинация, rate limits, обработка ошибок; работа с JSON, CSV и файловыми фидами
- Понимание моделирования данных: реляционный и dimensional дизайн, ключи, потоки и трансформации данных между системами
- Фундаментальные навыки software engineering: Git, тестирование, code review, поддерживаемый документированный код
- Способность быстро осваивать незнакомые платформы и применять их в production
- Умение работать напрямую с бизнес-пользователями и лидерами, объяснять tradeoffs простыми словами и брать ownership от discovery до повседневного использования
Условия
- Медицинская, стоматологическая и оптическая страховка
- Пенсионный план 401(k) с matching от работодателя
- Оплачиваемый отпуск и праздники
- Employee Stock Purchase Plan (Construction Partners, Inc.: ROAD)
- Employee Assistance Program
- Возможности профессионального развития
- Рассматривается удалённая работа для подходящего кандидата
Навыки
- Databricks
- Apache Spark
- PySpark
- Python
- SQL
- Pandas
- REST API
- JSON
- CSV
- SQL Server
- PostgreSQL
- Oracle
- Git
- Palantir Foundry
- Ontology
- Workshop
- Pipeline Builder
- Code Repositories
- TypeScript
- OSDK
- React
- Delta Lake
- Unity Catalog
- Databricks Workflows
- Palantir AIP
- LLM
- Azure
- геопространственные данные
- телематика