Construction Partners

Data Platform Engineer (Palantir Foundry & Databricks)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер платформы данных в команду CPI: консолидация данных операционных и финансовых систем в централизованный lakehouse и разработка операционных приложений на Palantir Foundry для поддержки решений по заводам, полевым работам, технике и финансам.

Задачи

  • Строить и поддерживать пайплайны загрузки данных из ERP, бухгалтерии, сметных, полевых, производственных и телематических систем в Databricks через реляционные БД, REST API и SFTP/файловые фиды
  • Разрабатывать batch- и инкрементальные пайплайны на Python, PySpark и SQL по слоистой lakehouse-архитектуре с очисткой, стандартизацией и объединением данных в документированные переиспользуемые датасеты
  • Помогать определять общую модель данных между операционными компаниями, включая ключевание и сопоставление jobs, оборудования, заводов, сотрудников, вендоров и клиентов
  • Строить проверки сверки, чтобы показатели платформы сходились с ERP и другими системами учёта
  • Обрабатывать реалии исходных данных: изменения схем, поздние и дублирующиеся записи, несогласованные ключи, лимиты и сбои API
  • Поддерживать онбординг данных новых приобретённых компаний: профилировать их системы, маппить на общую модель и подключать к платформе по повторяемому подходу
  • Подключать Foundry к lakehouse Databricks и другим источникам, настраивать аутентификацию, права и расписания синхронизации
  • Проектировать и расширять типы объектов Ontology, связи, свойства и действия, переиспользуя существующую модель
  • Строить операционные приложения и автоматизированные workflow на Workshop, Pipeline Builder, Code Repositories и функциях TypeScript или Python, переходя на OSDK и кастомный frontend при ограничениях low-code
  • Развивать геопространственные и time-series возможности: геозоны, аналитика cycle-time, загрузка оборудования
  • Разрабатывать AIP- и LLM-ассистированные workflow в соответствии с политиками AI и data governance CPI
  • Принимать ownership существующих решений Foundry, документировать их и доводить до поддерживаемых продуктов
  • Мониторить здоровье пайплайнов и синхронизаций, настраивать алертинг и устранять сбои фидов, пайплайнов и дефекты приложений
  • Применять least-privilege контроль доступа, markings и data lineage, согласовывая дизайн доступа с IT Security
  • Следовать практикам команды по version control, code review, тестированию, документации и релизам и укреплять их
  • Работать с внешними консультантами как hands-on участник и обеспечивать понимание, документирование и поддержку их результатов внутри компании
  • Работать напрямую с бизнес-лидерами и пользователями: картировать workflow, выявлять боли и превращать неоднозначные потребности в технические дизайны и планы поставки
  • Вести rollout и adoption с бизнес-владельцами и улучшать платформу по обратной связи и операционным результатам

Требования

  • 2-4 года опыта в data engineering, software engineering или интеграции данных с построением и поддержкой production-систем
  • Практический опыт с Databricks, Apache Spark или Palantir Foundry и значимый опыт хотя бы с одной другой enterprise-платформой
  • Сильный SQL, включая сложные join и оконные функции, и умение быстро работать с незнакомыми схемами на SQL Server, PostgreSQL или Oracle
  • Сильный Python для работы с данными, включая Pandas или PySpark, интеграцию API и скрипты автоматизации
  • Опыт интеграции с REST API: аутентификация, пагинация, rate limits, обработка ошибок; работа с JSON, CSV и файловыми фидами
  • Понимание моделирования данных: реляционный и dimensional дизайн, ключи, потоки и трансформации данных между системами
  • Фундаментальные навыки software engineering: Git, тестирование, code review, поддерживаемый документированный код
  • Способность быстро осваивать незнакомые платформы и применять их в production
  • Умение работать напрямую с бизнес-пользователями и лидерами, объяснять tradeoffs простыми словами и брать ownership от discovery до повседневного использования

Условия

  • Медицинская, стоматологическая и оптическая страховка
  • Пенсионный план 401(k) с matching от работодателя
  • Оплачиваемый отпуск и праздники
  • Employee Stock Purchase Plan (Construction Partners, Inc.: ROAD)
  • Employee Assistance Program
  • Возможности профессионального развития
  • Рассматривается удалённая работа для подходящего кандидата

Навыки

  • Databricks
  • Apache Spark
  • PySpark
  • Python
  • SQL
  • Pandas
  • REST API
  • JSON
  • CSV
  • SQL Server
  • PostgreSQL
  • Oracle
  • Git
  • Palantir Foundry
  • Ontology
  • Workshop
  • Pipeline Builder
  • Code Repositories
  • TypeScript
  • OSDK
  • React
  • Delta Lake
  • Unity Catalog
  • Databricks Workflows
  • Palantir AIP
  • LLM
  • Azure
  • геопространственные данные
  • телематика

Похожие вакансии

Forward Deployed Engineer
talentplutoMiddleSan FranciscoГибрид
200,000 – 275,000 USD в год
20 нояб.
Senior Associate, Senior Engineer - Institutional Life Technology
New York Life Insurance CoSeniorOverland ParkГибрид
111,500 – 160,000 USD в год
20 нояб.
Database Developer
BrightvisionSeniorIrvingУдалённо
115,000 – 165,000 USD в год
20 нояб.
Manager, Software Engineering
Carpool InsuranceLeadWestchesterГибрид
142,530 – 178,110 USD в год
20 нояб.
Software Engineering Manager - AI & Data Platforms
AppleLeadAustinОфис
20 нояб.
Palantir Foundry Developer / Software Engineer
Cherokee FederalSeniorFort BelvoirОфис
140,000 – 155,000 USD в год
20 нояб.
Senior Software/Data Engineer, Bot Detection - US Remote
Hugging FaceSeniorNew YorkУдалённо
20 нояб.
Senior Software Engineer, Data
AttainSeniorChicagoГибрид
19 нояб.
Sr Software Engineer
American GreetingsSeniorWestlakeОфисРелокация
20 нояб.
Senior Software Engineer, Data Platform
DoximitySeniorSan FranciscoУдалённо
165,000 – 227,000 USD в год
20 нояб.