Lead Software Engineer - Databricks/PySpark/AI

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior hands-on разработчик и технический лидер в agile-команде Global Finance. Строит и оптимизирует дата-продукты и инфраструктуру для agentic AI систем: пайплайны, retrieval-слои, tool-use API и оркестрация многошаговых агентных workflow.

Задачи

• Строить и оптимизировать дата-пайплайны и workflow, обеспечивающие agentic AI системы надёжным доступом к структурированным и неструктурированным данным в реальном времени
• Внедрять в команде практики AI-assisted разработки (code review/refactoring, ускорение тестов, анализ инцидентов) с едиными стандартами валидации
• Разрабатывать слои retrieval и индексации, позволяющие AI-агентам самостоятельно искать, запрашивать и синтезировать информацию из разных источников
• Создавать и поддерживать инфраструктуру tool-use — API, data services и function endpoints для вызова агентами
• Внедрять best practices управления данными: качество, безопасность, compliance и governance данных, потребляемых и генерируемых агентами
• Писать production-код по AWS best practices и деплоить через CI/CD
• Строить слои оркестрации и управления состоянием для многошаговых агентных workflow: память, персистентность контекста, chaining задач
• Ежедневно писать и ревьюить код, проводить code review и повышать техническую планку команды
• Менторить junior и middle инженеров через pairing, code review и технический коучинг
• Совместно с product owners, data scientists и бизнес-стейкхолдерами переводить бизнес-требования в production-ready agentic AI решения
• Оценивать и внедрять новые agentic AI фреймворки, инструменты и практики data engineering

Требования

• Формальное обучение или сертификация по software engineering и 5+ лет прикладного опыта
• Опыт лидирующего применения одобренных AI-assisted инструментов разработки с умением задавать команде стандарты валидации AI-результатов на корректность, производительность и безопасность
• Понимание ответственного использования AI в инженерных workflow: чувствительность данных, безопасная обработка входов/выходов, resiliency и security
• Expert-level навыки программирования на Python/PySpark с портфолио production-кода
• Обширный практический опыт с Databricks и экосистемой AWS: AWS Glue, S3, SQS/SNS, Lambda, Spark и SQL
• Сильный опыт с Lakehouse/Delta Lake архитектурой, разработкой приложений, тестированием и операционной стабильностью; Snowflake, Terraform и LLMs; Data Observability, Data Quality, оптимизация запросов и затрат
• Глубокое знание Big Data и концепций data warehousing на enterprise-масштабе
• Обширный опыт с CI/CD процессами и фреймворками автоматизированного тестирования
• Понимание agile-методологий, включая DevOps-практики, resiliency приложений и меры безопасности
• Понимание концепций agentic AI: как автономные агенты планируют, рассуждают, используют инструменты и выполняют многошаговые workflow, и какая дата-инфраструктура для этого нужна
• Опыт построения API, data services и retrieval-систем, связывающих AI-агентов с корпоративными данными

Условия

• Конкурентный total rewards package: базовая зарплата в зависимости от роли, опыта, навыков и локации
• Возможны commission-based pay и/или discretionary incentive compensation в виде cash и/или forfeitable equity
• Комплексное медицинское страхование, on-site центры здоровья и wellness
• Пенсионный сберегательный план
• Backup childcare, компенсация обучения, поддержка ментального здоровья, финансовый коучинг
• Равные возможности трудоустройства, diversity и inclusion, разумные accommodations

Навыки

• Python
• PySpark
• Databricks
• AWS
• AWS Glue
• S3
• SQS
• SNS
• Lambda
• Spark
• SQL
• Lakehouse
• Delta Lake
• Snowflake
• Terraform
• LLM
• Data Observability
• Data Quality
• Query Optimization
• Cost Optimization
• Big Data
• Data Warehousing
• CI/CD
• DevOps
• LangGraph
• AutoGen
• CrewAI
• OpenAI Assistants API
• Function Calling
• Vector Databases
• Pinecone
• FAISS
• Chroma
• RAG
• Embeddings