Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в команду данных IPRally (три инженера), продукт — AI-инструменты для понимания патентов и технических знаний. Задача — обеспечивать корректность и доставку патентных данных в хранилища и API продукта.

Задачи

• Изучать смысл данных, находить пробелы и моделировать связи между патентами, научными статьями и компаниями
• Строить harness и оценки, позволяющие агентам самостоятельно исправлять проблемы с данными и оценивать качество результатов
• Строить и поддерживать пайплайны переноса данных из источников в хранилища и API продукта (Python, Dagster, проверки качества данных)
• Работать с продуктовыми командами над тем, какие данные нужны и в каком виде, и с ML-командой над применением машинного обучения в обработке
• Исследовать новые источники данных, включая данные напрямую из патентных ведомств, и оценивать целесообразность их добавления
• Разбираться в причинах сбоев источников и подбирать альтернативные источники

Требования

• Опыт построения и эксплуатации production-пайплайнов на больших зашумлённых реальных данных либо работа с такими данными в статистике или ML
• Умение принимать решения при отсутствии фиксированного определения правильного и закладывать статистические оценки и измеримые цели в работу
• Построение agent harness для развития систем обработки данных
• Любопытство к реальному миру за данными: как они возникли, что значат и как их представить в системах
• Умение определять, как выглядят правильные данные, исходя из того, кто и для чего их использует
• Готовность напрямую работать с пользователями данных внутри и вне инженерии

Условия

• Зарплата €5,500–7,000 в месяц плюс equity
• Желательно базироваться в Хельсинки, но для подходящего кандидата возможно и другое место в Европе
• Значительная свобода экспериментировать и влиять на то, как команда данных работает с агентами
• Не требуется знать весь стек или разбираться в патентах

Навыки

• Python
• Dagster
• Ray
• Polars
• Postgres
• Vespa
• Kubernetes
• GCP