Mid/Senior-level GoLang Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в компанию Inca Digital, работающую с аналитикой цифровых активов и блокчейн-данными. Задача — строить и поддерживать ETL/ELT-пайплайны и сервисы на Go, превращая сырые данные в клиентские продукты и алерты.

Задачи

• Проектировать, разрабатывать и эксплуатировать end-to-end batch и incremental ETL/ELT пайплайны, превращая сырые данные в production-grade API, дашборды и автоматические алерты
• Обеспечивать высокопроизводительный сбор данных из разнообразных источников: реляционных БД, сторонних и вендорских API, плоских файлов, блокчейн-нод и индексаторов, а также социальных и веб-текстов в большом объёме
• Разрабатывать NLP-пайплайны для работы с неструктурированными и полуструктурированными текстовыми данными — извлечение сущностей и утверждений, классификация, дедупликация и обогащение для downstream risk-моделей
• Поддерживать case management, генерацию отчётов и intelligence-портал, обеспечивающий работу data-систем
• Работать совместно с Head of R&D, инженерами, data scientists и командой investigations, переводя требования intelligence в масштабируемые клиентские продукты
• Участвовать в техническом проектировании и архитектуре в рамках письменного, аргументированного процесса дизайна
• Поддерживать улучшение качества данных и обслуживание систем: версионирование, валидация, lineage, сверка и мониторинг свежести данных

Требования

• 3+ года профессионального опыта разработки backend-сервисов на Golang
• Хорошее знание основ Go, включая конкурентность, тестирование и т.д.
• Опыт работы с REST API и/или gRPC
• Опыт работы в средах AWS
• Опыт работы с системами обмена сообщениями, такими как Kafka/RabbitMQ/SQS и т.д.
• Опыт работы с SQL-базами данных, такими как PostgreSQL
• Опыт работы с NoSQL-базами данных, такими как MongoDB/Redis/DynamoDB
• Знакомство с микросервисами и распределёнными системами
• Опыт работы с Docker, Git и CI/CD

Условия

• Полностью удалённая работа в среде с высоким уровнем доверия; приоритет — влияние и достигнутые результаты, а не отработанные часы
• Конкурентная компенсация в сочетании с комплексным пакетом льгот, включая медицинскую, стоматологическую и офтальмологическую страховку, а также 401(k)
• Инвестиции в сотрудников через стипендии на childcare и wellness, а также выделенные ресурсы программы помощи сотрудникам
• Работа в компании-лидере на стыке национальной безопасности и цифровых активов с передовыми технологиями

Навыки

• Go
• REST API
• gRPC
• AWS
• Kafka
• RabbitMQ
• SQS
• PostgreSQL
• MongoDB
• Redis
• DynamoDB
• Docker
• Git
• CI/CD
• Terraform
• Kubernetes
• NLP
• ETL
• ELT
• микросервисы
• распределённые системы