GRVTY
Software Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Software Engineer в GRVTY для проекта в сфере национальной безопасности. Задача — переработка иерархической системы тематического моделирования на Apache Spark с горизонтальным масштабированием и поддержкой потоковых данных.
Задачи
- Переработать стек тематического моделирования на базе Toponomy для горизонтального масштабирования с Apache Spark
- Реализовать исследовательские алгоритмы, непрерывно включающие потоковый контент в развивающуюся иерархию тем
- Построить инфраструктуру для отслеживания тем, которые пользователи сохраняют, лайкают или дизлайкают
- Разработать механизмы регистрации, оценки, интеграции, версионирования и перехода между новыми embedding-моделями
Требования
- Активный допуск TS/SCI с полиграфом
- 14 лет опыта работы SWE в программах и контрактах схожего масштаба, типа и сложности
- Степень бакалавра по Computer Science или смежной дисциплине (или 4 года дополнительного опыта SWE вместо степени)
- Уверенный опыт Python для performance-critical компонентов
- Опыт с отказоустойчивыми распределёнными системами и потоковыми архитектурами
- Опыт с Apache Spark
- Опыт с контейнеризацией
- Опыт с Kubernetes
- Опыт с AWS
- Опыт с реляционными БД (Clickhouse или Postgres) и нереляционными БД (Accumulo и neo4j)
- Опыт с ElasticSearch
- Опыт построения LLM-приложений
- Опыт проектирования API
- Опыт с графовыми и векторными БД
- Опыт с векторным анализом и векторными хранилищами
- Знание инфраструктуры Agency (warehouses, GMLearn)
Условия
- Конкурентная зарплата
- Комплексный пакет льгот: медицинская, стоматологическая и офтальмологическая страховка
- Health Savings Account с вкладом компании
- Ежегодный оплачиваемый отпуск и оплачиваемые праздники
- Оплачиваемый отпуск по уходу за ребёнком
- 401k с щедрым вкладом компании
- Обучение и развитие
- Программы наград
- Корпоративные мероприятия
- Баланс между работой и личной жизнью
Навыки
- Python
- Apache Spark
- Kubernetes
- Docker
- AWS
- Clickhouse
- Postgres
- Accumulo
- neo4j
- ElasticSearch
- LLM
- API
- graph databases
- vector databases
- vector analysis
- vector store
- PyTorch
- TensorFlow
- sklearn
- Apache Parquet
- Apache Arrow
- topic modeling