Data Engineer

Облачные решения

Москва
5-ти дневная рабочая неделя
Офис
Офис

Navio — разработчик технологии автономного вождения, совместимой с различными видами транспорта: от легковых автомобилей до грузовиков.

Navio объединяет культуру автопроизводителей и IT-компаний. Больше 800 специалистов каждый день работают над тем, чтобы доставка грузов стала быстрее и эффективнее, а городской транспорт — безопаснее и комфортнее.

Ключевое направление работы Navio — создание универсальной автономной технологии, включающей Software и Hardware компоненты, R&D, уникальный процесс тестирования и экосистему сервисов для обработки данных и управления флотом автомобилей.

Кого мы ищем

Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения и тестирования нашего ПО. Мы ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных и добавлять в них новый функционал.

Вакансия подразумевает работу с большими объемами технических данных с использованием SQL, Dagster, Spark и polars/pandas где объемы данных позволяют.

**Наш стек: **Python (pandas, polars, pyspark), Spark, Dagster, Kubernetes, S3, Clickhouse, Metabase

Чем предстоит заниматься:

Реализовать пайплайн/шаг в существующем пайплайне в котором будет реализован алгоритм расчета метрики функции автономного вождения (качество удержания в полосе, качество локализации, дальность распознавания);
Оптимизировать обработку данных в существующем алгоритме путем перехода со Spark на Polars/Pyarrow с распараллеливанием обработки или оптимизации Spark запросов;
Разрабатывать пайплайны обработки данных;
Формировать витрины с метриками;
Регламентация алгоритмов расчета метрик функций беспилотного вождения.