Инженер данных (Data engineer)
ИнфоТеКС · Уфа
Предстоящие задачи • Наладить потоковую или batch-поставку данных, организовать оркестрацию задач (например, Airflow). • Настраивать автоматический сбор данных из разных источников (базы данных, API, файлы, очереди сообщений). • Развивать и оптимизировать текущую архитектуру хранения: организовывать долгосрочное хранение данных (Data Lake / Parquet), обеспечивать интеграцию между источниками и аналитическими БД. • Поднимать и поддерживать тестовые стенды для отработки сценариев сбора данных (Doc