Data Quality Engineer CI/CD ETL/ELT Kafka Python
Криптонит
Основные задачи: • Разрабатывать автоматизированные проверки качества данных (SQL, PySpark, SparkSQL) • Проектировать и поддерживать правила Data Quality для новых источников данных • Разрабатывать и сопровождать Data Contracts • Анализировать схемы данных, RFC и бизнес-правила • Интегрировать проверки качества в существующие ETL -пайплайны (Airflow) • Настраивать мониторинг качества данных (Grafana, PostgreSQL Metadata Store) • Анализировать инциденты качества данных и искать первопричины • Раз