Respond
В проект по модернизации инфраструктуры крупной транспортно-логистической компании ищем архитектора DWH.
Требования/функции:
- Определение требований для платформы обработки данных на основе бизнес-потребностей и текущего ИТ-ландшафта, взаимодействие с технологической командой для их реализации
- Выбор оптимальных инструментов, технологий и методов обработки данных
- Проектирование архитектуры хранилища, потоков данных, алгоритмов загрузки и обработки данных
- Проектирование ядра, витрин и механизмов доступа к данным (в т.ч. с применением BI технологий), и интеграций DWH и систем-потребителей данных
- Разработка стандартов на разработку и проектирование, организация контроля доработок на соответствие стандартам
- Взаимодействие с корпоративными и solution-архитекторами
Опыт и профессиональные навыки:
- Строить архитектуру хранилищ данных и аргументированно защищать свое решение
- Знание основных принципов построения интеграционных решений (ETL, CDC, очереди, Streaming)
- DWH (ETL + СУБД + оптимизация)
- Опыт постановки, приемки и контроля качества выполненных задач: понимание принципов проектирования витрин данных
- Фундаментальные знания принципов работы реляционных (Oracle, MS SQL) и MPP СУБД (Greenplum, Vertica)
- работа с промышленными ETL-инструментами (Informatica/ODI/Data Stage)
- Lambda архитектура на (Hadoop, Kafka, Cassandra, GreenPlum/Vertica, PostgreSQL)
- Управления мастер-данными (MDM) и развития качества данных (Data Quality)
- Разработки архитектурной документации
Будет плюсом:
- Знание DevOps процесса и понимание, как сделать CI/CD пайплайн в обработке данных
- Понимание специфики организации данных для ML (песочницы)