Хранилища данных на службе BIЭлементы архитектуры
Занимается BI-инфраструктурой, масштабированием под нагрузки. Обожает всё распределённое - Spark, Hadoop, ClickHouse. В последние два успел вложить всю любовь в виде code contributions.
Разработчик высоконагруженных систем с элементами BigData.
Когда в компании надо принимать решения на основании показателей, отдел BI — главный помощник.
В ход идут пересечения потоков данных, витрины, data research и просто метод пристального взгляда.
Для решения всех возникающих случаев манипуляции данными не всегда существует универсальное хранилище, которое является серебряной пулей. Hadoop — это, как правило, высокий показатель latency, аналитические базы данных — не OLTP, в каких-то решениях отсутствует поддержка транзакционности.
В докладе рассмотрим, как мы в BI используем связку Exasol и Hadoop. Рассмотрим аспекты ETL и технические решения, которые мы используем для интеграции этих хранилищ.