Важный этап работы с аналитической системой – подготовка данных. Но что делать, если их много, а представлены они в разных форматах?

Именно для этого мы разработали Data Gateway Framework – программу, которая создает единый интерфейс для загрузки данных.

Пользователь загружает в Data Gateway Framework свои файлы одного из поддерживаемых форматов – xlsx, dbf, csv, а на выходе – получает подготовленные данные для создания источника на платформе Luxms BI.

Что делает DGF ?

4

Загружает в интерфейс для дальнейшей работы

3

Добавляет правильные метаданные документа

2

Помещает в контейнеры

1

Распознает информацию в документах

Пользователь может вносить изменения в уже загруженные документы. Data GateWay автоматически обновляет их в рабочем интерфейсе, что позволяет, не повторяя загрузку из раза в раз, актуализировать данные по необходимости.

Одновременный доступ к разнородным источникам и различным версиям баз данных. Это возможно благодаря изолированной загрузке JDBC-драйверов и потоковой выгрузке в различные форматы.

Быстрая загрузка и обработка больших объемов данных. Data Gateway оптимизирован для работы с большими данными и эффективно использует вычислительные ресурсы

Возможности DGF

✔ Json
✔ Json stream
✔ Json
✔ Excel

Для предоставления данных пользователю доступна выгрузка по HTTP API в различных форматах

✔ JDBC
✔ Excel
✔ Json
✔ Kafka

DataGate на входе способен работать как на уровне файловой системы, так и на уровне сети

Технологические особенности

3

Подключение источников данных из документов, в т.ч. парсинг данных из документов и преобразование из документов в таблицы и схемы.

4

Изолированная динамическая загрузка JDBC-драйверов

2

Анализ метаданных источников данных

5

Запросы в источники данных и потоковая выгрузка в различные форматы (например, *.json)

1

Получение данных из различных источников (в том числе JDBC-совместимых) и предоставление единого API.

Для одновременного доступа к разнородным источникам и разным версиям баз данных – изолированная загрузка JDBC-драйверов

Работа со слоем метаданных позволяет предоставлять описание разнородных источников данных в едином формате для потребителей API

Реактивный стек позволяет осуществлять загрузку и обработку больших объемов данных при низком потреблении ресурсов системы

Программный продукт реализован на языке Java 11 с использованием технологий SpringBoot, Reactor, Apache POI, JDBC, Netty