Data Gateway Framework

Единый интерфейс доступа к данным

Загрузка данных в различных форматах

Важный этап работы с аналитической системой – подготовка данных. Но что делать, если их много, а представлены они в разных форматах? Именно для этого мы разработали Data Gateway Framework – программу, которая создает единый интерфейс для загрузки данных.

Пользователь загружает в Data Gateway свои файлы одного из поддерживаемых форматов – xlsx, dbf, csv (далее документы), а на выходе – получает подготовленные данные для создания источника на платформе Luxms BI.

Data Gateway:

1 распознает информацию в документах	2 помещает в контейнеры
3 добавляет правильные метаданные документа	4 загружает в интерфейс для дальнейшей работы

Возможности продукта

Пользователь может вносить изменения в уже загруженные документы. Data GateWay автоматически обновляет их в рабочем интерфейсе, что позволяет, не повторяя загрузку из раза в раз, актуализировать данные по необходимости.

Одновременный доступ к разнородным источникам и различным версиям баз данных. Это возможно благодаря изолированной загрузке JDBC-драйверов и потоковой выгрузке в различные форматы.

Быстрая загрузка и обработка больших объемов данных. Data Gateway оптимизирован для работы с большими данными и эффективно использует вычислительные ресурсы

Получение данных из различных источников (в том числе JDBC-совместимых) и предоставление единого API.

Анализ метаданных источников данных

Подключение источников данных из документов, в т.ч. парсинг данных из документов и преобразование из документов в таблицы и схемы.

Изолированная динамическая загрузка JDBC-драйверов

Запросы в источники данных и потоковая выгрузка в различные форматы (например, *.json)

Программный продукт реализован на языке Java 11 с использованием технологий SpringBoot, Reactor, Apache POI, JDBC, Netty

Реактивный стек позволяет осуществлять загрузку и обработку больших объемов данных при низком потреблении ресурсов системы

Работа со слоем метаданных позволяет предоставлять описание разнородных источников данных в едином формате для потребителей API

Для одновременного доступа к разнородным источникам и разным версиям баз данных – изолированная загрузка JDBC-драйверов

Технологические особенности

DataGate на входе способен работать как на уровне файловой системы, так и на уровне сети

Для предоставления данных пользователю доступна выгрузка по HTTP API в различных форматах

Корпоративное лицензирование Data Gate Framework

Корпоративная кластерная пользовательская лицензия
2 сервера

Data Gateway Framework, Enterprise Cluster UL – 2 сервера

2 сервера в режиме отказоустойчивости (горячее резервирование, балансировка нагрузки)
работа с большими данными
до 200 одновременных соединений

Корпоративная кластерная пользовательская лицензия
1 сервер

Data Gateway Framework, Enterprise Edition UL – 1 сервер

Корпоративная лицензия для разработки и тестирования

Data Gateway Framework, Enterprise DEVL, 1 сервер

техническая поддержка

В рамках любого типа лицензий есть возможность подключить комплексную техническую поддержку

Контакты

Есть вопросы? Готовы обсудить ваши текущие задачи по аналитике? Интересуют возможности партнёрства?

Позвоните:

+7 812 9073170

Или напишите на:

welcome@rcslabs.ru

Наш адрес:

191119, Санкт-Петербург, Россия, ул. Константина Заслонова, д. 7, лит. А, оф. 232

График работы:

Пн-Пт 10:00-19:00