首页» 支撑工具» 智能化数据分析» 产品介绍

产品介绍

智能化数据分析平台(DABOT)提供多种数据集成方案,提供全链路的海量数据处理与分析方法,并与BI报表工具无缝集成,完成用户数据分析的需求

图  1   DABOT 整体框架

DABOT 主要包括的功能模块如下:

  • 数据开放共享系统
  • 数据采集工具
  • 数据集成系统
  • 数据分析和可视化工具

1. 数据开放共享系统

图  2   数据开放共享系统
  • 1、强大的数据采集能力,支持多种异构数据源,包括关系数据库、分布式数据库、Excel、RDF、JNDI、WEB
  • 2、快捷的数据服务模式,支持“数据即服务(DaaS)”的发布模式,支持跨数据源查询服务,无需关心数据源物理位置及数据格式
  • 3、轻量级技术架构,易于开发部署,无需代码,自动生成CRUD操作;支持本地和云端部署方式

2. 数据采集工具

数据采集是大数据处理流程中最为基础的一步,即使用数据交换、搜索引擎、条形码识别等数据采集技术,从外界获取数据。平台提供结构化数据和非结构化数据采集。

2. 数据集成系统

采用元数据建模技术,快速构建和变更数据模型;采用Deep Web数据抽取技术,降低数据集成的难度;采用增量数据同步技术,提供集成效率;网页数据抽取和数据库数据抽取相结合,适应多种场景。

数据集成主要问题 解决方案
遗产系统数据结构不易获取
业务系统数据结构分析代价高
不能直接连接数据库提取数据
采用Deep Web数据采集工具进行信息采集,只要能够访问系统,即可进行数据采信
增量数据不易识别 采用文档数字签名,快速识别数据信息的变化
只有数据库备份,无业务系统 采用结构化数据集成工具进行数据的提取和集成

3. 可视化工具

可视化工具基于REST API获取实时检索和统计数据,基于数据驱动文档的主流JS可视化绘图技术实现。