智能化数据分析平台(DABOT)提供多种数据集成方案,提供全链路的海量数据处理与分析方法,并与BI报表工具无缝集成,完成用户数据分析的需求
DABOT 主要包括的功能模块如下:
数据采集是大数据处理流程中最为基础的一步,即使用数据交换、搜索引擎、条形码识别等数据采集技术,从外界获取数据。平台提供结构化数据和非结构化数据采集。
采用元数据建模技术,快速构建和变更数据模型;采用Deep Web数据抽取技术,降低数据集成的难度;采用增量数据同步技术,提供集成效率;网页数据抽取和数据库数据抽取相结合,适应多种场景。
数据集成主要问题 | 解决方案 |
---|---|
遗产系统数据结构不易获取 业务系统数据结构分析代价高 不能直接连接数据库提取数据 |
采用Deep Web数据采集工具进行信息采集,只要能够访问系统,即可进行数据采信 |
增量数据不易识别 | 采用文档数字签名,快速识别数据信息的变化 |
只有数据库备份,无业务系统 | 采用结构化数据集成工具进行数据的提取和集成 |
可视化工具基于REST API获取实时检索和统计数据,基于数据驱动文档的主流JS可视化绘图技术实现。