基于底层数据交换的数据直接采集方式是主流方式
原理就是通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包,进行包流量分析采集到应用数据,同时还可以利用仿真技术模拟客户端请求,实现数据的自动写入。
使用数据采集引擎对目标软件的内部数据交换(网络流量、内存)进行侦听,再把其中所需的数据分析出来,经过一系列处理和封装,保证数据的唯yi性和准确性,并且输出结构化数据。经过相应配置,实现数据采集的自动化。
基于底层数据交换的数据直接采集方式,如10 1 数据采集引擎从各式各样的软件系统中开采数据,源源不断获取所需的jing准、实时的数据,自动建立数据关联,输出利用率极高的结构化数据,让数据有序、安全、可控的流动到所需要的企业和用户当中,让不同系统的数据源实现联动流通,为客户提供决策支持、提高运营效率、产生经济价值。
其他还有软件接口对接方式、 开放数据库方式。
接口对接方式数据可靠性较高,一般不存在数据重复的情况,且都是客户业务大数据平台需要的有价值的数据;同时数据是通过接口实时传递过来,完全满足了大数据平台对于实时性的要求。但接口对接方式需花费大量人力和时间协调各个软件厂商做数据接口对接。
开放数据库方式需要协调各个软件厂商开放数据库,其难度很大