仪器社区

大数据时代,那么一般通过什么方法(软件)收集、分析和可视化数据?

逆风飞扬000228 2013-08-12
在大数据时代,一般都是通过什么方法收集、分析和可视化数据的?作为非平台运营商有没有办法收集到数据呢?假设说新浪微博每天有一亿条更新的微博,那么这些数据是不是只有新浪才能收... 在大数据时代,一般都是通过什么方法收集、分析和可视化数据的? 作为非平台运营商有没有办法收集到数据呢?假设说新浪微博每天有一亿条更新的微博,那么这些数据是不是只有新浪才能收集,第三方是没法收集的呢? 如果收集到了数据,一般是通过什么分析软件来分析呢?然后Z后可视化输出又是通过什么软件呢?
评论
全部评论
射手jing113
数据是平台运营商的重要资产,可能提供API接口允许第三方有限度地使用,但是显然是为了增强自身的业务,与此目的抵触的行为都会受到约束。
收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集,比如浏览器里的搜索、点击、网上购物、……其他数据(比如气温、海水盐度、地震波)可以通过传感器转化成数字信号输入计算机。
收集到的数据一般要先经过整理,常用的软件:Tableau和Impure是功能比较全面的,Refine和Wrangler是比较纯粹的数据整理工具,Weka用于数据挖掘。
Hadoop是一个能够对大量数据进行分布式处理的软件框架。用于统计分析的R语言有个扩展R + Hadoop,可以在Hadoop集群上运行R代码。更具体的自己搜索吧。
可视化输出的工具很多。建议参考wikipedia的“数据可视化”条目。
Tableau、Impure都有可视化功能。R语言也可以绘图。
还有很多可以用来在网页上实现可视化输出的框架或者控件。
大致基于四种技术:Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)
Flash的有Degrafa、BirdEye、Axiis、Open Flash Chart
JS的有Ajax.org、Sencha Ext JS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、ExplorerCanvas、MilkChart、Google Chart API、Protovis
Java的有Choosel、google-visualization-java、GWT Chronoscope、JFreeChart
ASP.NET的有Telerik Charts、Visifire、Dundas Chart
目前我比较喜欢d3(Data-Driven Documents),图形种类丰富,有交互能力,你可以去d3js.org看看,有很多种图形的demo。
14 0 2017-09-04 0条评论 回复
932279018
依赖大数据的不仅仅是那些特殊的大型用户群体,作为一种商业需求,小型企业未来也一定会应用到大数据。我们看到,有些存储厂商已经在开发一些小型的“大数据”存储系统,主要吸引那些对成本比较敏感的用户。我们公司比较小,但是现在已经选择FineBI去分析了。
11 0 2014-12-05 0条评论 回复
2018飞鱼
哪里人多你就去哪里找,不是通过软件搜集的

通个人观点,Z通俗的讲就是:现在的市场模式是商场一般是在人居住Z多的附近开,这样大家会集中去一个地方购物消费,类似于淘宝建立了一个商店,大家都集中在一个地方购物。
而大叔据是恰恰相反的市场模式,通过互联网大家之间没有什么距离了,剩下的就是靠商家搜集大家平时的搜索关键词,对产品的不满意,以及想法搜集整理,然后做出产品在满足市场需求的一个模式,这个包含了市场调研的工作。大大节省开发成本和人们需求的判断。

以前公司是自己去调研,然后开发产品,再通过销售中用户的意见进一步改进
而大叔据的来临,我们可以通过互联网非常方便的搜集信息,然后进行调研,问答然后做出更加完善的产品,就是产品的更新周期将大大压缩,凡是一成不变的公司将全部死掉

大叔据时代是人人创业的时代,谁发现需求,谁去满足需求就可以盈利
所以也算是一个乱世,群雄四起。也是细分化市场的年代

大叔据说到底就是人们的行为习惯而已,商人利用的只是数据中的需求数据部分
7 0 2013-08-13 0条评论 回复
可爱的李111222
完整的数据过程就是分成数据采集、数据接入、数据处理(OLAP)、数据分析、数据可视化展示、数据存储等,一般数据平台或数据BI就这些流程就比较完整,如BDP商业数据平台等。



(数据接入)(数据处理)
(可视化分析)
7 0 2016-12-15 0条评论 回复
您可能感兴趣的社区主题
加载中...
发布 评论