仪器社区

如何用火车浏览器进行别数据采集

maldini0908 2016-12-04
评论
全部评论
随便猪册一个
火车浏览器的速度限制在那里了,火车采集器是用的C#,可视化的框架与GX的采集速度是矛盾的。
你想达到每天别的速度,建议试试前嗅的ForeSpider数据采集软件。我之前用火车、八爪鱼,开服务器采集,一个月采100多万条。用ForeSpider,用笔记本采集的,一天就几百万条。
从一个专业C++程序猿的角度说,网上流传的各种Java爬虫,Python爬虫,Java需要运行于C++开发的虚拟机上,Python只是脚本语言,采集效率和性能如何能与强大的C++相提并论?C++直接控制系统的底层,对内存空间的控制和节省都是其他语言无法竞争的。ForeSpider的开发语言是C++,从语言层面来讲,火车采集器是不具备这样的能力的。
forespider在台式机上运行一天可以采400万,在服务器上一天可以采4000万,而且自带免费的别数据库,免安装,可以直接入库。还支持MySQL、ODBC数据库。
5 0 2016-12-05 0条评论 回复
您可能感兴趣的社区主题
加载中...
发布 评论