爬虫推荐的工具

爬虫推荐的工具：pyspider,BeautifulSouprequestsscrapymongodbrediskafka.repyV8：python执行js的插件phatomjs：一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVGselenium：是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。一开始推荐学习框架，比如scrapy或者Pyspider数据分析：pandasscikit-learnspark.ntlkjiebapandas主要是处理金融数据得力，scikit-learn用来进行机器学习，spark是分布式计算。nltk进行予以分析。jieba用来做中文分词。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!