开源爬虫软件汇总_OpenStack, 云计算等杂项讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  OpenStack, 云计算等杂项讨论区 »
总帖数
7
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 4590 | 回复: 6   主题: 开源爬虫软件汇总        上一篇   下一篇 
weiwei.fu
注册用户
等级:上尉
经验:661
发帖:47
精华:0
注册:2013-12-12
状态:离线
发送短消息息给weiwei.fu 加好友    发送短消息息给weiwei.fu 发消息
发表于: IP:您无权察看 2013-12-17 9:47:57 | [全部帖] [楼主帖] 楼主

世界上已经成型的爬虫软件多达上百种,本文对较为知名及常见的开源爬虫软件进行梳理,按开发语言进行汇总,如下表所示。虽然搜索引擎也有爬虫,但本次我汇总的只是爬虫软件,而非大型、复杂的搜索引擎,因为很多兄弟只是想爬取数据,而非运营一个搜索引擎。

开源爬虫汇总表

开发语言

软件名称

软件介绍

许可证

Java
Arachnid


微型爬虫框架,含有一个小型HTML解析器

GPL
crawlzilla


安装简易,拥有中文分词功能

Apache2
Ex-Crawler


由守护进程执行,使用数据库存储网页信息

GPLv3
Heritrix


严格遵照robots文件的排除指示和META robots标签

LGPL
heyDr


轻量级开源多线程垂直检索爬虫框架

GPLv3
ItSucks


提供swing GUI操作界面

不详

jcrawl


轻量、性能优良,可以从网页抓取各种类型的文件

Apache
JSpider


功能强大,容易扩展

LGPL
Leopdo


包括全文和分类垂直搜索,以及分词系统

Apache
MetaSeeker


网页抓取、信息提取、数据抽取工具包,操作简单

不详

Playfish


通过XML配置文件实现高度可定制性与可扩展性

MIT
Spiderman


灵活、扩展性强,微内核+插件式架构,通过简单的配置就可以完成数据抓取,无需编��一句代码

Apache
webmagic


功能覆盖整个爬虫生命周期,使用Xpath和正则表达式进行链接和内容的提取

Apache
Web-Harvest


运用XSLT、XQuery、正则表达式等技术来实现对Text或XML的操作,具有可视化的界面

BSD
WebSPHINX


由两部分组成:爬虫工作平台和WebSPHINX类包

Apache
YaCy


基于P2P的分布式Web搜索引擎

GPL
Python
QuickRecon


具有查找子域名名称、收集电子邮件地址并寻找人际关系���功能

GPLv3
PyRailgun


简洁、轻量、高效的网页抓取框架

MIT
Scrapy


基于Twisted的异步处理框架,文档齐全

BSD
C++
hispider


支持多机分布式下载, 支持网站定向下载

BSD
larbin


高性能的爬虫软件,只负责抓取不负责解析

GPL
Methabot


经过速度优化、可抓取WEB、FTP及本地文件系统

不详

Methanol


模块化、可定制的网页爬虫,速度快

不详

C#
NWebCrawler


统计信息、执行过程可视化

GPLv2
Sinawler


国内第一个针对微博数据的爬虫程序,功能强大

GPLv3
spidernet


以递归树为模型的多线程web爬虫程序,支持以GBK (gb2312)和utf8编码的资源,使用sqlite存储数据

MIT
Web Crawler


多线程,支持抓取PDF/DOC/EXCEL等文档来源

LGPL


网络矿工

功能丰富,毫不逊色于商业软件

BSD
PHP
OpenWebSpider


开源多线程网络爬虫,有许多有趣的功能

不详

PhpDig


适用于专业化强、层次更深的个性化搜索引擎

GPL
Snoopy


具有采集网页内容、提交表单功能

GPL
ThinkUp


采集推特、脸谱等社交网络数据的社会媒体视角引擎,可进行交互分析并将结果以可视化形式展现

GPL


微购

可采集淘宝、京东、当当等300多家电子商务数据

GPL
ErLang
Ebot


可伸缩的分布式网页爬虫

GPLv3
Ruby
Spidr


可将一个或多个网站、某个链接完全抓取到本地

MIT


     五岳之巅原创,转载请注明出处。原文摘自

 http://blog.chinaunix.net/uid-22414998-id-3774291.html




赞(0)    操作        顶端 
weiwei.fu
注册用户
等级:上尉
经验:661
发帖:47
精华:0
注册:2013-12-12
状态:离线
发送短消息息给weiwei.fu 加好友    发送短消息息给weiwei.fu 发消息
发表于: IP:您无权察看 2013-12-17 9:49:10 | [全部帖] [楼主帖] 2  楼

格式不对啊!!! 北京联动北方科技有限公司北京联动北方科技有限公司北京联动北方科技有限公司



赞(0)    操作        顶端 
weiwei.fu
注册用户
等级:上尉
经验:661
发帖:47
精华:0
注册:2013-12-12
状态:离线
发送短消息息给weiwei.fu 加好友    发送短消息息给weiwei.fu 发消息
发表于: IP:您无权察看 2013-12-17 9:50:24 | [全部帖] [楼主帖] 3  楼

开源爬虫汇总表

开发语言

软件名称

软件介绍

许可证

Java
Arachnid


微型爬虫框架,含有一个小型HTML解析器

GPL
crawlzilla


安装简易,拥有中文分词功能

Apache2
Ex-Crawler


由守护进程执行,使用数据库存储网页信息

GPLv3
Heritrix


严格遵照robots文件的排除指示和META robots标签

LGPL
heyDr


轻量级开源多线程垂直检索爬虫框架

GPLv3
ItSucks


提供swing GUI操作界面

不详

jcrawl


轻量、性能优良,可以从网页抓取各种类型的文件

Apache
JSpider


功能强大,容易扩展

LGPL
Leopdo


包括全文和分类垂直搜索,以及分词系统

Apache
MetaSeeker


网页抓取、信息提取、数据抽取工具包,操作简单

不详

Playfish


通过XML配置文件实现高度可定制性与可扩展性

MIT
Spiderman


灵活、扩展性强,微内核+插件式架构,通过简单的配置就可以完成数据抓取,无需编写一句代码

Apache
webmagic


功能覆盖整个爬虫生命周期,使用Xpath和正则表达式进行链接和内容的提取

Apache
Web-Harvest


运用XSLT、XQuery、正则表达式等技术来实现对Text或XML的操作,具有可视化的界面

BSD
WebSPHINX


由两部分组成:爬虫工作平台和WebSPHINX类包

Apache
YaCy


基于P2P的分布式Web搜索引擎

GPL
Python
QuickRecon


具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能

GPLv3
PyRailgun


简洁、轻量、高效的网页抓取框架

MIT
Scrapy


基于Twisted的异步处理框架,文档齐全

BSD
C++
hispider


支持多机分布式下载, 支持网站定向下载

BSD
larbin


高性能的爬虫软件,只负责抓取不负责解析

GPL
Methabot


经过速度优化、可抓取WEB、FTP及本地文件系统

不详

Methanol


模块化、可定制的网页爬虫,速度快

不详

C#
NWebCrawler


统计信息、执行过程可视化

GPLv2
Sinawler


国内第一个针对微博数据的爬虫程序,功能强大

GPLv3
spidernet


以递归树为模型的多线程web爬虫程序,支持以GBK (gb2312)和utf8编码的资源,使用sqlite存储数据

MIT
Web Crawler


多线程,支持抓取PDF/DOC/EXCEL等文档来源

LGPL


网络矿工

功能丰富,毫不逊色于商业软件

BSD
PHP
OpenWebSpider


开源多线程网络爬虫,有许多有趣的功能

不详

PhpDig


适用于专业化强、层次更深的个性化搜索引擎

GPL
Snoopy


具有采集网页内容、提交表单功能

GPL
ThinkUp


采集推特、脸谱等社交网络数据的社会媒体视角引擎,可进行交互分析并将结果以可视化形式展现

GPL


微购

可采集淘宝、京东、当当等300多家电子商务数据

GPL
ErLang
Ebot


可伸缩的分布式网页爬虫

GPLv3
Ruby
Spidr


可将一个或多个网站、某个链接完全抓取到本地

MIT



赞(0)    操作        顶端 
weiwei.fu
注册用户
等级:上尉
经验:661
发帖:47
精华:0
注册:2013-12-12
状态:离线
发送短消息息给weiwei.fu 加好友    发送短消息息给weiwei.fu 发消息
发表于: IP:您无权察看 2013-12-17 9:50:53 | [全部帖] [楼主帖] 4  楼

还是不对,呜呜呜!!!



赞(0)    操作        顶端 
k3neeb
注册用户
等级:上尉
经验:799
发帖:15
精华:0
注册:2015-5-28
状态:离线
发送短消息息给k3neeb 加好友    发送短消息息给k3neeb 发消息
发表于: IP:您无权察看 2016-5-26 9:40:09 | [全部帖] [楼主帖] 5  楼



赞(0)    操作        顶端 
山友木樨
注册用户
等级:少校
经验:1040
发帖:9
精华:0
注册:2015-6-1
状态:离线
发送短消息息给山友木樨 加好友    发送短消息息给山友木樨 发消息
发表于: IP:您无权察看 2016-5-30 9:33:37 | [全部帖] [楼主帖] 6  楼



赞(0)    操作        顶端 
arcona
注册用户
等级:少校
经验:1100
发帖:10
精华:0
注册:2015-6-1
状态:离线
发送短消息息给arcona 加好友    发送短消息息给arcona 发消息
发表于: IP:您无权察看 2016-5-31 9:37:24 | [全部帖] [楼主帖] 7  楼

楼主好人,感谢楼主分享~



赞(0)    操作        顶端 
总帖数
7
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论