OpenWebSpider网络爬虫

作者: admin 分类: 开源项目 发布时间: 2013-09-22 18:31 ė2,195 浏览数 6没有评论
文章转自王牌软件
站长推荐:NSetup一键部署软件
一键式完成美化安装包制作,自动增量升级,数据统计,数字签名。应对各种复杂场景,脚本模块化拆分,常规复杂的脚本代码,图形化设置。无需专业的研发经验,轻松完成项目部署。(www.nsetup.cn)

OpenWebSpider 是一个很好用的网络爬虫,也可以叫做“网络蜘蛛”.官方网站是www.openwebspider.org.数据库采用的是mysql,在windows下可以采用MySql 5.0版本,安装成功以后,执行openwebspider源程序下sql_struct.sql脚本程序创建相关的表。打开openwebspider.conf文件,修改该文件的配置,譬如password的数值要和实际的数值相符。
OpenWebSpider的使用方法如下:
在CMD下输入openwebspider -i www.****.com -e -s
就可以对你指定的网站进行采集了。

参数说明:
-I 在数据库里搜索字符串。        eg: openwebspider -I ‘美女’
-O 指定数据库内主机进行索引      eg: openwebspider -O ‘www.baidu.com’
-i 指定主机名                    eg: openwebspider -i www.baidu.com
-t 线程 如不设定,默认为20
-s 限制层数 默认为0 不限制
-l 限制索引页数量 默认为0 不限制
-c 限制每页索引花费时间。
-b 限制出错时间
-e 限定主机,(不添加外部主机)
-F 自由索引模式

等等。

 

sourceforge http://sourceforge.net/projects/openwebspider/



只回答业务咨询点击这里给我发消息 点击这里给我发消息

王牌软件,兼职软件设计,软件修改,毕业设计。

本文出自 王牌软件,转载时请注明出处及相应链接。

本文永久链接: http://www.softwareace.cn/?p=581

0

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">


Ɣ回顶部

无觅相关文章插件,快速提升流量