如何用java编程构建“网络爬虫”.pdf

《如何用java编程构建“网络爬虫”.pdf》由会员分享，可在线阅读，更多相关《如何用java编程构建“网络爬虫”.pdf（21页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-如何用 java 编程构建“网络爬虫”简介“网络爬虫”或者说“网络蜘蛛”，是一种能访问网站并跟踪链接的程序，通过它，可快速地画出一个网站所包含的网页地图信息。本文主要讲述如何使用 Java 编程来构建一个“蜘蛛”，我们会先以一个可复用的蜘蛛类包装一个基本的“蜘蛛”，并在示例程序中演示如何创建一个特定的“蜘蛛”来扫描相关网站并找出死链接。Java 语言在此非常适合构建一个“蜘蛛”程序，其内建了对 HTTP 协议的支持，通过它可以传输大部分的网页信息；其还内建了一个 HTML

2、 解析器，正是这两个原因使 Java 语言成为本文构建“蜘蛛”程序的首选。使用“蜘蛛”文章后面例 1 的示例程序，将会扫描一个网站，并寻找死链接。使用这个程序时需先输入一个 URL 并单击“Begin”按钮，程序开始之后，“Begin”按钮会变成“Cancel”按钮。在程序扫描网站期间，会在“Cancel”按钮之下显示进度，且在检查当前网页时，也会显示相关正常链接与死链接的数目，死链接将显示在程序底部的滚动文本框中。单击“Cancel”按钮会停止扫描过程，之后可以输入一个新的 URL；如果期间没有单击“Cancel”，程序将会一直运行直到查找完所有网页，此后，“Cancel”按钮会再次变回“B

3、egin”，表示程序已停止。下面将演示示例程序是如何与可复用“Spider”类交互的，示例程序包含在例 1 的CheckLinks 类中，这个类实现了 ISpiderReportable 接口，如例 2 所示，正是通过这个接口，蜘蛛类才能与示例程序相交互。在这个接口中，定义了三个方法：第一个方法是“spiderFoundURL”，它在每次程序定位一个 URL 时被调用，如果方法返回 true，表示程序应继续执行下去并找出其中的链接；第二个方法是“spiderURLError”，它在每次程序检测 URL 导致错误时被调用（如“404 页面未找到”）；第三个方法是“spiderFoundEMail

4、”，它在每次发现电子邮件地址时被调用。有了这三个方法，Spider类就能把相关信息反馈给创建它的程序了。http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-在 begin 方法被调用后，“蜘蛛”就开始工作了；为允许程序重绘其用户界面，“蜘蛛”是作为一个单独的线程启动的。点击“Begin”按钮会开始这个后台线程，当后台线程运行之后，又会调用“CheckLinks”类的 run 方法，而 run 方法是由 Spider 对象实例化时启动的，如下所示：spider=new Spider(this);spider.clear();

5、base=new URL(url.getText();spider.addURL(base);spider.begin();首先，一个新的 Spider 对象被实例化，在此，需要传递一个“ISpiderReportable”对象给 Spider 对象的构造函数，因为“CheckLinks”类实现了“ISpiderReportable”接口，只需简单地把它作为当前对象（可由关键字 this 表示）传递给构造函数即可；其次，在程序中维护了一个其访问过的 URL 列表，而“clear”方法的调用则是为了确保程序开始时URL 列表为空，程序开始运行之前必须添加一个 URL 到它的待处理列表中，此时用户

6、输入的 URL 则是添加到列表中的第一个，程序就由扫描这个网页开始，并找到与这个起始 URL相链接的其他页面；最后，调用“begin”方法开始运行“蜘蛛”，这个方法直到“蜘蛛”工作完毕或用户取消才会返回。当“蜘蛛”运行时，可以调用由“ISpiderReportable”接口实现的三个方法来报告程序当前状态，程序的大部分工作都是由“spiderFoundURL”方法来完成的，当“蜘蛛”发现一个新的 URL 时，它首先检查其是否有效，如果这个 URL 导致一个错误，就会把它当作一个死链接；如果链接有效，就会继续检查它是否在一个不同的服务器上，如果链接在同一服务器上，“spiderFoundURL”

7、返回 true，表示“蜘蛛”应继续跟踪这个 URL 并找出其他链接，如果链接在另外的服务器上，就不会扫描是否还有其他链接，因为这会导致“蜘蛛”不断地浏览 Internet，寻找更多、更多的网站，所以，示例程序只会查找用户指定网站上的链接。构造 Spider 类 http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-前面已经讲了如何使用 Spider 类，请看例 3 中的代码。使用 Spider 类及“ISpiderReportable”接口能方便地为某一程序添加“蜘蛛”功能，下面继续讲解Spider 类是怎样工作的。Spid

8、er 类必须保持对其访问过的 URL 的跟踪，这样做的目的是为了确保“蜘蛛”不会访问同一 URL 一次以上；进一步来说，“蜘蛛”必须把 URL 分成三组，第一组存储在“workloadWaiting”属性中，包含了一个未处理的 URL 列表，“蜘蛛”要访问的第一个URL 也存在其中；第二组存储在“workloadProcessed”中，它是“蜘蛛”已经处理过且无需再次访问的 URL；第三组存储在“workloadError”中，包含了发生错误的 URL。Begin 方法包含了 Spider 类的主循环，其一直重复遍历“workloadWaiting”，并处理其中的每一个页面，当然我们也想到了，

9、在这些页面被处理时，很可能有其他的 URL 添加到“workloadWaiting”中，所以，begin 方法一直继续此过程，直到调用 Spider 类的cancel 方法，或“workloadWaiting”中已不再剩有 URL。这个过程如下：cancel=false;while(!getWorkloadWaiting().isEmpty()&!cancel)Object list=getWorkloadWaiting().toArray();for(int i=0;(i processURL(URL)listi);当上述代码遍历“workloadWaiting”时，它把每个需处理的 URL

10、 都传递给“processURL”方法，而这个方法才是真正读取并解析 URL 中 HTML 信息的。读取并解析 HTML Java 同时支持访问 URL 内容及解析 HTML，而这正是“processURL”方法要做的。在 Java中读取 URL 内容相对还比较简单，下面就是“processURL”方法实现此功能的代码：URLConnection connection=url.openConnection();if(connection.getContentType()!=null)&http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权

11、归作者所有！-!connection.getContentType().toLowerCase().startsWith(text/)getWorkloadWaiting().remove(url);getWorkloadProcessed().add(url);log(Not processing because content type is:+connection.getContentType();return;1(未取到网页内容)首先，为每个传递进来的变量 url 中存储的 URL 构造一个“URLConnection”对象，因为网站上会有多种类型的文档，而“蜘蛛”只对那些包含 HTM

12、L，尤其是基于文本的文档感兴趣。前述代码是为了确保文档内容以“text/”打头，如果文档类型为非文本，会从等待区移除此 URL，并把它添加到已处理区，这也是为了保证不会再次访问此 URL。在对特定 URL 建立连接之后，接下来就要解析其内容了。下面的代码打开了 URL 连接，并读取内容：InputStream is=connection.getInputStream();Reader r=new InputStreamReader(is);现在，我们有了一个 Reader 对象，可以用它来读取此 URL 的内容，对本文中的“蜘蛛”来说，只需简单地把其内容传递给 HTML 解析器就可以了。本例中

13、使用的 HTML 解析器为Swing HTML 解析器，其由 Java 内置，但由于 Java 对 HTML 解析的支持力度不够，所以必http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-须重载一个类来实现对 HTML 解析器的访问，这就是为什么我们要调用“HTMLEditorKit”类中的“getParser”方法。但不幸的是，Sun 公司把这个方法置为 protected，唯一的解决办法就是创建自己的类并重载“getParser”方法，并把它置为 public，这由“HTMLParse”类来实现，请看例 4：impor

14、t javax.swing.text.html.*;public class HTMLParse extends HTMLEditorKit public HTMLEditorKit.Parser getParser()return super.getParser();这个类用在 Spider 类的“processURL”方法中，我们也会看到，Reader 对象会用于读取传递到“HTMLEditorKit.Parser”中网页的内容：HTMLEditorKit.Parser parse=new HTMLParse().getParser();parse.parse(r,new Parser(u

15、rl),true);请留意，这里又构造了一个新的 Parser 类，这个 Parser 类是一个 Spider 类中的内嵌类，而且还是一个回调类，它包含了对应于每种 HTML tag 将要调用的特定方法。在本文中，我们只需关心两类回调函数，它们分别对应一个简单 tag（即不带结束 tag 的 tag，如）和一个开始 tag，这两类回调函数名为“handleSimpleTag”和“handleStartTag”。因为每种的处理过程都是一样的，所以“handleStartTag”方法仅是简单地调用“handleSimpleTag”，而“handleSimpleTag”则会负责从文档中取出超链接，这

16、些超链接将会用于定位“蜘蛛”要访问的其他页面。在当前 tag 被解析时，“handleSimpleTag”会检查是否存在一个“href”或超文本引用：String href=(String)a.getAttribute(HTML.Attribute.HREF);if(href=null)&(t=HTML.Tag.FRAME)href=(String)a.getAttribute(HTML.Attribute.SRC);http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-if(href=null)return;如果不存在“h

17、ref”属性，会继续检查当前 tag 是否为一个 Frame，Frame 会使用一个“src”属性指向其他页面，一个典型的超链接通常为以下形式：Click Here 上面链接中的“href”属性指向其链接到的页面，但是“linkedpage.html”不是一个地址，它只是指定了这个 Web 服务器上一个页面上的某处，这称为相对 URL，相对 URL 必须被解析为绝对 URL，而这由以下代码完成：URL url=new URL(base,str);这又会构造一个 URL，str 为相对 URL，base 为这个 URL 上的页面，这种形式的 URL 类构造函数可构造一个绝对 URL。在 URL

18、变为正确的绝对形式之后，通过检查它是否在等待区，来确认此 URL 是否已经被处理过。如果此 URL 没有被处理过，它会添加到等待区，之后，它会像其他 URL 一样被处理。例 1：查找死链接（ChcekLinks.java）import java.awt.*;import javax.swing.*;import .*;import java.io.*;public class CheckLinks extends javax.swing.JFrame implements Runnable,ISpiderReportable public CheckLinks()/INIT_CONTROLS

19、http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-setTitle(找到死链接);getContentPane().setLayout(null);setSize(405,288);setVisible(false);label1.setText(输入一个 URL：);getContentPane().add(label1);label1.setBounds(12,12,84,12);begin.setText(Begin);begin.setActionCommand(Begin);getContentPane().a

20、dd(begin);begin.setBounds(12,36,84,24);getContentPane().add(url);url.setBounds(108,36,288,24);errorScroll.setAutoscrolls(true);errorScroll.setHorizontalScrollBarPolicy(javax.swing.ScrollPaneConstants.HORIZONTAL_SCROLLBAR_ALWAYS);errorScroll.setVerticalScrollBarPolicy(javax.swing.ScrollPaneConstants.

21、VERTICAL_SCROLLBAR_ALWAYS);errorScroll.setOpaque(true);getContentPane().add(errorScroll);errorScroll.setBounds(12,120,384,156);errors.setEditable(false);errorScroll.getViewport().add(errors);errors.setBounds(0,0,366,138);current.setText(当前处理进度：);getContentPane().add(current);current.setBounds(12,72,

22、384,12);goodLinksLabel.setText(正常链接:0);getContentPane().add(goodLinksLabel);http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-goodLinksLabel.setBounds(12,96,192,12);badLinksLabel.setText(死链接:0);getContentPane().add(badLinksLabel);badLinksLabel.setBounds(216,96,96,12);/INIT_MENUS/REGISTER

23、_LISTENERS SymAction lSymAction=new SymAction();begin.addActionListener(lSymAction);/*参数 args 未使用*/static public void main(String args)(new CheckLinks().setVisible(true);/*添加通知*/public void addNotify()/记录窗口尺寸并调用父类的 addNotify.Dimension size=getSize();super.addNotify();if(frameSizeAdjusted)return;http

24、:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-frameSizeAdjusted=true;/根据菜单栏等调整 Frame 尺寸 Insets insets=getInsets();javax.swing.JMenuBar menuBar=getRootPane().getJMenuBar();int menuBarHeight=0;if(menuBar!=null)menuBarHeight=menuBar.getPreferredSize().height;setSize(insets.left+insets.right

25、+size.width,insets.top+insets.bottom+size.height+menuBarHeight);boolean frameSizeAdjusted=false;/DECLARE_CONTROLS javax.swing.JLabel label1=new javax.swing.JLabel();javax.swing.JButton begin=new javax.swing.JButton();javax.swing.JTextField url=new javax.swing.JTextField();javax.swing.JScrollPane err

26、orScroll=new javax.swing.JScrollPane();/*存储错误信息*/javax.swing.JTextArea errors=new javax.swing.JTextArea();javax.swing.JLabel current=new javax.swing.JLabel();javax.swing.JLabel goodLinksLabel=new javax.swing.JLabel();javax.swing.JLabel badLinksLabel=new javax.swing.JLabel();/DECLARE_MENUS/*http:/ 爱博

27、文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-*后台蜘蛛线程*/protected Thread backgroundThread;protected Spider spider;protected URL base;protected int badLinksCount=0;protected int goodLinksCount=0;/*用于分发事件的内部类*/class SymAction implements java.awt.event.ActionListener public void actionPerformed(j

28、ava.awt.event.ActionEvent event)Object object=event.getSource();if(object=begin)begin_actionPerformed(event);/*当 begin 或 cancel 按钮被点击时调用*参数 event 与按钮相连*/void begin_actionPerformed(java.awt.event.ActionEvent event)if(backgroundThread=null)begin.setLabel(Cancel);backgroundThread=new Thread(this);backg

29、roundThread.start();http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-goodLinksCount=0;badLinksCount=0;else spider.cancel();/*执行后台线程操作*/public void run()try errors.setText();spider=new Spider(this);spider.clear();base=new URL(url.getText();spider.addURL(base);spider.begin();Runnable doLa

30、ter=new Runnable()public void run()begin.setText(Begin);SwingUtilities.invokeLater(doLater);backgroundThread=null;catch(MalformedURLException e)UpdateErrors err=new UpdateErrors();http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-err.msg=错误地址。;SwingUtilities.invokeLater(err);/*当找到某一 URL

31、时由蜘蛛调用，在此验证链接。*参数 base 是找到链接时的页面*参数 url 是链接地址*/public boolean spiderFoundURL(URL base,URL url)UpdateCurrentStats cs=new UpdateCurrentStats();cs.msg=url.toString();SwingUtilities.invokeLater(cs);if(!checkLink(url)UpdateErrors err=new UpdateErrors();err.msg=url+(on page +base+)n;SwingUtilities.invokeL

32、ater(err);badLinksCount+;return false;goodLinksCount+;if(!url.getHost().equalsIgnoreCase(base.getHost()return false;else return true;/*http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-*当发现 URL 错误时调用*参数 url 是导致错误的 URL*/public void spiderURLError(URL url)/*由内部调用检查链接是否有效*参数 url 是被检查的链接*返回

33、True 表示链接正常有效*/protected boolean checkLink(URL url)try URLConnection connection=url.openConnection();connection.connect();return true;catch(IOException e)return false;/*当蜘蛛找到电子邮件地址时调用*参数 email 为找到的电子邮件地址*/public void spiderFoundEMail(String email)http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！

34、版权归作者所有！-/*以线程安全方式更新错误信息的内部类*/class UpdateErrors implements Runnable public String msg;public void run()errors.append(msg);/*以线程安全方式更新当前状态信息*/class UpdateCurrentStats implements Runnable public String msg;public void run()current.setText(当前进度：+msg);goodLinksLabel.setText(正常链接：+goodLinksCount);badLin

35、ksLabel.setText(死链接：+badLinksCount);例 2：报告蜘蛛事件（ISpiderReportable.java）http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-import .*;interface ISpiderReportable public boolean spiderFoundURL(URL base,URL url);public void spiderURLError(URL url);public void spiderFoundEMail(String email);例 3

36、：可复用的蜘蛛类（Spider.java）import java.util.*;import .*;import java.io.*;import javax.swing.text.*;import javax.swing.text.html.*;public class Spider /*导致错误的 URL 集合*/protected Collection workloadError=new ArrayList(3);/*等待区 URL 集合*/protected Collection workloadWaiting=new ArrayList(3);/*处理过的 URL 集合*/prote

37、cted Collection workloadProcessed=new ArrayList(3);protected ISpiderReportable report;/*表明处理过程是否应取消的标志 http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-*/protected boolean cancel=false;/*构造函数*参数 report 为实现了 ISpiderReportable 接口的类*/public Spider(ISpiderReportable report)this.report=repor

38、t;/*获取导致错误的 URL*/public Collection getWorkloadError()return workloadError;/*获取在等待的 URL*应添加至少一个 URL 到此集合以启动蜘蛛*/public Collection getWorkloadWaiting()return workloadWaiting;/*获取被处理过的 URL*/http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-public Collection getWorkloadProcessed()return workl

39、oadProcessed;/*清空所有*/public void clear()getWorkloadError().clear();getWorkloadWaiting().clear();getWorkloadProcessed().clear();/*设置一标志，使 begin 方法在完成之前返回*/public void cancel()cancel=true;public void addURL(URL url)if(getWorkloadWaiting().contains(url)return;if(getWorkloadError().contains(url)return;i

40、f(getWorkloadProcessed().contains(url)return;log(正添加到工作区：+url);http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-getWorkloadWaiting().add(url);public void processURL(URL url)try log(正在处理：+url);/获取 URL 的内容 URLConnection connection=url.openConnection();if(connection.getContentType()!=null)

41、&!connection.getContentType().toLowerCase().s tartsWith(text/)getWorkloadWaiting().remove(url);getWorkloadProcessed().add(url);log(不会进行正理，因为类型为：+connection.getContentType();return;/读取 URL InputStream is=connection.getInputStream();Reader r=new InputStreamReader(is);/解析 URL HTMLEditorKit.Parser parse

42、=new HTMLParse().getParser();parse.parse(r,new Parser(url),true);catch(IOException e)getWorkloadWaiting().remove(url);getWorkloadError().add(url);log(错误：+url);report.spiderURLError(url);return;http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-/标记此 URL 已完成 getWorkloadWaiting().remove(url)

43、;getWorkloadProcessed().add(url);log(已完成：+url);public void begin()cancel=false;while(!getWorkloadWaiting().isEmpty()&!cancel)Object list=getWorkloadWaiting().toArray();for(int i=0;(i processURL(URL)listi);/*HTML 解析器回调函数*/protected class Parser extends HTMLEditorKit.ParserCallback protected URL base;

44、public Parser(URL base)this.base=base;public void handleSimpleTag(HTML.Tag t,MutableAttributeSet a,int pos)String href=(String)a.getAttribute(HTML.Attribute.HREF);http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-if(href=null)&(t=HTML.Tag.FRAME)href=(String)a.getAttribute(HTML.Attribute.

45、SRC);if(href=null)return;int i=href.indexOf(#);if(i!=-1)href=href.substring(0,i);if(href.toLowerCase().startsWith(mailto:)report.spiderFoundEMail(href);return;handleLink(base,href);public void handleStartTag(HTML.Tag t,MutableAttributeSet a,int pos)handleSimpleTag(t,a,pos);/以同样的方式处理 protected void h

46、andleLink(URL base,String str)try URL url=new URL(base,str);if(report.spiderFoundURL(base,url)addURL(url);catch(MalformedURLException e)log(找到畸形 URL：+str);http:/ 爱博文资料下载网 提供海量资料满足您的求知欲！欢迎常去光顾哦！本站所有资源部分转载自互联网！版权归作者所有！-/*由内部调用来记录信息*仅是把日志写到标准输出*参数 entry 为写到日志的信息*/public void log(String entry)System.out.println(new Date()+:+entry);例 4：解析 HTML（HTMLParse.java）import javax.swing.text.html.*;public class HTMLParse extends HTMLEditorKit public HTMLEditorKit.Parser getParser()return super.getParser();