本文共 14758 字，大约阅读时间需要 49 分钟。

文章出处：

 

 

 

   需要做一个垂直搜索引擎，比较了nekohtml和htmlparser 的功能，尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好（htmlunit也用的是nekohtml），但感觉 nekohtml的测试用例和文档都比htmlparser都少，而且htmlparser基本上能够满足垂直搜索引擎页面处理分析的需求，因此先研究一下htmlparser的使用，有空再研究nekohtml和mozilla html parser的使用。

    html的功能还是官方说得最为清楚，

引用    HTML Parser is a Java library used to parse HTML in either a linear or nested fashion. Primarily used for transformation or extraction, it features filters, visitors, custom tags and easy to use JavaBeans. It is a fast, robust and well tested package.

    The two fundamental use-cases that are handled by the parser are extraction and transformation (the syntheses use-case, where HTML pages are created from scratch, is better handled by other tools closer to the source of data). While prior versions concentrated on data extraction from web pages, Version 1.4 of the HTMLParser has substantial improvements in the area of transforming web pages, with simplified tag creation and editing, and verbatim toHtml() method output.

 

    研究的重点还是extraction的使用，有空再研究transformation的使用。

1、htmlparser对html页面处理的数据结构

 

 

 

 

如图所示，HtmlParser采用了经典的Composite模式，通过RemarkNode、TextNode、TagNode、AbstractNode和Tag来描述HTML页面各元素。

    * org.htmlparser.Node：

    Node接口定义了进行树形结构节点操作的各种典型操作方法，包括：

    节点到html文本、text文本的方法：toPlainTextString、toHtml

   典型树形结构遍历的方法：getParent、getChildren、getFirstChild、getLastChild、getPreviousSibling、getNextSibling、getText

    获取节点对应的树形结构结构的顶级节点Page对象方法：getPage

    获取节点起始位置的方法：getStartPosition、getEndPosition

   Visitor方法遍历节点时候方法：accept (NodeVisitor visitor)

    Filter方法：collectInto (NodeList list, NodeFilter filter)

    Object方法：toString、clone

    * org.htmlparser.nodes.AbstractNode：

    AbstractNode是形成HTML树形结构抽象基类，实现了Node接口。

    在htmlparser中，Node分成三类：

    RemarkNode：代表Html中的注释

    TagNode：标签节点。

    TextNode：文本节点

    这三类节点都继承AbstractNode。

    * org.htmlparser.nodes.TagNode：

    TagNode包含了对HTML处理的核心的各个类，是所有TAG的基类，其中有分为包含其他TAG的复合节点ComositeTag和不包含其他TAG的叶子节点Tag。

    复合节点CompositeTag：  

        AppletTag,BodyTag,Bullet,BulletList,DefinitionList,DefinitionListBullet,Div,FormTag,FrameSetTag,HeadingTag,

        HeadTag,Html,LabelTag,LinkTag,ObjectTag,ParagraphTag,ScriptTag,SelectTag,Span,StyleTag,TableColumn,

       TableHeader,TableRow,TableTag,TextareaTag,TitleTag

    叶子节点TAG：

        BaseHrefTag,DoctypeTag,FrameTag,ImageTag,InputTag,JspTag,MetaTag,ProcessingInstructionTag,

2、htmlparser对html页面处理的算法

主要是如下几种方式

 

引用

    HTML Parser is a Java library used to parse HTML in either a linear or nested fashion. Primarily used for transformation or extraction, it features filters, visitors, custom tags and easy to use JavaBeans. It is a fast, robust and well tested package.

    The two fundamental use-cases that are handled by the parser are extraction and transformation (the syntheses use-case, where HTML pages are created from scratch, is better handled by other tools closer to the source of data). While prior versions concentrated on data extraction from web pages, Version 1.4 of the HTMLParser has substantial improvements in the area of transforming web pages, with simplified tag creation and editing, and verbatim toHtml() method output.

 

    研究的重点还是extraction的使用，有空再研究transformation的使用。

1、htmlparser对html页面处理的数据结构

 

Java代码

    * 采用Visitor方式访问Html       try {        Parser parser = new Parser();        parser.setURL(”http://www.google.com”);        parser.setEncoding(parser.getEncoding());        NodeVisitor visitor = new NodeVisitor() {            public void visitTag(Tag tag) {                logger.fatal(”testVisitorAll()  Tag name is :”                        + tag.getTagName() + ” /n Class is :”                        + tag.getClass());            }           };           parser.visitAllNodesWith(visitor);    } catch (ParserException e) {        e.printStackTrace();    }           * 采用Filter方式访问html       try {           NodeFilter filter = new NodeClassFilter(LinkTag.class);        Parser parser = new Parser();        parser.setURL(”http://www.google.com”);        parser.setEncoding(parser.getEncoding());        NodeList list = parser.extractAllNodesThatMatch(filter);        for (int i = 0; i < list.size(); i++) {            LinkTag node = (LinkTag) list.elementAt(i);            logger.fatal(”testLinkTag() Link is :” + node.extractLink());        }    } catch (Exception e) {        e.printStackTrace();    }           * 采用org.htmlparser.beans方式       另外htmlparser 还在org.htmlparser.beans中对一些常用的方法进行了封装，以简化操作，例如：       Parser parser = new Parser();       LinkBean linkBean = new LinkBean();    linkBean.setURL(”http://www.google.com”);    URL[] urls = linkBean.getLinks();       for (int i = 0; i < urls.length; i++) {        URL url = urls[i];        logger.fatal(”testLinkBean() -url  is :” + url);    }            3、htmlparser关键包结构说明           htmlparser其实核心代码并不多，好好研究一下其代码，弥补文档不足的问题。同时htmlparser的代码注释和单元测试用例还是很齐全的，也有助于了解htmlparser的用法。          3.1、org.htmlparser           定义了htmlparser的一些基础类。其中最为重要的是Parser类。           Parser是htmlparser的最核心的类，其构造函数提供了如下：Parser.createParser (String html, String charset)、 Parser ()、 Parser (Lexer lexer, ParserFeedback fb)、 Parser (URLConnection connection, ParserFeedback fb)、 Parser (String resource, ParserFeedback feedback)、 Parser (String resource)         各构造函数的具体用法及含义可以查看其代码，很容易理解。         Parser常用的几个方法：           *   elements获取元素           Parser parser = new Parser (”http://www.google.com”);        for (NodeIterator i = parser.elements (); i.hasMoreElements (); )          processMyNodes (i.nextNode ());           * parse (NodeFilter filter)：通过NodeFilter方式获取        * visitAllNodesWith (NodeVisitor visitor)：通过Nodevisitor方式        * extractAllNodesThatMatch (NodeFilter filter)：通过NodeFilter方式       3.2、org.htmlparser.beans           对Visitor和Filter的方法进行了封装，定义了针对一些常用html元素操作的bean，简化对常用元素的提取操作。           包括：FilterBean、HTMLLinkBean、HTMLTextBean、LinkBean、StringBean、BeanyBaby等。    3.3、org.htmlparser.nodes           定义了基础的node，包括：AbstractNode、RemarkNode、TagNode、TextNode等。    3.4、org.htmlparser.tags           定义了htmlparser的各种tag。    3.5、org.htmlparser.filters           定义了htmlparser所提供的各种 filter，主要通过extractAllNodesThatMatch (NodeFilter filter)来对html页面指定类型的元素进行过滤，包括：AndFilter、CssSelectorNodeFilter、 HasAttributeFilter、 HasChildFilter、HasParentFilter、HasSiblingFilter、 IsEqualFilter、 LinkRegexFilter、LinkStringFilter、NodeClassFilter、 NotFilter、OrFilter、 RegexFilter、StringFilter、TagNameFilter、XorFilter    3.6、org.htmlparser.visitors          定义了htmlparser所提供的各种 visitor，主要通过visitAllNodesWith (NodeVisitor visitor)来对html页面元素进行遍历，包括：HtmlPage、LinkFindingVisitor、NodeVisitor、 ObjectFindingVisitor、 StringFindingVisitor、TagFindingVisitor、 TextExtractingVisitor、 UrlModifyingVisitor            3.7、org.htmlparser.parserapplications          定义了一些实用的工具，包括LinkExtractor、SiteCapturer、StringExtractor、WikiCapturer，这几个类也可以作为htmlparser使用样例。    3.8、org.htmlparser.tests          对各种功能的单元测试用例，也可以作为htmlparser使用的样例。            4、htmlparser的使用样例               import java.net.URL;       import junit.framework.TestCase;       import org.apache.log4j.Logger;    import org.htmlparser.Node;    import org.htmlparser.NodeFilter;    import org.htmlparser.Parser;    import org.htmlparser.Tag;    import org.htmlparser.beans.LinkBean;    import org.htmlparser.filters.NodeClassFilter;    import org.htmlparser.filters.OrFilter;    import org.htmlparser.filters.TagNameFilter;    import org.htmlparser.tags.HeadTag;    import org.htmlparser.tags.ImageTag;    import org.htmlparser.tags.InputTag;    import org.htmlparser.tags.LinkTag;    import org.htmlparser.tags.OptionTag;    import org.htmlparser.tags.SelectTag;    import org.htmlparser.tags.TableColumn;    import org.htmlparser.tags.TableRow;    import org.htmlparser.tags.TableTag;    import org.htmlparser.tags.TitleTag;    import org.htmlparser.util.NodeIterator;    import org.htmlparser.util.NodeList;    import org.htmlparser.util.ParserException;    import org.htmlparser.visitors.HtmlPage;    import org.htmlparser.visitors.NodeVisitor;    import org.htmlparser.visitors.ObjectFindingVisitor;       public class ParserTestCase extends TestCase {           private static final Logger logger = Logger.getLogger(ParserTestCase.class);           public ParserTestCase(String name) {            super(name);        }        /*        * 测试ObjectFindVisitor的用法        */       public void testImageVisitor() {            try {                ImageTag imgLink;                ObjectFindingVisitor visitor = new ObjectFindingVisitor(                        ImageTag.class);                Parser parser = new Parser();                parser.setURL(”http://www.google.com”);                parser.setEncoding(parser.getEncoding());                parser.visitAllNodesWith(visitor);                Node[] nodes = visitor.getTags();                for (int i = 0; i < nodes.length; i++) {                    imgLink = (ImageTag) nodes[i];                    logger.fatal(”testImageVisitor() ImageURL = “                            + imgLink.getImageURL());                    logger.fatal(”testImageVisitor() ImageLocation = “                            + imgLink.extractImageLocn());                    logger.fatal(”testImageVisitor() SRC = “                            + imgLink.getAttribute(”SRC”));                }            }            catch (Exception e) {                e.printStackTrace();            }        }        /*        * 测试TagNameFilter用法        */       public void testNodeFilter() {            try {                NodeFilter filter = new TagNameFilter(”IMG”);                Parser parser = new Parser();                parser.setURL(”http://www.google.com”);                parser.setEncoding(parser.getEncoding());                NodeList list = parser.extractAllNodesThatMatch(filter);                for (int i = 0; i < list.size(); i++) {                    logger.fatal(”testNodeFilter() ” + list.elementAt(i).toHtml());                }            } catch (Exception e) {                e.printStackTrace();            }           }        /*        * 测试NodeClassFilter用法        */       public void testLinkTag() {            try {                   NodeFilter filter = new NodeClassFilter(LinkTag.class);                Parser parser = new Parser();                parser.setURL(”http://www.google.com”);                parser.setEncoding(parser.getEncoding());                NodeList list = parser.extractAllNodesThatMatch(filter);                for (int i = 0; i < list.size(); i++) {                    LinkTag node = (LinkTag) list.elementAt(i);                    logger.fatal(”testLinkTag() Link is :” + node.extractLink());                }            } catch (Exception e) {                e.printStackTrace();            }           }        /*        * 测试<link href=” text=’text/css’ rel=’stylesheet’ />用法        */       public void testLinkCSS() {            try {                   Parser parser = new Parser();                parser                        .setInputHTML(”<head><title>Link Test</title>”                                + “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”                                + “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”                                + “</head>” + “<body>”);                parser.setEncoding(parser.getEncoding());                NodeList nodeList = null;                   for (NodeIterator e = parser.elements(); e.hasMoreNodes();) {                    Node node = e.nextNode();                    logger                            .fatal(”testLinkCSS()” + node.getText()                                    + node.getClass());                   }            } catch (Exception e) {                e.printStackTrace();            }        }        /*        * 测试OrFilter的用法        */       public void testOrFilter() {            NodeFilter inputFilter = new NodeClassFilter(InputTag.class);            NodeFilter selectFilter = new NodeClassFilter(SelectTag.class);            Parser myParser;            NodeList nodeList = null;               try {                Parser parser = new Parser();                parser                        .setInputHTML(”<head><title>OrFilter Test</title>”                                + “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”                                + “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”                                + “</head>”                                + “<body>”                                + “<input type=’text’ value=’text1′ name=’text1′/>”                                + “<input type=’text’ value=’text2′ name=’text2′/>”                                + “<select><option id=’1′>1</option><option id=’2′>2</option><option id=’3′></option></select>”                                + “<a href=’http://www.yeeach.com’>yeeach.com</a>”                                + “</body>”);                   parser.setEncoding(parser.getEncoding());                OrFilter lastFilter = new OrFilter();                lastFilter.setPredicates(new NodeFilter[] { selectFilter,                        inputFilter });                nodeList = parser.parse(lastFilter);                for (int i = 0; i <= nodeList.size(); i++) {                    if (nodeList.elementAt(i) instanceof InputTag) {                        InputTag tag = (InputTag) nodeList.elementAt(i);                        logger.fatal(”OrFilter tag name is :” + tag.getTagName()                                + ” ,tag value is:” + tag.getAttribute(”value”));                    }                    if (nodeList.elementAt(i) instanceof SelectTag) {                        SelectTag tag = (SelectTag) nodeList.elementAt(i);                        NodeList list = tag.getChildren();                           for (int j = 0; j < list.size(); j++) {                            OptionTag option = (OptionTag) list.elementAt(j);                            logger                                    .fatal(”OrFilter Option”                                            + option.getOptionText());                        }                       }                }               } catch (ParserException e) {                e.printStackTrace();            }        }        /*        * 测试对<table><tr><td></td></tr></table>的解析        */       public void testTable() {            Parser myParser;            NodeList nodeList = null;            myParser = Parser.createParser(”<body> ” + “<table id=’table1′ >”                    + “<tr><td>1-11</td><td>1-12</td><td>1-13</td>”                    + “<tr><td>1-21</td><td>1-22</td><td>1-23</td>”                    + “<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>”                    + “<table id=’table2′ >”                    + “<tr><td>2-11</td><td>2-12</td><td>2-13</td>”                    + “<tr><td>2-21</td><td>2-22</td><td>2-23</td>”                    + “<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>”                    + “</body>”, “GBK”);            NodeFilter tableFilter = new NodeClassFilter(TableTag.class);            OrFilter lastFilter = new OrFilter();            lastFilter.setPredicates(new NodeFilter[] { tableFilter });  

 

 

 

1、 简介

htmlparser是一个纯的java写的html解析的库，它不依赖于其它的java库文件，主要用于改造或提取html。它提供了接口，支持线性和嵌套HTML文本。在实际的项目中只需要将htmlparser.jar 导入classpath中，就可以使用HTMLParser提供的API了。

2、 主要应用

HTML Parser项目主要可以用在以下两个方面：

1）． 信息提取 · 文本信息抽取，例如对HTML进行有效信息搜索 · 链接提取，用于自动给页面的链接文本加上链接的标签 · 资源提取，例如对一些图片、声音的资源的处理 · 链接检查，用于检查HTML中的链接是否有效 · 页面内容的监控 2）． 信息转换 · 链接重写，用于修改页面中的所有超链接 · 网页内容拷贝，用于将网页内容保存到本地 · 内容检验，可以用来过滤网页上一些令人不愉快的字词 · HTML信息清洗，把本来乱七八糟的HTML信息格式化 · 转成XML格式数据 3、 数据组织分析

HTML有3种类型的节点：RemarkNode：html中的注释，TagNode：标签节点，TextNode：文本节点。HTMLParser将读取的二进制数据流，进行编码转换、词法分析等操作，生成树形层次结构的Node节点集合。

HtmlParser主要靠Node和Tag来表达Html。

Node是形成树结构表示HTML的基础，所有的数据表示都是接口Node的实现，Node定义了与页面树结构所表达的页面Page对象，定义了获取父、子、兄弟节点的方法，定义了节点到对应html文本的方法，定义了该节点对应的起止位置，定义了过滤方法 ，定义了Visitor访问机制。AbstractNode是Node的一种具体的类实现，起到构成树形结构的作用，除了同具体Node相关的accetp方法，toString，toHtml，toPlainTextString方法以外，AbstractNode实现了大多基本的方 法，使得它的子类，不用理会具体的树操作。

Node分成三类：§ RemarkNode:代表Html中的注释 § TagNode：标签节点，是种类最多的节点类型，上述Tag的具体节点类都是TagNode的实现。 § TextNode：文本节点Tag是具体分析的主要内容。Tag分成composite的Tag和不能包含其他Tag的简单Tag两类，其中前者的基类是CompositeTag，其子类包含BodyTag,Div,FrameSetTag,OptionTag，等27个子类 ；而简单Tag有BaseHrefTag、DoctypeTag,FrameTag，ImageTag，InputTag，JspTag，MetaTag，ProcessingInstructionTag这八类。

4、Visitor方式访问Html：

(1)、整体解析过程§ 用一个URL或页面String做一个Parser § 用这个Parser做一个Visitor § 使用Parser.visitAllNodeWith(Visitor)来遍历节点 § 获取Visitor遍历后得到的数据 (2)、系统Visitor功能简介：§ ObjectFindingVisitor：用来找出所有指定类型的节点，采用getTags()来获取结果。 § StringBean：用来从一个指定的URL获取移除了<SCRIPT></SCRIPT>和<PRE></PRE>之间代码的Html代码，也可以用做Visitor，用来移除这两种标签内部的代码，采用StringBean.getStrings()来获取结果。 § HtmlPage：提取Title，body中的节点和页面中的TableTag节点。 § LinkFindingVisitor:找出节点中包含某个链接的总个数。 § StringFindingVisitor：找出遍历的TextNode中含有指定字符串的个数。 § TagFindingVisitor：找出指定Tag的所有节点，可以指定多种类型。 § TextExtractingVisitor：从网页中把所有标签去掉来提取文本，这个提取文本的Visitor有时是很实用的 ，只是注意在提取文本时将标签的属性也去掉了，也就是说只剩下标签之间的文本，例如<a>中的链接也去掉了。 § UrlModifyingVisitor：用来修改网页中的链接。(3)、Filter如果说visitor是遍历提取信息，当然这个信息可以包括某些节点或者从节点分析出来的更有效的信息，这都取决于我们的Visitor做成什么样子，那么Filter则目标很明确，就是用来提取节点的。系统定义了17种具体的Filter，包括依据节点父子关系的Filter，连接Filter组合的Filter，依据网页内容匹配情况的filter，等等。我们也可以implement Filter来做自己的Filter来提取节点。Filter的调用是同Visitor独立的，因为也无需先filter出一些NodeList，再用Visitor来访问。调用Filter的方法是：NodeList nodeList = myParser.parse(someFilter);解析之后，我们可以采用：Node[] nodes = nodeList.toNodeArray();来获取节点数组，也可以直接访问：Node node = nodeList.elementAt(i)来获取Node。另外，在Filter后得到NodeList以后，我们仍然可以使用NodeList的extractAllNodesThatMatch (someFilter)来进一步过滤，同时又可以用NodeList的isitAllNodesWith(someVisitor)来做进一步的访问。

这样，我们可以看到HtmlParser为我们提供了非常方便的Html解析方式，针对不同的应用可以采用visitor来遍历Html节点提取数据，也可以用Filter来过滤节点，提取出我们所关注的节点，再对节点进行处理。通过这样的组合，一定能够找出我们所需要的信息。

5、乱码问题

对于HTMLParser 工具包我们需要修改其中的htmlparser.java文件使其适用中文的html文件分析。htmlparser.java文件中具体实现细节就不再介绍。这里主要是把protected static final String DEFAULT_CHARSET = "ISO-8859-1"；修改成protected static final String DEFAULT_CHARSET = "gb2312"；因为采用默认的字符集"ISO-8859-1"对含有中文的html文件进行分析的时候就会出现乱码。必须进行new String(str.getBytes("ISO-8859-1")，"GB2312")的转换工作。对于修改好的htmlparser工具包，需要重新压缩成.jar文件，放到jdk的工作环境中。

 

转载地址：https://blog.csdn.net/thamsyangsw/article/details/4417273 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！