扩展Heritrix的FrontierScheduler（正则表达式的应用）

heritrix有多个扩展点，这里我扩展FrontierScheduler,它是一个PostProcessor，它的作用是在Extractor 中所分析的链接加到Frontier中。

FrontierScheduler在org.archive.crawler.postprocessor包下面，我写一个类MyFrontierScheduler来继承FrontierScheduler类，，自己写

的MyFrontierScheduler可以重新放在一个新的包里面，也可以放在父类（FrontierScheduler）的包里面，然后重写FrontierScheduler的

schedule()方法。即可简单的实现自己定制的页面抓取逻辑。

父类的schedule()方法原来是是这样的：

protected void schedule(CandidateURI caUri) {
        getController().getFrontier().schedule(caUri);
    }
我简单的扩展了schedule()，变为下面这样的：
<pre name="code" class="java">protected void schedule(CandidateURI caUri)
	{
		String url=caUri.toString();
		url = url.toLowerCase();
		//設置為只抓取news.baidu.com開頭的uri
		if(url.startsWith("new.baidu.com"))
		{
			getController().getFrontier().schedule(caUri);
		}
	}
或者这样的：
<pre name="code" class="java">protected void schedule(CandidateURI caUri)
	{
		String uri = caUri.toString();
		//设置抓取规则：URI中包含qq的抓取
		if(!uri.contains("qq"))
		{
			System.out.println(uri);//控制台打印输出
			getController().getFrontier().schedule(caUri);
		}
	}

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!