Posted on 02-09-2008
Filed Under (技术) by waterlin

最近因为工作需要,一直要监视几个网页,如果有更新,就要对它们进行一些处理。每天不停地刷网页,太无聊太痛苦了,于是用Perl写了一个自动监视网页并提取相关信息的东西。

首先,要装上LWP::UserAgentHTML::Manipulator这两个Perl模块。整体思路是用LWP::UserAgent模块读取特定网页下来,然后再用HTML::Manipulator来对保存下来的html进行操作,分离出你想要的部分。

1) 用LWP::UserAgent来操作网页十分简单,基本上以下几个步骤就搞定了:

use LWP::UserAgent;
$ua = LWP::UserAgent->new;
$ua->agent(“MyApp/0.1 “);
print “Please input the url you want to save:\n”;
chomp($url = );

# Create a request
my $req = HTTP::Request->new(POST => $url);
$req->content_type(‘application/x-www-form-urlencoded’);
$req->content(‘query=libwww-perl&mode=dist’);

# Pass request to the user agent and get a response back
my $res = $ua->request($req);

# Check the outcome of the response
if ($res->is_success) {
#do whatever you want to do here
}
else {
print $res->status_line, “\n”;
}

2) 读取了网页后,就可以用HTML::ManipulatorHTML::Manipulator::extract_title把该网页的标题读出来,用HTML::Manipulator::extract_content把你关心的某一部分内容读取出来,例如:

my $title = HTML::Manipulator::extract_title($res->content);
my $content = HTML::Manipulator::extract_content($res->content, ‘articleBody’);

就是读取html里id为articleBody部分的内容。

我在写我的程序的时候,还用了delHtml函数来对读取出来的内容进行了进一步的格式化,把里面多余的html代码去掉了。如里需要程序自动判断网页是否从特定时间开始有无更新,则需要用上LWP::UserAgentif-modified-since了。

© 2008, 浏忙大爆炸. All rights reserved.
除非注明,浏忙大爆炸文章均为原创,转载请以链接形式标明本文地址。

(1) Comment    (1,722) Views    Read More   

Comments

[…] 当然不能每天人工去查看每个网页了!于是我写了一个Perl脚本去自动检查。每天上班运行一下,就知道是否有更新;有更新的话,自动把内容拷贝下来,按相应的格式存到特定的文件里。 […]


Post a Comment
Name:
Email:
Website:
Comments: