Perl 爬取内容失败

[akagi]

使用的是 Mojo::UserAgent, 用来爬取某网站的用户回答列表，但是爬取时会随机在某网页停止，显示

"Can't call method "all_text" on an undefined value at core.pl line 188."

实现如下，

sub get_keyword_list {
my ($ua, @list, $keyword) = @_;

foreach my $l (@list) {
my $tx = $ua->get($l->[0]);
say $l->[0];
# what should it be?
my $answer = $tx->res->dom->at('div.zm-editable-content.clearfix')->all_text;
my $timestamp = $tx->res->dom->at('a.answer-date-link.meta-item')->text;
open my ($tmp), '>>', 'tmp.txt' or die;
say $tmp $answer;
say $tmp $timestamp;
}
}

其中 $l->[0] 取到列表中各网页 url, 类似如下形式： http://www.zhihu.com/question/20304733/answer/25775012

为什么会出现错误，无法理解ing, 求解。

[forbe]

用 Go吧，http://meijia0.com就是我最近用GO写的一个小爬虫，很简单很方便

[11138]

先判断一下“get”成功了再往下操作。

[orzfly]

用来爬取某网站
类似如下形式： http://www.zhihu.com

[akagi]

@11138 出错的原因是什么呢？

[11138]

my $tx = $ua->get($l->[0]);

这里，由于各种网络原因，“get”的结果可能是失败的，所以你要判断一下啊。

http://search.cpan.org/~sri/Mojolicious-5.10/lib/Mojo/UserAgent.pm

if (my $res = $tx->success) { say $res->body }
else {
my $err = $tx->error;
die "$err->{code} response: $err->{message}" if $err->{code};
die "Connection error: $err->{message}";
}

[akagi]

@11138 恩，我表述的不大清楚。之前你的回复我看明白了，只是还没搞懂get失败的可能原因。如果单次get可以成功，多条情况可能失败，这里的“各种网络原因”，具体可能有哪些，希望能稍微展开下 :)

[11138]

如果获取失败你可以将错误的信息打印出来看看啊，参考上面的代码。

[akagi]

@11138 嗯，谢谢。