V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
akagi
V2EX  ›  Perl

Perl 爬取内容失败

  •  
  •   akagi · 2014-07-01 00:07:54 +08:00 · 7649 次点击
    这是一个创建于 3559 天前的主题,其中的信息可能已经有所发展或是发生改变。
    使用的是 Mojo::UserAgent, 用来爬取某网站的用户回答列表,但是爬取时会随机在某网页停止,显示

    "Can't call method "all_text" on an undefined value at core.pl line 188."

    实现如下,

    sub get_keyword_list {
    my ($ua, @list, $keyword) = @_;

    foreach my $l (@list) {
    my $tx = $ua->get($l->[0]);
    say $l->[0];
    # what should it be?
    my $answer = $tx->res->dom->at('div.zm-editable-content.clearfix')->all_text;
    my $timestamp = $tx->res->dom->at('a.answer-date-link.meta-item')->text;
    open my ($tmp), '>>', 'tmp.txt' or die;
    say $tmp $answer;
    say $tmp $timestamp;
    }
    }

    其中 $l->[0] 取到列表中各网页 url, 类似如下形式: http://www.zhihu.com/question/20304733/answer/25775012

    为什么会出现错误,无法理解ing, 求解。
    8 条回复    2014-07-01 11:23:31 +08:00
    forbe
        1
    forbe  
       2014-07-01 00:29:37 +08:00
    用 Go吧,http://meijia0.com就是我最近用GO写的一个小爬虫,很简单很方便
    11138
        2
    11138  
       2014-07-01 06:07:07 +08:00   ❤️ 1
    先判断一下“get”成功了再往下操作。
    orzfly
        3
    orzfly  
       2014-07-01 07:47:32 +08:00
    用来爬取某网站
    类似如下形式: http://www.zhihu.com
    akagi
        4
    akagi  
    OP
       2014-07-01 09:59:40 +08:00
    @11138 出错的原因是什么呢?
    11138
        5
    11138  
       2014-07-01 10:44:18 +08:00
    my $tx = $ua->get($l->[0]);

    这里,由于各种网络原因,“get”的结果可能是失败的,所以你要判断一下啊。

    http://search.cpan.org/~sri/Mojolicious-5.10/lib/Mojo/UserAgent.pm

    if (my $res = $tx->success) { say $res->body }
    else {
    my $err = $tx->error;
    die "$err->{code} response: $err->{message}" if $err->{code};
    die "Connection error: $err->{message}";
    }
    akagi
        6
    akagi  
    OP
       2014-07-01 11:07:10 +08:00
    @11138 恩,我表述的不大清楚。之前你的回复我看明白了,只是还没搞懂get失败的可能原因。如果单次get可以成功,多条情况可能失败,这里的“各种网络原因”,具体可能有哪些,希望能稍微展开下 :)
    11138
        7
    11138  
       2014-07-01 11:16:11 +08:00
    如果获取失败你可以将错误的信息打印出来看看啊,参考上面的代码。
    akagi
        8
    akagi  
    OP
       2014-07-01 11:23:31 +08:00
    @11138 嗯,谢谢。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2820 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 00:19 · PVG 08:19 · LAX 17:19 · JFK 20:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.