V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Daddy
V2EX  ›  问与答

wget 怎样最简单地爬图片?

  •  
  •   Daddy · 2015-09-07 12:19:22 +08:00 · 1932 次点击
    这是一个创建于 3147 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看到某个站,有很多漂亮壁纸,想收集起来,但一张张点又麻烦,
    网站是这样格式的 xxx.com/xxx-1.html, 然后 xxx-2.html 格式,每页若干张壁纸;

    想问下,能否用 wget 命令把壁纸都收集下来?

    3 条回复    2015-09-09 08:08:05 +08:00
    morefreeze
        1
    morefreeze  
       2015-09-07 12:23:54 +08:00
    for i in {1..100};do wget -k -p http://xxx.com/xxx-${i}.html; done

    -k 将链接换成绝对地址
    -p 将下载需要的文件使得能离线访问这个页面

    PS: 以上并未实际测试,只是思路
    dontwanttologin
        2
    dontwanttologin  
       2015-09-08 14:18:50 +08:00
    把地址给我,我看看能不能用其他的方法下载
    uuspider
        3
    uuspider  
       2015-09-09 08:08:05 +08:00
    shell 脚本, curl + while/until ,不超过十行;如果需要翻页,再加上 sed/awk ,足够了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   949 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 22:23 · PVG 06:23 · LAX 15:23 · JFK 18:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.