首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sunfishlu
V2EX  ›  程序员

请问各位大佬有没有办法获取搜索引擎收录某网站的所有页面？

  •   
  •   sunfishlu · 2020-05-18 07:48:08 +08:00 via iPhone · 1946 次点击
    这是一个创建于 1641 天前的主题，其中的信息可能已经有所发展或是发生改变。
  • 请问
  • 收录
  • 大佬
  • 搜索引擎
    8 条回复
    mzlogin
        1
    mzlogin  
       2020-05-18 07:57:29 +08:00 via Android
    你要的是搜索 site:xxxx.com 的效果吗？(逃
    sunfishlu
        2
    sunfishlu  
    OP
       2020-05-18 08:05:05 +08:00 via iPhone
    @mzlogin 不是，这个搜索有限制，最多显示 100 页。
    soy
        3
    soy  
       2020-05-18 08:24:22 +08:00 via Android
    入职搜索引擎公司 然后对所有收录的网页数据跑个 MapReduce （逃
    kaiki
        4
    kaiki  
       2020-05-18 08:27:27 +08:00
    @soy 要不直接入职这个网站的公司吧，这样应该更方便点
    Tianao
        5
    Tianao  
       2020-05-18 08:54:26 +08:00 via iPhone
    进搜索引擎站长工具 /站长后台。
    Mutoo
        6
    Mutoo  
       2020-05-18 08:57:07 +08:00
    如果网站有 sitemap.xml 直接遍历即可。
    TimePPT
        7
    TimePPT  
       2020-05-18 09:16:07 +08:00 via Android
    如果是比较大的站，搜索引擎前台根本不会全放出来。这个跟搜索效率工程实现相关。
    sunfishlu
        8
    sunfishlu  
    OP
       2020-05-18 11:33:39 +08:00 via iPhone
    @soy 我自己的网站被黑了，备份也没了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1012 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 21:29 · PVG 05:29 · LAX 13:29 · JFK 16:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.