V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
edis0n0
V2EX  ›  程序员

bing 和 google 的爬虫是怎么知道我新注册了域名的?

  •  
  •   edis0n0 · 2023-01-17 17:03:30 +08:00 · 2482 次点击
    这是一个创建于 437 天前的主题,其中的信息可能已经有所发展或是发生改变。
    随便打了 4 个单词在 godaddy 上注册了个长 com 域名用于自用的 api (本身连起来是无意义的,不用随机字母数字是怕公司网管当木马通信域名给 ban 了),觉得没有人会找到,首页都是 404 ,结果从注册那一天起 bing 和 google 的爬虫天天来好几趟
    13 条回复    2023-01-18 17:01:28 +08:00
    kincaid
        1
    kincaid  
       2023-01-17 17:13:21 +08:00
    举一条途径,当然不一定是这个 https://czds.icann.org/zone-requests/all
    也可能跟注册商、解析服务商之间有什么 PY 交易
    fuzzsh
        2
    fuzzsh  
       2023-01-17 17:15:16 +08:00 via Android
    Browser 会上报
    hez2010
        3
    hez2010  
       2023-01-17 17:17:00 +08:00
    你要知道 GoDaddy 是微软的合作伙伴之一。另外 Google 有自己的域名服务,域名厂商之间数据大概是共享的。
    systemcall
        4
    systemcall  
       2023-01-17 17:17:59 +08:00 via Android
    注册商那边上报给搜索引擎了吧
    看看注册域名的协议,有没有提到
    kincaid
        5
    kincaid  
       2023-01-17 17:19:02 +08:00
    @fuzzsh 正解,我看域名访问日志的时候发现如果有人要 Edge 访问我网站的时候还会同时去爬 robots
    crab
        6
    crab  
       2023-01-17 17:54:41 +08:00
    开个抓包工具,你会发现浏览器会提交一些不是你请求的数据。
    hcocoa
        7
    hcocoa  
       2023-01-17 18:49:19 +08:00
    你用什么浏览器上网?
    baobao1270
        8
    baobao1270  
       2023-01-17 19:57:33 +08:00
    说几个可能性:
    1 、浏览器上报
    2 、CDN 上报
    3 、权威 NS 解析服务商上报
    em70
        9
    em70  
       2023-01-17 20:06:02 +08:00
    为什么都是 bing,google 爬虫来,百度,搜狗,360 怎么不来
    abersheeran
        10
    abersheeran  
       2023-01-17 20:14:23 +08:00
    @em70 因为百度垄断大陆市场,它是站长的亲爹,自己提交还爱理不理的。Google 有不少人抢它份额,搜索效果不好别人就转投其他搜索引擎了。
    MurkeyMua
        11
    MurkeyMua  
       2023-01-18 07:00:20 +08:00 via Android
    你或许用的 chrome 或者 edge
    ragnaroks
        12
    ragnaroks  
       2023-01-18 09:05:33 +08:00
    浏览器上报、证书透明度、NS 新增记录
    stabc
        13
    stabc  
       2023-01-18 17:01:28 +08:00
    不觉得是所谓”上报“,应该是之前有人注册过,域名掉很久搜索引擎都会尝试爬
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2814 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 14:52 · PVG 22:52 · LAX 07:52 · JFK 10:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.