首页   注册   登录
 alaikis 最近的时间轴更新

alaikis

V2EX 第 415041 号会员,加入于 2019-05-23 18:40:59 +08:00
是否可以申请我们的软件基金会
  •  1   
    计算机  •  alaikis  •  126 天前  •  最后回复来自 alaikis
    3
    alaikis 最近回复了
    90 天前
    回复了 MrMike 创建的主题 Python 请教下用 scrapy 如何抓 1688 上的商品数据呢?
    记得加一下代理 IP,一家换两三个就可以了,就是不知道你们的采集量
    90 天前
    回复了 MrMike 创建的主题 Python 请教下用 scrapy 如何抓 1688 上的商品数据呢?
    不需要接口呀,就在 JS 里面,直接正则解析一下就好,我们原来 1688 上亿的采集都是这样操作的,直接 selenium 加谷歌浏览器就 OK 了
    90 天前
    回复了 MrMike 创建的主题 Python 请教下用 scrapy 如何抓 1688 上的商品数据呢?
    你把 www 改成 m 就是详情页的手机版,分页的话,只采购地址是比较简单的
    90 天前
    回复了 MrMike 创建的主题 Python 请教下用 scrapy 如何抓 1688 上的商品数据呢?
    直接解决 JS,里面直接 JSON 就可以,最好的方法是采购手机版,手机版反爬没那么严重,另外,可以申请采购接品,直接拉取也可以。
    存数据库没问题,传用户 ID 没必要吧
    就这几个字段,无法就是一个分页方式,一个 xpath 的解析规则,然后用一个表存一下规则就好了
    126 天前
    回复了 alaikis 创建的主题 计算机 是否可以申请我们的软件基金会
    @shoaly 不好意思,以为没有人回复就没管了,我一直喜欢 apache 的动作机制,而且 apache 在现代互联网的贡献真的很大,中国的开源势力一直不行,可能跟没有这类的组织也有关,上次刚好在民政部看到申请全国性公益组织的要求就是 50 人的最低成员要求以及固定场地,加之爱国了一把,哈哈
    126 天前
    回复了 surfire91 创建的主题 Python 媳妇去面试,被问“ Python 的三要素是啥”
    一般很少人考这个吧,我使用 python 快十年了都没注意到这个,还是百度了一下才知道是 id,type,value
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   916 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 12ms · UTC 19:54 · PVG 03:54 · LAX 11:54 · JFK 14:54
    ♥ Do have faith in what you're doing.