800 买的港版拆封未激活, 64G

如果需要批量写爬虫, 直接使用 scrapy, 迭代这么多年的开源项目, 帮你处理并发/重试/cookie/任务调度/指标统计等一系列问题, 有啥不满意的, 别听他们什么薄封装, 厚封装, 根本就是懒得翻文档, 只好重复写轮子罢了

框架的意义就在于帮你模块化处理各种事情, 用户只需要关注处理具体的 http 请求, 当在使用中逐渐熟悉 scrapy, 就会了解设计的精妙之处, 如果不满意之处, 也可以自由添加自己的功能

当然, 如果你只是想临时写一个小的爬虫, 并且不熟悉 scrapy, 那直接用 requests 就很合适

如果追求极致底层, 那应该用 urllib😊

收藏远大于回复, 希望大家多多发表看法

帖子的收藏远多于回复, 还是希望大家根据自己的经验分享下感受

@hackape #35 是这样的

@noparking188 #33 请问你这边现在做哪方面工作, aws google 国内用的多吗? 我感觉初级也不好找吧

@feeloong #30 感谢分享, 我的思路还是自学, 学习可以通过多方面, 3rcd 是我了解到 ts 的开始, 其实官方教程, Coursera/Youtube 都可以找找, 最终组合出一套学习路径即可

@FrankHB #4 TS + 2

@pengtdyd #3 感谢, 这恰恰是我所看重的, 就是实现自己想法的能力

@jones2000 至于老哥说的 js 的执行引擎器, 我确实没做过, 从解决问题的思路看, 通常会逆向解析 js 代码, 能还原的尽量还原, 直接调用. 复杂一些的封装后使用 selenium/Splash 即可

@jones2000 #6 确实打算换赛道了
从几年的工作来看, 我觉得爬虫的核心是逆向(app+js)和风控, 抛开国外佛系的环境, 国内这几年的 app 加密以及风控都有了解, 不能说到头了, 但花样也就这些, 对抗的终点就是登录+风控

@revalue #9 这就是开放的互联网, 开源革自己一下, 重新做个语言再革自己一遍

@murmur #5 哈哈, 作为普通程序员, 我这里指的技术储备也就是满足市场对程序员的要求, 多赚点钱罢了

我还没体会到数学有太大的需要, 除了数据分析/机器学习这种需要线性代数/统计学等等

@dayeye2006199 #2 是的, 其实国外爬虫应用还一般, 主要是大家不卷, 有用的数据不展示也没啥可怕的, 至于 reddit/twitter 这种做训练语料, 也算爬虫, 但和爬虫技术关系不大, 没啥成长性可言

@289396212 #1 老哥细说😊

@zhangk23 感谢耐心回复, 美国我是不打算去的, 现在的美国也是在卷, 看看 H1b 的排队抽签.

眼界打开, 欧洲/加拿大/澳大利亚/新西兰都可以试试, 我的计划是在补充一段技术之后, 尝试下找个本土外企 or 远程. 其次是远程外包/兼职, anyway, 任何能积累经验都可, 然后 indeed 海投

@brucep #25 可以细说吗, 3R 负责人不行是哪方面, 不诚信还是技术不行

其实我更关注这条路线的可行性, 如果能通过他们的渠道联系到外包和一些雇主也算练手了, 毕竟自学后直接上 indeed 找有点难

至于课程啥的, 自学的过程中参考下即可, 好不好的无所谓

@feeloong #24 你目前的技术栈是啥, 为啥想换?

不应该依赖他们提供的培训服务, 只是想论证这条路线的可行性, 可以参考他们的培训方案, 同时自己决定学习内容, 最终让自己的开发能力满足工作需求

@noparking188 #18 其实还有一个背景, 我是非计算机普通本科毕业, 不管是国内还是国外, 求职这样的工作, 自认为难度会大一些, 特别是当我决心向外