简单的：正则；
复杂通用的：AST

楼主你和我两年前几乎一模一样。
我也是毕业后进入某厂做爬虫，做了一年多后跳槽做了后端。做爬虫期间也做了不少破解工作，像验证码，js 加密破解，APP 的逆向等。
当时做久了觉得这份工作很无聊，平时的工作基本都是在做爬虫的修修补补，应对对方的反爬虫策略。业绩上我们基本都是背锅侠，一旦数据出了问题我们要第一时间顶上，数据没问题的时候就是理所应当。不过现在回想起来其实并不是那么无聊。很多人觉得写爬虫没有一点技术含量，没错，写一个爬虫确实很简单，但写一个「优雅」的爬虫却并不简单。一个靠浏览器模拟爬取的爬虫怎么能喝一个通过破解加密直接请求 API 的爬虫比呢？我在那一年的爬虫工作中最大的收获并不是写爬虫这个技能，而是在爬数据的过程中额外接触到的多个层面的知识。像 HTTP 协议，JavaScript，图像处理，机器学习，逆向等等，以及一些爬虫架构和服务，像去重、调度分发、断点续爬、分布式、缓存、数据库等，还有与其他数据上下游的合作中熟悉的整个数据处理流程和一些大数据的知识。这些基本都是在那一年的爬虫工作中获取到的知识，也是我现在能转型后端的一个原因。这份工作给我带来的不是某个专精的技能，而是拓宽的知识面。
在目前的大环境下，我还是不建议主业做爬虫，前景不是很明朗（合法性）。楼主可以多利用业余时间学一些感兴趣的方向转型，多去试试总会成功的。

@EvilCult on duplicate key update 也会导致原 id 变化的

如果舔到的地方有开放性伤口就要打

想知道楼主得到的是广发什么岗，有什么要求和难度？

@x86 成人版的，应该就是那种球

明天降温了

你第二次是命中缓存了... 在 SQL 中加上 SQL_NO_CACHE 禁用缓存试试。

这个应该是数仓的活

看他平时是否会学一些"不值钱"的技术。

用 goto 来跳出多重循环非常简洁易懂

@wohenyingyu03 小整数缓存我一个不是主写 Java 的都知道

@glacer 更靠谱的还是埋点做行为分析

不存在完美的反爬虫措施，只要爬虫想绕过反爬必然是有办法的。
简单的反 headless 爬虫，以 puppeteer 为例，可设置检查 navigator.webdriver 值

@AltairT 我们也是套路云，一般慢查询能在慢查询日志里查出来优化掉，但有些查询是在一定并发下才会慢，这种就比较头疼，只有在业务异常的时候才会被发现，比较被动。