推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 1709 天前的主题，其中的信息可能已经有所发展或是发生改变。
一直做爬虫会不会路越走越窄？转方向的话有什么好的建议吗？想听听各位大佬看法。
 |
1
zbwu 2020-03-16 21:22:01 +08:00 via iPhone
建议定位是软件工程师
|
 |
2
airqj 2020-03-16 21:22:26 +08:00 via Android
爬虫写得好 牢饭吃到饱
|
 |
3
wujieyuan 2020-03-16 21:46:03 +08:00
Python 爬虫工程师是啥个职位? 写个爬虫应该是个程序员顺便的事情吧, 就这么点小事情还专门分类工程师?
|
 |
4
zhangslob669 2020-03-16 22:27:52 +08:00
转 JAVA
|
 |
5
malusama 2020-03-16 22:30:44 +08:00
爬虫工程师和别的工程师路径不一样么, 会点亮什么不一样的技能
|
 |
6
w568w 2020-03-16 22:42:31 +08:00 via Android
建议转型去搞 Data Analysis。
话说爬虫工程师是什么职务？ |
 |
7
SpencerCJH 2020-03-16 23:13:03 +08:00
写爬虫就不是写后端了???别把自己路走窄了啊
|
 |
8
nightwitch 2020-03-16 23:14:16 +08:00
初级爬虫工程师->中级爬虫工程师->监狱车间标兵
|
 |
9
andylsr 2020-03-16 23:23:24 +08:00 via Android
当然是做一个搜索引擎
|
 |
10
qixiangyangrm 2020-03-16 23:23:43 +08:00
有爬虫工程师这个职位。
个人认为转的方向有两个： 1. 后端开发工程师 2. 数据挖掘 /大数据工程师 可以根据个人爱好及自身能力选择。 PS 我是从爬虫转到后端开发 |
 |
11
locoz 2020-03-17 00:38:52 +08:00 via Android
我一前同事：爬虫工程师-逆向工程师-Android 开发工程师-律师
|
 |
12
neoblackcap 2020-03-17 00:57:12 +08:00
@locoz 司法那么难考都过了啊！是个人才
|
 |
13
ericgui 2020-03-17 01:01:17 +08:00
其实没有爬虫工程师这个职位的
你本来做数据分析的，没数据咋办，爬啊， 这样的思维方式才合理 你就一个天天爬数据的，这有什么前途和发展？ |
 |
14
ksedz 2020-03-17 01:30:42 +08:00
前面有些人好逗，是不是觉得爬虫工程师就是发个 http 请求等响应啊
建议：换个技术方向 爬虫方向主要问题： 1. 不友好的法律环境 2. 跟随他人的脚步走，被动，耗精力 3. 工程方面的共同问题，老板认为你积攒的经验匹配不上期望的薪资，更倾向经验较少但便宜聪明的员工 可以考虑 1. 趁着工资低喜欢哪个换哪个 2. 上面有人提到的逆向 3. 另外有人提的往数据分析上靠，其实这个能继续细分，包括商业的分析能力、大数据开发、机器学习等 4. 直接切到 web 开发上，这个最简单，但发展也很看机遇 |
 |
16
gimp 2020-03-17 08:58:29 +08:00  1
有没有这个职位用招聘软件搜一下不就知道了 😀
合格的爬虫工程师，CSS / XPATH 选择器应该比前端工程师用的更 6，维护代理池，验证码识别，网站反爬机制研究，爬虫异常告警，针对 js 渲染的网站先渲染再解析 引入业务的场景下，爬虫不仅是抓数据，还会提交数据，比如海淘代购类，可能需要维护几十乃至上百个国外购物网站的抓取与自动化下单程序，异常处理的情况会多到怀疑人生，还是比较吃经验的 --- 下面回答楼主问题 1，是的，大多数情况下爬虫工程师的路越走越窄。 2，建议别给自己贴个爬虫工程师的标签，统称为 “软件工程师” |
 |
17
cz5424 2020-03-17 09:34:29 +08:00 via iPhone
换工作
|
 |
18
DeWhite 2020-03-17 10:47:58 +08:00
要么深入网页逆向，要么做大数据。
爬虫只是个技能呀 // |
 |
19
different 2020-03-17 11:48:59 +08:00
@locoz 你那叫做会发送 HTTP 请求，跟爬虫真正要做的事差远了。
你这个定义跟这个定义没差别："后端谁都会，不就是增删改查数据库吗？" 建议你参考 16 楼。 举例子，你要是想模拟登陆某些页面（如腾讯，阿里等），你得搞懂前端的 js 加密流程。如果你得爬一下 app 的数据，也可能需要逆向查看一些加密项（抖音了解一下）。再不济，你可以去爬爬淘宝的商品试试，有个反爬虫机制，遇到验证码，你得想办法绕过去或者识别。 这是一个是个后端都会的事情吗？🐶 |
 |
24
xiaoxiao001 2020-03-18 14:59:51 +08:00
我们公司的技术大佬，做了管理的大佬，别的公司不清楚哈，我们公司的路分两种：一种是技术大佬，一种是管理层的大佬，这些还是看个人的兴趣，和特长，我们的那个技术大佬，一点都不像是程序员，超级能聊，外号：大百科
|
 |
25
iamdaguduizhang 2020-03-18 17:50:49 +08:00
@different 哈哈哈哈。locoz:你在教我做事？
|
 |
27
Aleph OP @qixiangyangrm 过渡顺利吗？
|
 |
28
chajikong 2020-07-31 16:58:25 +08:00
大概率最终的归宿是监狱吧,俗话说爬虫学的好,牢饭吃到饱;爬虫需要学的知识太多了,零碎又分散,而且涉及面太广.而且不断和反爬对抗升级.太难了,建议能转行早点转行吧...
|
Select Language