Python 抓取拉勾网职位分布[回报 v2ex]

[allencode]

之前在 V2 求问过爬取拉勾的思路。现在基本达到自己的要求了。分享出来。希望有用。

思路

• 开始即根据职位来抓取相应的招聘职位数量。但是只有 1w 多。数量不达标。
• 组合关键字抓取。如组合城市,职位,服务领域。即可达成抓取 5w+ 数量目标。

细节

如下 Request URL 中的 %E7... 即为对应查询关键字的 16 进制表现形式。

如下 Form Data 皆为 Post 需要构建的表单。

存储

• 为保证存储和查询速度。选择 MongoDB 数据库。
• 为保证插入不重复。对插入语句进行优化。

def insert_data(self,data):
    data['_id'] = data['positionId']
    data['updateTime'] = datetime.datetime.now()
    # 防止重复插入
    db.Collection.update_one(
        filter={'_id': data['_id']},
        update={'$set': data},
        upsert=True
    )
    count = db.Collection.count()
    print u'已经存储了：',count,u'条记录'

代码

写了很多爬虫，分享给大家。共同进步学习。希望有用。

代码可以在这里取到

如下为构建的存储信息：

                    formatData = {
                        "companyShortName": i['companyShortName'],
                        "salary":i['salary'],
                        "city": i['city'],
                        "education": i['education'],
                        "positionName": i['positionName'],
                        "workYear": i['workYear'],
                        "companySize": i['companySize'],
                        "financeStage": i['financeStage'],
                        "industryField": i['industryField'],
                        "positionId":i['positionId']
                    }

被封了 2 个 IP 。大约可以爬 8w+ 的数据。代理还不是很可靠。没有找到好的解决办法。数据存储在 MongoDB 。后续会有一些分析。打算用百度的 Echarts 来完成图标的绘制。

添加了抓取代理的爬虫。 https://github.com/wuchangfeng/Crawler/tree/master/XiciDaili

打个广告。可以接爬虫私活。也可以做数据分析展示等。

[ioiogoo]

`如下 Request URL 中的 %E7... 即为对应查询关键字的 16 进制表现形式`
这个应该是 url 编码后的表现形式啊

[allencode]

@ioiogoo 嗯 是的。代码中可以用 Python 相应模块将关键字转化为 16 进制形式。

keyWord1 = urllib.quote(hy)

这句代码即可实现汉字到 16 进制编码的转换。

[lzgbeyong]

楼主资料整理的很详细，赞一个。
正好我最近用 ndoe 也做了一个拉勾网的爬虫，可以实时在线查看招聘职位数量和城市的分布，有兴趣的可以看看。
因为 js 的异步特性，爬取多个 url 的信息会比 python 快很多。

在线地址： http://123.56.17.200:8082/
github 地址： https://github.com/woxixiulayin/lagou_spider

[allencode]

@lzgbeyong 哈哈，好的。学习一个。

[sleshep]

@lzgbeyong
gevent 表示不服

[allencode]

@lzgbeyong 绘图好赞。是百度的那个 Echarts 吗

[pathbox]

果然 还是会被封

[allencode]

@pathbox 嗯呢。爬了两个晚上。都是早上被封的。后来抓了些代理，但是可用性不高。能用的也只有五六个。我把抓代理的代码也贴上好了。

[lzgbeyong]

@allencode 是的， api 很简单，你可以用来做展示

[allencode]

@lzgbeyong 嗯呢 我就打算用那个来做展示呢，现在还没怎么会用。只会用在线的。