推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2889 天前的主题，其中的信息可能已经有所发展或是发生改变。
爬虫在爬取网站时为了防止被封 IP ，可以使用代理、伪装 user agent 、降低访问频率等方法来避免被对方识别出来。
但如果对方是需要登录的网站怎么办呢？有些网站是必须在登录之后才能显示内容，那么在登录之后再使用代理、伪装 user agent 都已经没有了意义。
如果是这样的情况，应该怎样做才能不被对方识别呢？
但如果对方是需要登录的网站怎么办呢？有些网站是必须在登录之后才能显示内容，那么在登录之后再使用代理、伪装 user agent 都已经没有了意义。
如果是这样的情况，应该怎样做才能不被对方识别呢？
 |
1
lizon 2016-06-10 21:12:50 +08:00
在要求登录的情况下，无论怎样，对方都可以统计单个 cookie 在单位时间内的访问量从而做出限制。所以，要么降低访问频率，要么获取足够多的 cookie
|
 |
2
qqmishi 2016-06-10 21:13:25 +08:00 via Android
多注册几个号，过一段时间就切换
|
 |
5
murmur 2016-06-10 22:15:52 +08:00
好几千的采集。。在盗抄别人的资料么 那不得多投资一点 毕竟抄来就是免费复制了
|
 |
6
eoo 2016-06-10 22:37:31 +08:00 via Android
看情况
|
 |
7
lslqtz2 2016-06-10 22:58:10 +08:00
只能选择降低频率，别无他法。
因为账号要钱，要封号分分钟爽。 或者你可以试试看爆弱口令，但希望渺茫。。 |
|
8
lslqtz2 2016-06-10 23:06:12 +08:00
打 osu 打了一半，突然想到一个好点子，暂停时还 miss 了一个。。
可以把标题采集下来，不采集内容，当用户访问时实时采集并保存。 |
|
9
lslqtz2 2016-06-10 23:09:06 +08:00
一年可以换成月吗？非得年》
|
 |
10
haozibi 2016-06-10 23:47:44 +08:00 via Android
目测某论文网站，某知
|
 |
12
dynaguy 2016-06-11 10:32:57 +08:00
看到像樓主這樣厚顏無恥，然後被封 IP ，我只有 2333333333333
|
 |
14
badcode 2016-06-11 23:53:53 +08:00
假想：你爬的站的站长也在看你发的贴？
有趣 |
Select Language