不错 好像 web 开发用 python 的公司比较少，借楼宣传一下 很久以前我写的 php 小框架 https://github.com/hizdm/sphp

京东防爬， 我用的是 动态 ip 策略 https://github.com/hizdm/dynamic_ip

合适自己的就是最好的框架 我自己写的 5.3 版本时代的 框架 https://github.com/hizdm/sphp 还简单 安全 用起来简单就好

采集的对象没有反应，有可能你的被禁止可以用这种策略： https://github.com/hizdm/dynamic_ip 如果是脚本超时了你可以设置一下时间，或者加一些判断

如果不停的换 ip 是没有方法防的 ， 我的抓取就是用的动态 更换 ip，动态更换 IP 策略 DEMO https://github.com/hizdm/dynamic_ip

@cexa http://youngcn.net

首先说你数据库就不能存 doc pdf 这样的文件，其次要真想同步 简单的 shell 一行就可以了

@tammy 击掌^_^

@fuxkcsdn 欢迎优化

@lianxiaoyi 重新拨号不错 可以减少路由器重启的时间

@UnisandK 这个可以单独申请一条线 毕竟有的公司好多数据是靠抓取的啊

@king2014 是的 有的网站判断很严格 比如 京东 豆瓣

@king2014 是的 原理就这么简单 程序里面 为了安全 加了 ping 网络通不通

@oh 这只是提供一个策略和一个可执行的 demo，然而现在有很多公司需要抓取数据（服务器可以放在自己的公司用路由器链接然后再 Rsync 到远程服务器），这个程序我试验过，目前跑在自己家的 树莓派上 效果还不错，这个主要用于我的一个商品比价的网站上，已经运行一年多了！

$errNum 是你按照自己的情况定，比如你认为程序采集某个链接的内容 设定采集 10 次有$errNum 次不成功，就认为得重新换一个 ip 比较保险；

运营商好像可以买动态的 ip

我用的 Linode 在上面只搭了一个 vpn