首页   注册   登录
 lisztli 最近的时间轴更新
lisztli

lisztli

🏢  baidu
V2EX 第 7663 号会员,加入于 2011-04-06 16:42:30 +08:00
今日活跃度排名 11985
lisztli 最近回复了
98 天前
回复了 MontagePa 创建的主题 程序员 寻求代理 IP 池方案
@MontagePa 那我的场景和你差不多。我是为了给买来的代理提供一个统一的入口,那你就在它的基础上改就好了。
99 天前
回复了 MontagePa 创建的主题 程序员 寻求代理 IP 池方案
我以前做过类似的工作,在 https://github.com/senko/tornado-proxy 的基础上修改的。
如果你是在一台机器上获得了 2000 个 IP, 在发起连接的时候,选择使用哪个网卡。如果是有 2000 个 IP 做代理,使用同一台机器统一接入,那么发起连接的时候,轮询、随机的选择一个 IP 做为代理再发起请求。

计费部分得你自己再考虑了,可以通过 header 里面的 auth 字段,或者 IP 地址做为依据。
2018-12-31 19:13:24 +08:00
回复了 gerrardxM 创建的主题 macOS 黑苹果下显卡性能减弱。
@1797031775 “黑苹果 网卡” 直接搜索就行,搞定了一台台式机,一个笔记本了,价格都在 100 - 200 之间。
scrapinghub 和 scrapy 框架直接绑定,有免费配额,可以直接使用。
2017-02-09 15:21:47 +08:00
回复了 begeekmyfriend 创建的主题 程序员 树形结构的调试打印
2016-08-15 18:47:34 +08:00
回复了 kukuwhu 创建的主题 Python 懂 Python selenium 的大神进,请教个问题
不一定非得跟 selenium 过不去,使用 twisted 或者 tornado 给出的 demo 中的 proxy 的例子,将经过 proxy 的全部流量都写到磁盘上,然后请求结束后,去对应的文件中找你需要的信息去。
这个太简单了,
首先下载一分中国行政区划的边界数据,公开的数据精确到了 county ,而且不止有中国的。
其次按照某个精确度对地图画格子,计算格子中心(或者左上角)点落在那个 county 内,使用 k-v 存储记录下 「格子 index 」- county 信息
最后写一个服务提供查询。

如果你对上面步骤有不理解的,或者想节省宝贵时间,我这有全套服务和数据,欢迎邮件咨询价格。
邮件: [email protected]
2016-07-23 01:16:04 +08:00
回复了 Symars 创建的主题 云计算 如何提高局域网数据传输速度?
nc

我是说那个 linux 命令。
2013-11-18 12:50:37 +08:00
回复了 Sdhjt 创建的主题 问与答 求一个每月4亿日志的处理方法,谢谢
我们使用过infobright, 你可以试试。 在处理日志这种只加不改的场景,特别好用。 前面那些说hbase、redis的,到底处理没处理过日志……
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   740 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 9ms · UTC 22:52 · PVG 06:52 · LAX 14:52 · JFK 17:52
♥ Do have faith in what you're doing.