markgor

markgor

V2EX 第 353333 号会员,加入于 2018-09-30 16:07:41 +08:00
今日活跃度排名 20324
根据 markgor 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
markgor 最近回复了
做个日志吧....
看看分配到 10 台机,每次请求返回的时长是多少,整体完成时间是多少......
先找出耗时的点。
另外确定下是不是对方根据 IP 限速,这部分可以根据上面的测试结果判断,如果每台机实际 QPS 都是 100 ,那可能对方是根据 IP 限制了 QPS ,这个时候上代理池。
1 、测试对方是否限制 QPS ;
2 、测试对方根据什么限制 QPS ?[IP/token/cookies....]
3 、如果能 100%确定对方是没限制 QPS 的话,看看时间消耗在哪里了,这个根据服务器监控和埋点的日志基本可以分析出来。
4 、如果确定对方限制 QPS ,根据限制策略进行调整,如限制单 IP 的 QPS 为 100 ,那[每 100 个地址,就用一个代理 IP] = 1 次任务。

不过说真的,并发 8000 ,不止你们去爬,这访问量挺恐怖的...
有没有一种可能,同行爬取的方式和你们不同,即对方可能一次请求返回所有,而你们没发现只能一个个爬呢?
1 、先测试跳转获取授权这块有没问题,和内置浏览器或 devTool 烂不烂没任何关系,只需要测试自己授权获取代码是否有问题。
2 、第一点自己授权这块没问题后,测试环境直接跳过授权这一块,模拟登录成功,进行业务代码调试
3 、上面都完成了,发布去正式环境,走一次完整流程测试。


"我这个 h5 是想脱离企业微信也能用,如果没有 token ,看是不是企业微信客户端访问,是的话就自动走 oauth 认证自动换 token 自动登录,非企业微信就是直接跳 login 手动登录哈"
>非企微环境下,支持扫码登录;
一般做法是登录的时候,判断 UA ,如果是企微,让用户选择登录方式,一键登录(企微)/账户登录;
如果不是企微环境,选择扫码登录或账号登录。
树林大了什么鸟都有,没必要一竹竿打死一船人;
但就我自己项目上遇到的问题,某个项目和阿里系的对接,
对方技术如何不到我谈论,但是该项目上的业务知识上比我还差.....
有什么问题都是发工单,包括他们自己内部,解决时效一般 3~7 天,久的就是 10 多天以上;
有些时候甚至他们的业务在干着急,但催不了技术。
@lichangmao JetBrains
之前我用这个:jrebel.com.cn
打算存够钱就买正版[狗头]
不过这个的原理好像是 java 全局拦截请求,然后再进行激活,具体不太清楚
可以顺便搭建个全家桶激活吗
@GuluMashimaro
这样...我觉得复杂了.......
非要这样做,关键字:DHCP 中为客户端分配不同的网关和 DNS

我想法比较简单,直接路由上 RIP 加 acl2 写个静态,或者 linux 上通过 iptable 和 route 进行配置。
这样
通过 iptable 或 acl2 表,如果源 IP 是 xxxx 母的 IP 是 xxxx ,就通过 ethx 脚进行投递。

后续你要变更之类的,直接去路由或 linux 上配置就行了。

如果在每台客户端上面做手脚切换拨号,到时候有任何变动都要每台机搞一次。
@GuluMashimaro
懂了,不過你就算找人佈線打頭,40 台機 1K 應該足夠了吧;
我們公司今年搬場,50 台機上下兩層,加上會議室辦公室的入墻線大概 60 個點。
找了弱電的師傅來拉線打水晶頭一共 1.2K ,坐標 GD ,聽說那個是電信的師傅接的外包,打完還一個個頭檢測,挺認真的。
wifi 的話你要考慮帶機量,另外要測量 wifi 重疊區域是否會造成影響,實際使用過程中並不一定穩定,而且樓上也有人說了,混凝土和玻璃對 wifi 信號阻隔不能忽視,過於接近的 wifi 又會導致干擾,如果是 mesh 組網還可能一直跳來跳去。
@GuluMashimaro 我是 10 几年前的时候干过,无线方案肯定也有,但我没试过.
说真的按我之前的项目经验,走 wifi 的话使用期间你肯定一大堆破事要处理,要么说 wifi 信号,要么有信号没速度......
1 个人布线很辛苦,我劝你让公司找人来布线吧,记得让他们水晶头也打了,否则........
如果公司连请人来布线都不舍得,你觉得半年后扩张可信吗.....
@GuluMashimaro cisco 好像是用 rip 命令写对端 ip ,太久了完整命令忘记了,你可以下载个思科模拟器,百度下一个上午就能搭建好模拟的场景,测试下没问题就可以开始部署。 百度关键字 RIP 、cisco packet tracer
cisco 3600 系列二手的估计也就几百元,但是网卡好像只有 100M ;
如果你们有熟悉 linux 的,我反而觉得用 linux 会更好,我们之前是用了一台残残旧旧的 x86 普通主机做了个 router 连接联通,1 年下来都没出过啥事。不过我们当时业务量和对带宽要求不高,IPLC 跨境线路也只有 2M 。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1565 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 16:51 · PVG 00:51 · LAX 08:51 · JFK 11:51
Developed with CodeLauncher
♥ Do have faith in what you're doing.