@freshgoose 我 TM 懂了, 还有配音的..
你这个问题, 我觉得应该这样, 然后那样, 你懂了吗?
哼~

举个小例子, 项目涉密, 不知道到没到脱密期, 说的笼统些.
某人口大省, 联通, 电信, 移动均有对用户某类信息存储, 分析的需求.
数据量单一家每秒增量约 800M.
架构师需要设计出, 用什么样的硬件+系统(自研, 外购, github)能用最少的钱完成以上需求..
800MB 的数据都是文本字符串..每个用户发送的信息量很少..一般格式就是:
xxxx|xxxxxx|xxxxxx,xxxxx|xxxxx 但是并发巨大. 之前因为做不到, 只能全部或者部分丢弃..
这其中的问题:
那个年代, 提出这个项目的时候, 能够存储秒级 800M 数据的系统或者硬件可供选择的范围并不多..固态硬盘做存储那是太奢侈了, 512GB 的 SATA SSD 要 4800 的时候. 我换了一块到我的 MBP 上, 为了和天才吧的工作人员较真.
基本就是 oracle, SAP Hana, IBM, 或者一些开源魔改的商家(看 PPT 可以支持),通常是 spark+hadoop 为基础.
验证, 然后确认软件架构的方案..设计存储策略.. 制定或者限定延迟分析的时间阈值..

我不是项目架构师, 我只是和他认识.
最后项目折腾下来, 出来了一款服务于各大政府\国企的大数据数据库. 算是完全自研吧..
性能指标还不错(我只是看了各类测试的 PPT).

或者你可以想一下, 现在, 2022 年, 设计一个每秒增量 10GB 的系统?? 没有任何比例换算, 就随便想的一个数字. 是之前参与过的一个项目的增量... 硬盘都是用好几辆卡车运的..

懂行的也许能猜到是什么类型的项目..
看破不说破哈..我还年轻, 不想作任何幺蛾子...就纯分享
上面说的需求, 现在是一家专门销售数据库和解决方案的公司.

还接触过一个项目, 2U 服务器内 2 套准系统互为冗余, 4 路光纤网络互为冗余, 俩俩聚合, 互为冗余..
每台服务器, 俩俩一组, 互为冗余, 当然交换机啥的也都是..最过分的是, 还有个机房有一套一摸一样的系统, 两个机房互为冗余..
那这种需求, 硬件架构上怎么实现, 是否存在必要性, 软件层面怎么搞, 全部互为冗余的时候, 这软件方案是什么样的?
买? 自己写? 架构师在设计的时候大致有底.. 但你让他上手写, 可能要憋很久, 然后开始翻手册, baidu, google 大法...哈哈哈

文中部分内容有些许错误和偏差为主观故意. 忘各位看官高抬贵手.

你愿意说说你的需求吗?
怎么个暂停法? 没太理解

试过吗?
我以前是 9980H 那款吧...i9 处理器, 巨热的那种..
我竖着放在净化器出风口温度没啥太大变化, 倒是直接平放在出风口效果不错.

我做爬虫的经验来看...
真正的有效的方法...基本都不说..
大概率是闷头赚钱...
最近开始看到的一些文章, 大概 2,3 年前的东西了, 才陆续有人发出来..至少我是 2,3 年前就知道的..

@996bujiaban 不不不, C#不是为了币圈...
就是单纯的元宇宙服务...利用游戏引擎做场景开发...
币圈不玩了....玩不懂...刚刚含泪出了 300 块硬盘和几十块 970 evo.哎

@LeeReamond 只是一种手段....而且其实是很低阶的方法
检测是否存在这个变量..检测这个变量是否还是 Native Function...
还可以检测 navigator.webdriver, 检测方法也是, 简单的就判断属性是否存在, 是否返回 false, 或者 undefined. 不同平台返回是不一样, ios 是 false, 但是 android 我记得好像是 undefined..至少部分是.
还可以检测 webdriver 的是否挂了方法, 或者是通过 Proxy()或者 Reflect()伪造过.
初次之外还是有好多好多方法..哎...没头没头...

我和你的工作内容差不多... 运气好的是我的"客单价"可能更高...
越来越感觉走不通了...这条路是个死胡同..
实名越来越完善, 大部分服务登录才可以继续使用. 这一点就极大的拉高了爬虫的成本.
试图解决这个问题, 解决的越多你离刑法就越近...

做完手上这个系统, 我就不准备做爬虫相关了..估计能再吃个 2,3 年...然后用这段时间开始转型..

我准备看的方向.
主线: c#和 unity.. 我觉得下一个风口和生产力提升的方向是元宇宙, 至少算一个. 所以看游戏开发这块的知识, 能做最好, 做不了起码懂一些..
说服了一个投资人做元宇宙方向, 目前通过朋友间的了解和市场调研, 发现, 至少能实现短期内产生流水..回笼部分资金.

支线: 有条件继续熟悉了解 js 吧.. 到现在我只能看懂 js, 让我上手写我就懵逼.. 而且基于 webgl 的 3d 也是个低成本尝试的手段..
另外更多的兴趣角度, 想重新捡起来 C/C++看看.

@Buges 富贵险中求...
如果进去了...
就带几本 C 的书, 出来我就不用 python 写了..
都是 c 写...自己完整的工具链..想想都兴奋...
在里面用知乎练手, 专门抓 1450... 抓取, 反爬, 大数据, 数据分析, 深度学习...啥都实战了...
哈哈哈

@LeeReamond

git 上写了.... 我并不知道所有的特征, 我也是学一点改一点..

替换了字符串:
$cdc_asdjflasutopfhvcZLmcfl_
这个长度不能变...
但是虽然替换了... 依旧可以用其他方式进行检测, 比如正则直接取$ _ 之间的东西... 因为长度不变, 所以 length 一下也可以判断出来.

这部分原始代码里是
var someVar = cdc_adoQpoasnfa76pfcZLmcfl_Array || window.Array
var someVar = cdc_adoQpoasnfa76pfcZLmcfl_Promise || window.Promise
var someVar = cdc_adoQpoasnfa76pfcZLmcfl_Symbol || window.Symbol

我直接把 cdc_adoQpoasnfa76pfcZLmcfl_Symbol || 这部分删掉了..
但是, 好像在特定场景下还是可以在 window 全局变量中发现到这个值 cdc_adoQpoasnfa76pfcZLmcfl_Symbol.
目前我没法重现...

以上特征都是在 chrome/test/chromedriver/js 的文件中...

@IDAEngine +1 9R 挺好..
前几天被家里小朋友把屏幕摔碎了...好疼

https://github.com/onebits/chromedriver/releases

重新编译了 chromedriver, 删除了 js 层面的一些特征.. README 里有说.
虽然有时候并没啥卵用..

@jeeyong 我发错了..同时打开两个帖子...弄混了.

https://github.com/onebits/chromedriver/releases

重新编译了 chromedriver, 删除了 js 层面的一些特征.. README 里有说.
虽然有时候并没啥卵用..

@jeeyong 嗯..特意看了一下..
玩时间最长得 PUBG, 大概 300W 不到. CPU: 90W 左右
GPU 190 - 250W 浮动...
那这算下来是没那么多...

但我今年过年回家, 冰箱不插电...家里电器 一个光猫, 一个 NAS 45W 吧. 群晖 DS220+ 一个 WIFI 路由器
一个机箱..
正好呆了整个 2 月份. 月底结算电费是 180.. 我没玩游戏啊..

另外 PUBG 一天我可能玩的时间打到 10 个小时哈哈...