V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mightybruce  ›  全部回复第 2 页 / 共 20 页
回复总数  387
1  2  3  4  5  6  7  8  9  10 ... 20  
作者:郭胖胖
链接: https://www.zhihu.com/question/24190604/answer/140788789

简单说下某家的大型网络架构吧,BAT 级别的其实主要考虑的是冗余性了,因此“负载分担( LB )”被用到了极致。外网( LB ):外网各个厂家无非两种方案:静态接入(便宜),BGP 邻居(贵)并且和 ISP 的接入肯定是多条线路,这个多条线路包含了不同局点的线路,就为了避免单局点故障/割接什么的导致整个外网中断。外网接入的难点在于:同时多 ISP 接入时如何做到相互备份和选路。很多厂家用了 F5 的 GTM 解决方案。中间层( LB ):大部分小厂家用的是 A10 ,F5 什么的硬件负载均衡设备,但是到了 BAT 级别甚至谷歌用的就是 LVS 之类的 L4 层软件负载均衡了。优点就是:扩展方便,配置和管理都方便。不过谷歌貌似把 LVS 发展到了非常牛的水平,直接做到了网卡层面。内网( LB )内网基本上都是 什么 N7K,S125,CE128 之类的数据中心交换机的多台组成一个 cluster ,然后 TOR/汇聚多链路上行到核心。内网可大二层,也可三层。你会发现无论在外网---中间层----内网基本上都是负载分担的,主要还是考虑冗余和灾备。剩下一些就是什么利用 TE 隧道/云计算/SDN 什么的来控制选路或提高冗余型什么的。外网流量清洗,防攻击什么的安全策略。至于网络团队,每个大公司都必有维护团队,可能有建设团队(有些直接外包给厂家),有些有研发团队(自研交换机,自研服务器,定制交换机/服务器,甚至优化 linux/LVS 都有)这些都是专门的团队搞。除了这些,网络监控、告警优化、CMDB 、工单系统什么的这都有专门的团队来配合。
30 天前
回复了 ihnfsa 创建的主题 云计算 自建数据湖方案
你的题目写得不对,数据湖和对象存储是两个东西
大模型应用和这个也没有关系。
要么导师误入子弟,要么导师没有说清楚,需要再次沟通。
写的内容一般, 其实关于大模型这些知识分享已经很多很多了, 再深入研究研究吧。
另外,很多程序员比较反智和排斥新的技术和事务,不到自己被淘汰的那一天都不会觉悟。
34 天前
回复了 felo 创建的主题 程序员 抖音商场收到订单之后触发自动化任务?
触发不难,做电商的都是搞个 RPA 在跑服务,接受到消息后自动处理。
@carlinglm
海外招聘平台都看看,
像 indeed 、glassdoor
招聘社交 linkedin 交流交流。
remote 工作 前端多, 运维 sre 也有一些。
能听能说是不够的, 你在工作种会遇到各种口音的英语,要能听懂,比如印度、罗马尼亚 腔的英语,这两个地方的口音我可是领教过。
上面提到的大多数都不是纯 python, python 作为这些网站的早期架构中的使用的语言,随着规模变大,架构不断重构后比重其实越来越少, 比如知乎和 YouTube.

我给一个,chatgpt , 这个才是使用量极高,python 比重也非常高的后端
字节系出的 app 比如飞书客户端包括移动端和桌面端共 5 个平台 非 UI 部分由 Rust 跨平台实现, UI 部分 要么是 javascript , 要么是 dart ( flutter)
这些移动端要求高度优化,不然是跑不了很多小程序的,框架都是自研的。
RN 这些性能都太差了, 就是现在很多 app 也会选 flutter 也不会选 RN 的。
mark 一下, 收藏了。
技术并不解决问题,出现危险情况一切都晚了。
四周加上安全围栏,再雇一个保姆就能解决问题,用摄像头监视保姆还是必要的。
楼主说的是 c++ web 服务端框架,不是请求。
drogon,cpprestsdk 这些才算 web 框架。

如果是嵌入式 web 服务器,可以考虑这个 Civetweb
英文,搞个中小学英文辅导或者搞个雅思考试技巧辅导。
40 天前
回复了 mayooot 创建的主题 程序员 使用 Docker 容器运行源神开源的 Grok-1 🤔
这是炫富贴,好吧,大家都知道你有钱了。
检测 AI 当然也是靠 AI NLP 模型, 这个领域是有相关论文的,如果你不是 cs AI 研究生, 建议还是不要去研究这些。
给出相关论文和项目
https://arxiv.org/abs/2305.10847
https://github.com/colinlu50/evade-gpt-detector

https://arxiv.org/abs/2310.05130
https://github.com/baoguangsheng/fast-detect-gpt
41 天前
回复了 matrix1010 创建的主题 程序员 Devin vs OpenDevin vs SWE-Agent Showdown 直播
@daohuo 需要根据提取的特征进行训练的, 我多年前用 LIRE 也是要用你自己的数据集提取的特征去训练

图像检索这块就是这么做的
你要多找找一些深度学习模型能够提取出反应这种差异,多试试
其实就是多媒体信息检索了,和文本检索原理像 es 、solr 一样,除了提取特征外。
大致是多选取几个角度去提取特征,建立起词袋模型,然后还是 tf-idf , 词袋模型里面的 word 就是各种图像的特征,你可以选几种,色彩一个特征、纹理一个特征,混合特征, 最后基于这个做各种距离比较
我很多年前用过 LIRE (Lucene Image Retrieval)是一个基于内容的图像检索的开源库,现在已经有更新的东西了
可以看看这个
https://zhuanlan.zhihu.com/p/147509861

相关入门可以看看斯坦福的经典书 information retrieval
https://nlp.stanford.edu/IR-book/information-retrieval-book.html
1  2  3  4  5  6  7  8  9  10 ... 20  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2776 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 40ms · UTC 13:31 · PVG 21:31 · LAX 06:31 · JFK 09:31
Developed with CodeLauncher
♥ Do have faith in what you're doing.