V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  iamtuzi3333  ›  全部回复第 3 页 / 共 5 页
回复总数  85
1  2  3  4  5  
99 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@pxllong 没法发图片,我打出来部分信息,每秒输出打印 10 条左右,有个 vsize 数据每条都是 6.49G ,
99 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@dejavuwind 不需要频繁查询,但是有时候需要翻查历史某一段时间的数据,我看过时序数据库,但是部分是单个时间单个数据,我的数据是{id:1,data:[1,2,3]}这种,有多个字段,data 是个浮点数数组,有时候会是 200 个数字。而且每个传感器一张表,时序数据库好像不太适合。热数据我都放在了 Redis 的队列中了。
99 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@liprais 有道理,我申请一下多节点服务器,但是这个估计有点难,1 这个我限制了一半内存,明天看看是啥效果,谢谢大佬解答。
99 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@liprais 但是吃的太厉害了,影响其他项目运行了,现在很难受,我不知道怎么改好一点,虽然他确实很好用,在考虑要不要换其他数据库了
99 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@pxllong 之前修改是 50GB ,但是还是吃的太厉害了,影响其他项目运行了,还有其他办法吗
@pandaidea 大佬,目前查询还好,我加了一个字段就是 unix 时间戳,查询的时候都是单集合查询,根据时间戳范围查询数据,但是现在发现 MongoDB 占内存非常严重,持续压榨可用内存,而且这个进程也是占用了大量的内存,很难受。
@lmq2582609 大佬,我现在发现这个问题了,吃内存非常严重,192GB 的服务器直接把可用内存干到十几 M 了,这个有办法解决吗
今天又是上班的一天,早上摸鱼了一阵,这几天都在排查服务器问题,发现 mongo.exe 把服务器可用内存挤压的很小,基本没法用了,这点目前没有解决,领导又讲了一下要用什么技术解决其他项目的问题,每天混着问题过日子,有点腻了,自己又不想太折腾。
@finolaire 羡慕!
@Jony4Fun 也是,环境太差了,而且这行有时候还是很累的。
@zw1one 感觉啥也没有兴趣,只想躺着。
@theprimone 那你已经是前端大佬了。

现在没啥兴趣,打工纯就是为了生存,唉,难顶,生态不太端正了。

@laminux29 大佬,你懂 MongoDB 进程为什么会提交很多作业吗,我看了一下服务器,提交了 40 多 GB 的作业,很多 mapper 文件,导致服务器可用内存越来越少。
@meilicat 厉害啊,最起码有兴趣去参加。
@awalkingman 上学也是没有怎么认真学,确实得接受自己是个混子,不过有时候还是想奋斗一下哈哈
@tool2dx 竞赛没想法了,工作了都是觉得能用就行,不会再问,搞不了找别人这种心态了。。。
@NessajCN 大佬厉害,我不是学不进去,可能还是动力不够强,刺激不够,学完东西能立马应用解决问题那确实很爽。
@meilicat 大佬强啊,我是废了,只想着偷懒,算法啥的也没去学习过,一直是能用就用的状态。
@Wkj1998 确实没啥太大压力,对象都没,也没有贷款,一人吃饱的状态。。。
@Lemon2ee 很大可能是,虽然想考公,报名了几次,发现人数超多了,就没去了,之前也考过编外合同工,让我去上班,我没去。
100 天前
回复了 majianglin 创建的主题 程序员 关于 MQTT 协议有几个问题想请教
@sagaxu 不是 websocket ,就是普通的 socket 通信; 1 有可能,因为数据是每秒发送一条过来,600 多个可能就有 600 多条同一时间发送过来; 2 的话内存泄漏应该不会,除了入库,它还会一直写入到文件中,此时文件应该一直持续在内存中,很大概率是这个问题; 3 这个项目写的人完全没考虑用缓存去处理数据,来一条数据就入库并且写入文件,这个问题似乎也不存在;现在不是马上占满,就是慢慢爬上,一直让可用内存变少,备用内存持续上涨,最后只剩下十几 M ,服务器运行内存是有 192GB 的,复现就只能 run 项目慢慢等,其中也不会有什么报错消息出来,这个很头疼,谢谢大佬的解答。
100 天前
回复了 majianglin 创建的主题 程序员 关于 MQTT 协议有几个问题想请教
@sagaxu 这个 debug 我试过了,nodejs 写的 koa 框架,接口层面是没有问题,就是接收数据这个模块有问题,他原本写的是开了一个端口,然后就是监听设备连接,连接了之后就接收数据,数据入库 and 写文件;问题就是它是把物理内存中的备用内存持续占满,导致可用内存持续下降,用的是 Window Server 服务器,我初步怀疑是因为连接了众多传感器,开启了非常多的异步事件连接,同时又要入库写文件,写文件数据全部积累在内存中,持续增长,它是一天凌晨时候才开启第二天的数据写入到新文件中,数据量高频且多,这个问题好难排查,之前想过用单个设备连接接收数据来测试性能,但是现在没有办法改,因为项目一启动,600 多个传感器就自动连上来发数据了;搞的我头大了,之前写这个代码的人也早就离职跑路了,留下烂摊子让我接。。。
100 天前
回复了 majianglin 创建的主题 程序员 关于 MQTT 协议有几个问题想请教
@sagaxu nio 我不是很清楚这个,但是看了上个项目,用 nodejs 写的,然后有 600 个传感器,然后传感器都是主动连接服务器的 socket 丢数据上来,每次一启动就迅速把可用内存占满了,100 多 G ,现在丢给我排查,我也不懂 nodejs ,服务器只负责监听,现在搞的很烦,项目不敢起,起了就把其他项目干了,大佬,你懂这个方面的内容吗,能不能指教一下。
100 天前
回复了 majianglin 创建的主题 程序员 关于 MQTT 协议有几个问题想请教
@zhufpy 唉,我们数据量很多,我现在是塞到队列,然后存库,写文件,设备也多,但是占用内存巨多,这个问题还得排查。
104 天前
回复了 majianglin 创建的主题 程序员 关于 MQTT 协议有几个问题想请教
@zhufpy socket 设备数量多了 就很烦,如果要数据要存文件的情况下,会一直占内存,
1  2  3  4  5  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2734 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 12:00 · PVG 20:00 · LAX 04:00 · JFK 07:00
Developed with CodeLauncher
♥ Do have faith in what you're doing.