V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  shiznet  ›  全部回复第 1 页 / 共 4 页
回复总数  65
1  2  3  4  
2018-06-07 12:44:48 +08:00
回复了 GGGG430 创建的主题 Linux tail 实时打印日志问题
原始需求是什么?
2018-06-06 09:13:20 +08:00
回复了 shiznet 创建的主题 问与答 如何实现一个基于 pattern 的文本相似度聚类
@takato

老兄对这个问题有什么见解么? 没有做过类似的东西,LSTM 和 RNN 这个如何应用在这个场景能展开讲讲么?
2018-06-06 09:10:36 +08:00
回复了 shiznet 创建的主题 问与答 如何实现一个基于 pattern 的文本相似度聚类
@ETiV

模块 /文件是独立的,这个可以区分开,但是一个模块中可能会输出不同的日志,比如说方法 A 有多个地方会有异常栈输出,且每个异常栈的信息可能略有不同。行数信息是在日志的描述中的一个变量,所以没办法将行数作为直接标识。

不过可以沿着这个思路走:
先按模块归类,然后对模块内再进一步归类
2018-06-05 20:30:55 +08:00
回复了 shiznet 创建的主题 问与答 如何实现一个基于 pattern 的文本相似度聚类
@ipwx 看了下「 DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning 」摘要,感觉和我需求不大一致。

```
Anomaly detection is a critical step towards building a secure and
trustworthy system. ŒThe primary purpose of a system log is to
record system states and signifi€cant events at various critical points
to help debug system failures and perform root cause analysis. Such
log data is universally available in nearly all computer systems.
Log data is an important and valuable resource for understanding
system status and performance issues; therefore, the various system
logs are naturally excellent source of information for online
monitoring and anomaly detection. We propose DeepLog, a deep
neural network model utilizing Long Short-Term Memory (LSTM),
to model a system log as a natural language sequence. Œis allows
DeepLog to automatically learn log paŠtterns from normal execution,
and detect anomalies when log paŠtterns deviate from the model
trained from log data under normal execution. In addition, we
demonstrate how to incrementally update the DeepLog model in
an online fashion so that it can adapt to new log pattŠerns over time.
Furthermore, DeepLog constructs workƒows from the underlying
system log so that once an anomaly is detected, users can diagnose
the detected anomaly and perform root cause analysis eff‚ectively.
Extensive experimental evaluations over large log data have shown
that DeepLog has outperformed other existing log-based anomaly
detection methods based on traditional data mining methodologies.
```
2018-01-04 07:31:09 +08:00
回复了 LeCent 创建的主题 程序员 如何统计一座城市的汽车数量?
人均汽车保有量*人数
2017-01-19 09:54:47 +08:00
回复了 jellybool 创建的主题 PHP 在我的背景音乐里,写代码没人能超过我
@starvedcat 话音没落就被对方 DJ 推下了悬崖
2015-11-19 22:22:57 +08:00
回复了 jukka 创建的主题 程序员 说说自己写过的最难懂的代码吧。
擦 忽略吧 文不对题
2015-11-19 22:21:57 +08:00
回复了 jukka 创建的主题 程序员 说说自己写过的最难懂的代码吧。
混淆后的代码 类名变量全是 abc
2015-10-03 18:43:23 +08:00
回复了 lirijie1 创建的主题 程序员 一个有意思的小问题,不知道有没有人碰到过?
怪物出现的顺序是可以自定的么?
2015-07-07 11:49:42 +08:00
回复了 yzn 创建的主题 程序员 请教防止恶意注册的方法,急!!!
限IP会误伤,有些办公网公用一个出口IP。

增加下行短信验证,这样会增加短信的费用,但是可以防止机器批量注册。短信验证时最好配合验证码,否则下行短信接口可能会被人用来做短信炸弹。

对于批量注册,id通常都是有规律的,可以查看日志,对于短时间内集中注册的有规律的用户名可以监控起来。
@djp518 题主描述的是复现和现实中一样的照片。所以我说不恰当。

我不否认使用细胞自动机的模型可以用来“创造”,但是细胞自动机是不可预知的,和随机的不可预知还不同。随机是有概率达成任何一种情况,而细胞自动机的不可预知是结果不可预知,同时对于是否可以遍历所有情况这个也不知道,因为计算不可化约性。

参考: http://www.guokr.com/article/439770/
@djp518 细胞自动机这个不恰当吧。
2015-07-05 20:26:57 +08:00
回复了 Narcissu5 创建的主题 程序员 有什么是你绝对不希望听到上司讲的
不能太看重钱
想问下楼主,如果硬件资源出现故障,还会有添置的打算么?

如果没有,那么任何以这些资源打包向外提供服务的想法都是管杀不管埋。比如说镜像站啊hadoop集群啊甚至bbs,用户不会越来越少,硬件肯定会越用越少,那么服务怎么保证?
如果真要发挥余热,思路:每个硬件作为独立的资源对外。比如说:送给小学做机房,即便个别机器坏了,也不会影响其他哦。挖矿,变卖,网格计算(?)这些都是可操的。
2015-07-01 09:13:12 +08:00
回复了 ivito 创建的主题 程序员 关于反射的解释
推荐题主看一下Java里的动态代理的实现,会对反射有更深的理解了
2015-07-01 09:10:14 +08:00
回复了 eightqueen 创建的主题 程序员 如何运用 netty 建立长连接提供推送服务?
还想问一下你这个规模大概有多大?
2015-07-01 09:08:56 +08:00
回复了 eightqueen 创建的主题 程序员 如何运用 netty 建立长连接提供推送服务?
看下链接为什么会断掉 是客户端那么主动关闭了 还是超时时间设的太短然后关了
2015-07-01 09:05:17 +08:00
回复了 whnzy 创建的主题 Hadoop 每天要处理亿级的日志文件,该怎么做?
@whnzy awk先做一次筛选 减少数据规模 然后在用其他工具处理呢
2015-06-18 09:46:04 +08:00
回复了 shiznet 创建的主题 MacBook Air MacBookAir 特定无线网络下不稳定
@2exco
恩 打算节后换个路由器了
2015-06-17 23:02:05 +08:00
回复了 shiznet 创建的主题 MacBook Air MacBookAir 特定无线网络下不稳定
@2exco 我一直都是自己添加的位置 没用的自动。。。信道我这个也调了,真是日了狗了
1  2  3  4  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1022 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 23:43 · PVG 07:43 · LAX 16:43 · JFK 19:43
Developed with CodeLauncher
♥ Do have faith in what you're doing.