V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wlsnx  ›  全部回复第 6 页 / 共 13 页
回复总数  244
1  2  3  4  5  6  7  8  9  10 ... 13  
2017-06-02 17:36:29 +08:00
回复了 linlich 创建的主题 问与答 #联通老用户不如狗#能投诉么?
狗可以投诉
看情况,如果是在 github 上,就直接点 fork 了。有时候把源代码拉到本地阅读,过段时间以后做一些修改上传到其他的 git 服务器上去了。怎么方便怎么来,反正.git 里保存了所有的提交。
打开提示音,戴上耳机
上厕所归来立即触发一次手动检查邮件就好了
2017-06-01 15:13:02 +08:00
回复了 somereason 创建的主题 程序员 竟然有人在 oschina 上托管学生作业....
其实还好了,一个学号而已,顺便还能学学 Git,就是直接往 Git 上传 pdf 有点不妥,没法 diff 呀
2017-05-19 18:05:56 +08:00
回复了 gaoyadianta 创建的主题 Linux yum 执行失败
写得很清楚了
Cannot retrieve repository metadata (repomd.xml) for repository: home_oojah_mqtt
http://download.opensuse.org/repositories/home%3A/oojah%3A/mqtt/CentOS_CentOS-6/gpgcheck%3D1/repodata/repomd.xml 这个链接是个 404,很明显是你自己拼出来的地址
f(a,b,c,d)=0
2017-03-24 11:22:57 +08:00
回复了 snailsir 创建的主题 程序员 v2ex 的编辑器是什么编辑器?
文本框
2017-03-13 18:45:45 +08:00
回复了 sfyumi 创建的主题 GitHub github 无法通过 ssh 协议链接
1.111.11.111
这个是 IP 靓号?
2017-03-01 16:27:08 +08:00
回复了 chenguoyu 创建的主题 Java 如果公司用的框架完全是自己写的怎么办
别想太多,先干活
2017-02-14 11:19:04 +08:00
回复了 slgz 创建的主题 问与答 做为一个初级并且合格的程序员,晚上回家后应该做些什么?
洗洗睡
2017-02-09 10:52:17 +08:00
回复了 ubuntugx 创建的主题 问与答 谷歌统计数据有较大误差
爬虫、隐私保护、还有就是连不上 google ?
2017-02-06 10:32:39 +08:00
回复了 hezhaoshun 创建的主题 问与答 新手(无编程经验)学 Python 用什么编辑器比较好?
推荐 PyCharm ,功能强大又好用
装个桌面就行了,用 linux 上网、看视频
2016-12-29 10:41:43 +08:00
回复了 pouta 创建的主题 问与答 vim 有什么插件推荐的吗?
https://github.com/spf13/spf13-vim

请在 6 个月内将 vim 作为你的默认文本编辑方式
2016-12-26 18:28:34 +08:00
回复了 ioiogoo 创建的主题 Python Scrapy 爬虫的实时监控
一个 for 循环里 scrapy stat 是固定的,这个时间如果变化了,就是你 for 循环执行得太慢了,这个时间间隔都用来写 redis 了吧。我出于节省内存的角度考虑,可以把 4 个值合并到一起,如果某个值不存在,可以设置成 -1 。

考虑一种情况,你程序已经运行一次, redis 里有相应的结构了,然后再次运行,查找某个 key 时没找到,这时候你跳过了,而不是写一个无意义的值,等取数据的时候,你根据步长过滤数据,这一列的时间点可能和其他列完全不对应。这时候你图上的竖线就没有意义了。
2016-12-26 17:43:32 +08:00
回复了 ioiogoo 创建的主题 Python Scrapy 爬虫的实时监控
1. middleware 每取到一次数据,就会生成 4 个 {'value': ['2016-12-26 17:08:37', 1]} ,不如生成一个 {'value': ['2016-12-26 17:08:37', 1,2,3,4]},或者 {'value': [1482745171, 1,2,3,4]},或者[1482745171, 1,2,3,4]

2.https://github.com/ioiogoo/scrapy-monitor/blob/master/visiter/visiter/monitor/statscol.py#L25
已经保证只能取到 4 个值了,如果其中某个值为 None ,就只剩 3 个值了

3.如果我想改动这个值,是不是要修改配置文件,然后重启程序?为什么不动态计算,或者把总数给前端,从前端接受范围?
2016-12-26 17:02:31 +08:00
回复了 ioiogoo 创建的主题 Python Scrapy 爬虫的实时监控
内存主要消耗在 time.strftime('%Y-%m-%d %H:%M:%S') 上

'downloader/request_count', 'downloader/response_count','downloader/response_status_count/200', 'item_scraped_count' 看上去都是比较小的数字,占不了太多内存,就算乘以 100 万也不会太大

https://github.com/ioiogoo/scrapy-monitor/blob/master/visiter/visiter/monitor/statscol.py#L27
这里如果真的跳过了, 4 个列表中的数据是不是就不同步了

https://github.com/ioiogoo/scrapy-monitor/blob/master/visiter/visiter/monitor/app.py#L22
这里数据量超过 POINTLENGTH 以后,前端是不是就不更新了
好厉害
1  2  3  4  5  6  7  8  9  10 ... 13  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5629 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 41ms · UTC 03:37 · PVG 11:37 · LAX 20:37 · JFK 23:37
Developed with CodeLauncher
♥ Do have faith in what you're doing.