推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3039 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近无聊去熊猫 tv 直播了一小会，写了个爬虫，爬取主播 id 和竹子数量进行排序啥的看看。
然后爬取的数据不知道怎么展现，以前都是放在本地自己看看。
现在暂时把 python 脚本放在学生主机上了，每天 8pm 爬取一次，保存为 csv 格式。
那么问题来了，这些数据如何展示出来了？我暂时有几个想法：
- csv 直接变成 html 表格
- 使用类似 jinja2 之类的模板
- 将数据存储起来，用 js 处理，正好做个网站（本人学了一丢丢前端知识）为什么要用 js 处理呢，因为感觉加上 h5 和 css3 ，数据展示效果应该会很棒比较酷炫。就是不知道 js 处理数据能力怎么样，但是其实我这边数据也很少
github 地址: panda-bamboos-rank
代码写的很入门级，希望大家多多发表意见
 |
1
raycool 2016-08-02 21:48:18 +08:00  1
highchart
|
 |
2
ranjiayu 2016-08-02 22:06:41 +08:00 1
ECharts
|
 |
3
Merlini OP |
 |
4
hustlike 2016-08-02 22:53:34 +08:00
splunk 免费版
|
 |
5
lxy 2016-08-02 23:08:22 +08:00 1
我自己用 Flask 搭了个 web app ，写好前端，返回整理好的数据 json 即可，连模板都没用上。
|
 |
6
Perry 2016-08-02 23:08:52 +08:00 1
|
 |
8
zhouxuchen 2016-08-03 08:53:03 +08:00 via iPhone 1
还是放在数据库比较靠谱……接口的话用 Flask 就行，然后用 js 请求下
|
 |
9
namco1992 2016-08-03 09:09:39 +08:00 3
我是把数据放在 mongodb ，然后单独一个脚本作分析，导出 json ，用 c3.js 画图，然后随便写个很简单的页面就好了。
展示在这里： http://107.170.207.236/job_analysis 代码在这里： https://github.com/namco1992/job_analysis |
|
10
Perry 2016-08-03 09:24:18 +08:00 via iPhone 1
@Merlini 一般把数据存在数据库，然后像楼上一样把分析出来的结果导出来（比如 json ）用来展示，因此展示的时候不需要连接数据库。
|
|
11
Merlini OP |
 |
13
oraant 2016-08-03 10:53:46 +08:00 2
最简单的当然是 excel 绘图。。
然后是 echarts ， google 图表之类的在线生成图片的。 这些都适合小白。 正确的姿势，是存到数据库中，然后通过 JSON 传递给 js 组件，如大家提到的 Echarts ， HighCharts Echarts 和 Highchart 上手都很简单，有点 js 基础，就可以 5 分钟入门。 D3 之类的学习曲线太陡。 还有其他的一堆图表绘制插件，搜一下就是了。 |
 |
14
lzgbeyong 2016-08-03 14:04:37 +08:00
正好最近用 node 爬虫爬取了各个直播网站的 dota 信息，直接用网站显示，这是网站 http://120.76.29.108:8080/
只显示数据可以用 python 的 matplot 绘制表格。 |
|
16
Merlini OP @namco1992 请问 mongodb 和 mysql 这两种不同类型的数据库 如何选择呢
|
 |
17
dabpop139 2016-08-03 16:31:36 +08:00
有个小问题想请教，已经在你 Github 项目上提 Issue
|
 |
18
20150517 2016-08-03 18:44:53 +08:00 1
Highchart + 1
我不是前端的,但也用 django + highchart 做了不少,感觉很简单 另外如果只是自己看的,我一般 ipython notebook 的 plot 直接显示了 或者如果是实时数据,我还喜欢用 carbon+graphite 直接显示出来,我用十几个 graph 监控金融市场数据,用 graphite 显示的 |
|
22
namco1992 2016-08-03 23:24:23 +08:00
@slysly759 就是 c3.js 啊，说 d3 学习曲线陡峭的可以尝试一下，我这种前端一窍不通的都能写，这种比较基础的图表很简单啊，数据组织好了就只剩下调调参数而已了。
|
|
23
namco1992 2016-08-03 23:32:54 +08:00 1
@Merlini 关系型数据库偏重结构化的数据， mysql 对 json 的支持也是 5.7 加入的，估计很多人还没用上吧。而爬取的数据很难结构化，并且多变，又用不到关系型数据库的那些强项，使用文档型的 nosql 存储比较合适。而且 mongodb 应该算是 nosql 里面最像 mysql 的了，有索引，查询方便。
综上原因，所以选择了 mongodb 。 |
 |
24
coreki 2016-08-06 19:34:20 +08:00 via iPhone
我也在用 scrapy 写爬虫玩，打算用 mongodb 存数据，用 flask 和 js 的图形控件可视化
|
Select Language