推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3389 天前的主题，其中的信息可能已经有所发展或是发生改变。
用Scrapy爬了一些数据，弄成了JSON。
接下来有搜索的需要。
JSON类似于
{"name":.....,"para1":.....,"para2":.....,}
需求就是模糊搜索name，输出para1，para2。
JSON文件大约300多MB，十几万行。
求高效的处理方式。
顺便问一下，用Python处理较大的JSON文件有什么好办法？还是说直接上C Binding？
Thx！
接下来有搜索的需要。
JSON类似于
{"name":.....,"para1":.....,"para2":.....,}
需求就是模糊搜索name，输出para1，para2。
JSON文件大约300多MB，十几万行。
求高效的处理方式。
顺便问一下，用Python处理较大的JSON文件有什么好办法？还是说直接上C Binding？
Thx！
 |
1
linnchord 2015-01-19 21:11:09 +08:00
十几万行 放数据库不是挺好吗
|
 |
3
tennix 2015-01-19 22:02:55 +08:00
这种 json 数据最适合放到文档数据库里了，比如 mongodb， mongo 的查询功能也算比较强大
|
 |
4
binux 2015-01-19 22:10:48 +08:00
1、放内存
2、放数据库 3、放elasticsearch |
 |
5
yakczh 2015-01-19 22:48:50 +08:00
scrapy检测网站内容更新有什么好的方案？
|
 |
6
Moker 2015-05-07 11:48:11 +08:00
我现在也存成了JSON 可是 存数据库老是出错...
|
Select Language