微信公众号文章语料库

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3156 天前的主题，其中的信息可能已经有所发展或是发生改变。

部分网络抓取的微信公众号的文章，已经去除 HTML ，只包含了纯文本。每行一篇，是 JSON 格式， name 是微信公众号名字， account 是微信公众号 ID ， title 是题目， content 是正文。

Clone 完 Git 之后，要用 git lfs fetch 来拿主要的文件。

目前数据大约 1G ，数据会定期更新增加。

请只用于研究用途。

https://github.com/nonamestreet/weixin_public_corpus

git

微信

公众

语料库

4 条回复 • 2016-05-09 12:36:24 +08:00

sharp

2016-05-07 15:14:52 +08:00

你是怎么抓的

xlxlxlxl

2016-05-08 14:53:57 +08:00

我该说 1024 还是好人一生平安(●'◡'●)
楼主好人

songkaiape

2016-05-09 11:00:05 +08:00

同问怎么抓取的。。好奇

linsun84

2016-05-09 12:36:24 +08:00

文章蛮多的
http://www.cnblogs.com/java-wgm/p/5088674.html

主要有验证码和各种限制。刚更新了，数据增加到了 3G 。