来一起造作吧！有一个爬虫小框架等你来！

[intohole]

https://github.com/intohole/xspider 是再重复造轮子！但让我们一起熟悉

xspider 简单 python 抓取框架

xspider

• 抓取单线程
• 简单 api 使用
• xpath/css/json 提取器
• 多种队列
• 架构代码逻辑清晰，可以了解 spider 抓取过程
• it's easy to crawl and extract web;

main.py:

    from xspider.spider.spider import BaseSpider
    from xspider.filters import urlfilter
    from kuailiyu import KuaiLiYu

if __name__ == "__main__":
    spider = BaseSpider(name = "kuailiyu"  , page_processor = KuaiLiYu() , allow_site = ["kuailiyu.cyzone.cn"] , start_urls = ["http://kuailiyu.cyzone.cn/"])
    spider.url_filters.append(urlfilter.UrlRegxFilter(["kuailiyu.cyzone.cn/article/[0-9]*\.html$","kuailiyu.cyzone.cn/index_[0-9]+.html$"]))
    spider.start()

kuailiyu.py
    from xspider import processor 
    from xspider.selector import xpath_selector
    from xspider import model

    class KuaiLiYu(processor.PageProcessor.PageProcessor):

        def __init__(self):
            super(KuaiLiYu , self).__init__()
            self.title_extractor = xpath_selector.XpathSelector(path = "//title/text()")

        def process(self , page , spider):
            items = model.fileds.Fileds()
            items["title"] = self.title_extractor.find(page)
            items["url"] = page.url
            return items

抓取部分有以下工程代码

• PhantomjsFetcher
• pyspider

继续顶 ， 我想在这个工程上花些时间 ， 做成一个带爬虫策略的爬虫框架

[xiaozizayang]

助攻 https://github.com/howie6879/talonspider

[tamlok]

助攻 https://github.com/tamlok/vnote

[intohole]

@xiaozizayang 学习一下

[intohole]

@tamlok 好屌～

[j1wu]

JavaScript 版本助攻，向大家学习 Orz https://github.com/j1wu/cli-scraper

[zhangysh1995]

最近正好在学爬虫，收藏一个，楼主加油！

[intohole]

@j1wu 屌屌的

[intohole]

@zhangysh1995 里面的 api 没有整理 ， 这个爬虫专门为了机器不足 时间来换的开发

[coolloves]

马克,学习

[intohole]

@coolloves  感谢关注