是一个专搜个人博客的小应用,迄今为止 建千万级别博客索引,爬取十万级别个人独立博客域名;愿景是网罗全网的个人技术博客,做一个纯粹的技术博客搜索平台!
一说索引可能有人觉得就是用的
es, 其实这里,自己实现索引的时候没有用索引,直接自己动手实现简单的倒排 +skiplist,不光是内存贮存数据,也能支持落盘和从磁盘加载形成倒排等操作;
项目 demo 地址:http://49.233.52.50/,如果要使用
github登录, 需要用本地 charles 代理下域名:www.xiaoshesoso.com 到 http://49.233.52.50; 主要爬取独立博客,并按照博主的热度进行简单排序,也可以时间排序!
欢迎大家拍砖,试玩,大家有啥好的想法可以一起分享哈,一起多多提建议吧🙏:https://github.com/funeyu/snake-web-server/issues/1;
先放出小蛇搜搜的 nodejs 做的前台 server 代码: https://github.com/funeyu/snake-web-server; 该 nodejs 代码基于 koa2 二次封装,项目逻辑比较清晰,欢迎大家加星等操作!!!
后续会依次会将所有的 ui 层( react )代码,索引层代码和爬虫( golang )一并慢慢放出;
最近简单适配一下手机端,欢迎使用哈,大家有啥好的建议都可以提哈,非常感谢~~~
后续也会继续完善功能,大家要是觉得好用,也可以广而告之哈😆😆
|  |      1funer OP 收藏和点赞和踩的功能,必须得是用 github 登录后才能正常使用,用 github 登录,就必须要本地 charles 绑定域名 xiaoshesoso.com,  确实很麻烦,先就这样吧,后面再把域名备案 添加解析~~~~ | 
|  |      2calpiswater      2020-05-16 07:07:39 +08:00 via iPhone 很不错的想法 支持一下 LZ👍 | 
|      3zukezz      2020-05-16 07:30:43 +08:00 via Android 支持楼主👍 | 
|  |      4liyaojian      2020-05-16 09:40:36 +08:00 via iPhone 为什么要用 charles,本地 host 指一下不行? | 
|  |      5geekzhu      2020-05-16 09:50:15 +08:00 域名没备案的话,可以直接使用腾讯云的 IP 来访问? | 
|  |      8luckyrayyy      2020-05-16 10:03:09 +08:00 哈你这个 UI 还真是简介,莫名感觉萌萌的 | 
|  |      9JustSong      2020-05-16 14:00:08 +08:00 关注了,坐等开源 | 
|  |      10funer OP @luckyrayyy 虽然自己一直从事前端开发,但对页面设计啥的没有啥头绪,后面慢慢找人帮忙设计下~~~ | 
|  |      11lazybios      2020-05-16 23:39:38 +08:00 很赞 希望能持续维护下去 | 
|  |      13wintercoder      2020-05-17 12:06:34 +08:00 想法挺好的 | 
|      14v2ls      2020-05-17 16:05:25 +08:00 支持 | 
|      15gggyyybbb      2020-05-18 09:07:14 +08:00 楼主抓住了痛点,不错的应用,支持 | 
|      16herbin      2020-05-20 11:41:27 +08:00 via iPhone 666 | 
|  |      17funer OP 大家试用的时候,有哪里不爽的,可以一起交流下哈,我这边在下一个版本改下; 也可以加我微信联系:funer80, 很乐意和大家伙成为朋友~~~~~ | 
|  |      18funer OP 网站 ip 访问先暂停段时间~~~~ | 
|  |      19Duduchao      2020-06-17 01:11:12 +08:00 请问:您是把爬到的内容都存到服务器了吗,搜起来这么快 |