首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Node.js
Express
PPA for Ubuntu
ppa:chris-lea/node.js
V2EX  ›  Node.js

[开源] nodejs 实现的磁力链接资源搜索引擎 包含磁力链接爬取 磁力链接解析成 torrent 前端 findcl.com 站点

  •  1
     
  •   lueying · 30 天前 · 1435 次点击

    项目简介

    上线

    • 2018-06-01 网站正式上线。暂时想不到什么名字 各位大大可以推荐下哦。域名是 http://findcl.com
    • 两台 VPS (都是某些云做活动买的 配置低)
    • 第一台部署了 FindCl 站点本身( koa2、nginx )和单个节点的 Elasticsearch
    • 第二台部署了磁力链接爬虫 hashinfo 解析 入库 Mongodb
    • Mongodb 数据库在套路云(目前有 300W 数据库,每日新收录 3W+的数据)

    项目依赖

    • Mongodb
    • mongoose
    • Elasticsearch
    • nginx
    • koa2
    • vue
    • DHT BT 资源爬虫 磁力链接解析 manget2torrent
    • 前端站点 FindCl
    • crontab 定时执行 Mongodb 与 Elasticsearch 的数据同步
    • ...

    存在的问题

    manget2torrent

    • 依赖的 dhtspider 爬虫 长时间使用一个端口的时,由于 P2P 网络的特性,越来越多的节点来访问 会导致带宽跑满(其主要是活动买的云主机 1M 的),如果活力全开不做闲置 大概稳定在 10M 左右。解决方案就是 每次采集 5000 条不重复的磁力 hashindo 就暂停爬虫,取解析获取信息。等小于 1000 条时候,再随机端口开启服务。
    • 解析磁力链接缓慢且成功率很低, 失败的大概在 3 成左右且需要好几秒
    目前尚无回复
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   实用小工具   ·   583 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 16ms · UTC 20:19 · PVG 04:19 · LAX 13:19 · JFK 16:19
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1