想要弄一个 github 的爬虫，然后开放爬到的 github 数据

[imcj]

想到的可以爬到的内容有 git 仓库信息、会员信息。

今天突发奇想，想分析各种库的引用情况。

[JoyNeop]

曾经有个 GitHunt ，现在可以用 zaoshu.io 搞一个。。。（强插广告手动滑稽

[imcj]

@JoyNeop 没有 google 到相关的链接。 zaoshu 是您的产品？

[DoraJDJ]

直接用 GitHub 的 API 不行吗？

[bazingaterry]

自己爬自己，噢，无限递归 😯

[upczww]

有 api

[imcj]

@DoraJDJ 允许频次不够用。

另外我都想法只开发数据库只读权限

[imcj]

@upczww 嗯，频次不够用。

[lucifer4he]

多注册几个账号。多用几个 token 问题解决 啊哈哈

总比爬起来解析数据好受点

[gdsagdada]

不道德， github 现在还在亏损，楼主给它省点带宽

[Mdrights]

已經有 Telegram 的 bot 了

[nsa]

可以先用 ghtorrent 的练

[imcj]

@lucifer4he 从我个人的需求上的确是解决问题了。我觉得弄一个开放的 GITHUB 数据库这件事听起来不错。

@gdsagdada 爬取目标网站数据这件事情不算不道德，算的话，那 google 怎么说？ Github 亏损这件事情，我觉得从另外一个角度上来看，这是他们赢取资本的策略。

@nsa 感谢推荐。

[qdk0901]

不好爬，我之前写过一个，挂 vps 上爬了一个月，用 tor 不停切换出口 ip 来绕过限制，只爬了 300 多万用户 /仓库的信息，也不是全部信息，只有一部分，比如只有用户 /仓库前几页的 following/followers/stars 等信息。
这东西还是放弃吧，最终也没什么卵用

[qdk0901]

最终我是用 word2vec ，分析用户仓库关系，做了一个类似于地图的玩意，我称之为代码地图
用 d3.js 做了可视化
http://transing.xyz/codeatlas.html

[holajamc]

做过一个，嗯目前已经改成了毕设项目……
HolaJam/github_relationship

[imcj]

@qdk0901 这些数据还在吗？

@holajamc 没看懂。

[holajamc]

就是我也在做关羽 github 的一个程序
描述 github 用户之间的关系，用户和 repo 的关系

[imcj]

@holajamc 现在还在进行中吗？交流一下。

[holajamc]

@imcj github 可以看到项目地址……为了给 github 省带宽就没有写多线程~目前只是做了用户关系，做好了 Neo4j 版本和 MariaDB 版本， MongoDB 正在做，然后就是 repo 的接口也是写好了的包括自己的 repo ， star 的 repo 和 fork 的 repo

[imcj]

@holajamc 已经可用了吗？

[holajamc]

@imcj 目前还在完善~

[imcj]

@holajamc 是从网页爬数据？还是从 api ？

[holajamc]

@imcj 从网页采集数据， api 几分钟次数就用完了……

[imcj]

@holajamc 上面那个哥们给的 ghtorrent 好像是用非常多的 api key

[Codewj]

楼主的项目进行的怎么样了

[imcj]

@Codewj 没有开始这样的项目，只是一个 idea ，想看看有没有人已经弄过了。交流一下先。

你曾经也考虑过这样的东西？

[qdk0901]

@imcj 数据还在，没整理很乱， mongodb 存的， 10G 左右

[imcj]

@qdj0901 还准备继续吗？都做了些什么？

[gaocegege]

https://github.com/gaocegege/scala-github-relationship

之前无聊的时候有做过类似的，一开始单机多线程类似事件驱动来爬的， API rate limit 很成问题，后来只能用单线程同步来做。

对于 limit 的问题，比较好的解决方案是用多几个帐号，用 token ，好像用的好的话 20 多个帐号就可以爬全站。

[Codewj]

@imcj 有想法，做个毕业设计

[imcj]

@gaocegege 嗯，有很多设想都是建立在数据完整的情况下。爬数据很费时费力。

@Codewj 可以多交流，这个帖子里面就有几个人在做这件事。我以前爬过网页，但是后来没有继续。

如果有可能，大家一起维护一份数据每个人都轻松。