想要弄一个 github 的爬虫，然后开放爬到的 github 数据

[imcj]

想到的可以爬到的内容有 git 仓库信息、会员信息。

今天突发奇想，想分析各种库的引用情况。

[JoyNeop]

曾经有个 GitHunt ，现在可以用 zaoshu.io 搞一个。。。（强插广告手动滑稽

[imcj]

@JoyNeop 没有 google 到相关的链接。 zaoshu 是您的产品？

[DoraJDJ]

直接用 GitHub 的 API 不行吗？

[bazingaterry]

自己爬自己，噢，无限递归 😯

[upczww]

有 api

[imcj]

@DoraJDJ 允许频次不够用。

另外我都想法只开发数据库只读权限

[imcj]

@upczww 嗯，频次不够用。

[lucifer4he]

多注册几个账号。多用几个 token 问题解决 啊哈哈

总比爬起来解析数据好受点

[gdsagdada]

不道德， github 现在还在亏损，楼主给它省点带宽

[Mdrights]

已經有 Telegram 的 bot 了

[nsa]

可以先用 ghtorrent 的练

[imcj]

@lucifer4he 从我个人的需求上的确是解决问题了。我觉得弄一个开放的 GITHUB 数据库这件事听起来不错。

@gdsagdada 爬取目标网站数据这件事情不算不道德，算的话，那 google 怎么说？ Github 亏损这件事情，我觉得从另外一个角度上来看，这是他们赢取资本的策略。

@nsa 感谢推荐。

[qdk0901]

不好爬，我之前写过一个，挂 vps 上爬了一个月，用 tor 不停切换出口 ip 来绕过限制，只爬了 300 多万用户 /仓库的信息，也不是全部信息，只有一部分，比如只有用户 /仓库前几页的 following/followers/stars 等信息。
这东西还是放弃吧，最终也没什么卵用

[qdk0901]

最终我是用 word2vec ，分析用户仓库关系，做了一个类似于地图的玩意，我称之为代码地图
用 d3.js 做了可视化
http://transing.xyz/codeatlas.html

[holajamc]

做过一个，嗯目前已经改成了毕设项目……
HolaJam/github_relationship

[imcj]

@qdk0901 这些数据还在吗？

@holajamc 没看懂。

[holajamc]

就是我也在做关羽 github 的一个程序
描述 github 用户之间的关系，用户和 repo 的关系

[imcj]

@holajamc 现在还在进行中吗？交流一下。

[holajamc]

@imcj github 可以看到项目地址……为了给 github 省带宽就没有写多线程~目前只是做了用户关系，做好了 Neo4j 版本和 MariaDB 版本， MongoDB 正在做，然后就是 repo 的接口也是写好了的包括自己的 repo ， star 的 repo 和 fork 的 repo

[imcj]

@holajamc 已经可用了吗？