爬虫爬 twitter 和 github 大家觉得现实不？

[zhoudafa6780022]

爬虫爬 twitter 和 github

设定关键词，搜索特定博主 /作者

大家觉得现实不？

[SunsetShimmer]

好像都有 API ，技术可行。

需求可能不大。

[limiter]

爬 github 吃力不讨好，会用的都能自己访问，不会用的爬了也不会看，至于 twitter ，你爬了给谁用？不怕进局子？

[zhoudafa6780022]

@SunsetShimmer 有 API 吗？哪里搜索？不是需要需要很多账号才能完成的吗？

[zhoudafa6780022]

@limiter 要快速搜索，人工无法实现。。有脚本或软件，就会看！

[SunsetShimmer]

@zhoudafa6780022

GitHub https://docs.github.com/cn/rest

Twitter https://developer.twitter.com/en/docs/twitter-api

Twitter 也可以参考 https://github.com/zedeus/nitter

[SunsetShimmer]

@zhoudafa6780022 当然是有 API 使用限制的，大量调用恐怕不行。

[lzgshsj]

不是，这俩都开放了开发者 api ，为啥要爬虫？
https://developer.twitter.com/en/support/twitter-api/developer-account
https://docs.github.com/en/rest

[ochatokori]

github 直接用官方提供 api
推特官方 api 需要申请开发者，不申请开发者用普通用户网页 api 容易账号被封。

以前试过用游客账户网页 api 爬，除了一部分信息爬不到之外（推文和回复都可以）效果还行。

[zhoudafa6780022]

@SunsetShimmer 就是要收集 twitter 和 github 博主主页上留有 tg 联系方式的一类。使用 API ，是否可行？

[zhoudafa6780022]

@lzgshsj 想要收集 twitter 和 github 博主主页上 关键字+留有 tg 联系方式的一类

[v2defy]

想那么多干嘛，api 都有了，想做就去实现啊

[youyelan9527]

你这明目张胆的的说出来要爬人家的联系方式🙄

[haohh]

twint 了解下

[SunsetShimmer]

@zhoudafa6780022 不建议做，最好别做。

[janus77]

好小子，我收到的不知名猎头邮件就是你们发的吧

[zhoudafa6780022]

@SunsetShimmer 为什么？ 怕无法实现大量调用是吗？

[SunsetShimmer]

@zhoudafa6780022 API 有限制是一方面，另一方面是这个用途（获取联系方式）有点不太正当。

[zhoudafa6780022]

@SunsetShimmer 好的 谢谢