[开源]写了一个从推特爬取 GPTs 的 Python 脚本

[luobogooooo]

出海小白第一次建站，上年看到 https://github.com/all-in-aigc/gpts-works 开源了，就用它也做一个 GPTs 导航站。然后在 V 站看到 GPTs Hunter 大佬发帖 https://v2ex.com/t/990120 讲了数据怎样爬的，过年的时候自己动手实践了一下，老铁们可以直接拿去用。

1. 从推特上爬取 GPTs 链接：
https://github.com/luobogor/twitter-gpts-crawler

2. 从 chatgpt 上爬取 GPTs 详情：
https://github.com/luobogor/gpts-detail-crawler

[airyland]

列表其实也可以爬下 Google ，Google 大概有一半以上的官方 GPTs 链接是从 GPTsHunter.com 发现并索引的(utm_source=gptshunter.com)。

[luobogooooo]

马上回去实践，感谢大佬指点 @airyland

[luobogooooo]

@airyland 请教大佬一个问题，研究了一下谷歌搜索的参数是这样的 https://google.com/search?q=Query&num=20&start=0 但是接口最多返回前 400 条数据，往后就算继续请求也不会返回结果，人工在浏览器搜索也这样只返回前 400 条结果。是不是不能用这个接口爬数据。

[airyland]

@luobogooooo 还有其他角度啊：比如筛选最近 24 小时，按日期筛选。