Twitter 反爬措施很牛逼啊，有没有大佬指点一下？

2018-10-10 14:04:52 +08:00
 qwertty01

主要是想获取某个推主的全部推文。

如果只爬推文限制几百条的样子。

爬推文和回复没有限制，但是爬虫很容易被检测出来，该设置的都设置了 UA，header，cookie

有没有大佬指点一下？

比如这个 https://twitter.com/i/profiles/show/realDonaldTrump/timeline/with_replies?include_available_features=1&include_entities=1&max_position=1049635559000469504&reset_error_state=false

4693 次点击
所在节点    问与答
2 条回复
whileFalse
2018-10-10 14:40:45 +08:00
twitter 有 api 啊。
qwertty01
2018-10-10 15:03:26 +08:00
@whileFalse twitter api 有限制啊 获取历史推文是企业级的 api

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/496304

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX