V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1951 days ago, the information mentioned may be changed or developed.
直接从网上爬的话，容易 404 。 然后从 rss 爬好像不是最近的，有什么办法爬最新的东西呢？
Supplement 1 · Dec 22, 2020
ConnectionError: ('Connection aborted.', TimeoutError(10060, '由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。', None, 10060, None))
 |
1
andyskaura Dec 22, 2020
无头浏览器 效率虽然低 但是自己用省事还稳定
|
 |
2
knightdf Dec 22, 2020
张大妈好爬吧，直接撸接口就行了
|
 |
3
LikeMurphy Dec 22, 2020  1
不会啊，我爬了一年多，爬取频率是隔三分钟爬三百条，贼稳定，没出现过 404
|
 |
4
Sapp Dec 22, 2020
我之前用 electron 直接解析网页读取 dom 收集小说，和直接访问没啥区别，张大妈应该也可以
|
 |
5
hubahuba Dec 22, 2020
@LikeMurphy 张大妈警告
|
|
7
LikeMurphy Dec 23, 2020
@hubahuba 没事，我只是爬信息回来，买东西还是走他的链接，对它没损害，甚至我还发展了几个下线
|
|
8
LikeMurphy Dec 23, 2020
@galileo1214 没反应大概率是你的接口调用有问题，去 gayhub 上搜一下吧，很多人写这方面的
|
Select Language