Python 是否有监听网页，发现变化然后通知的包

2019-10-13 15:33:36 +08:00
 michaelym
目前用的是爬虫，但是自己写的每隔 5 秒访问 api 有点耗流量和占内存，有什么好的办法吗，另外要同时监听多个网页（ 100 个）的话有什么好方法吗？
6080 次点击
所在节点    Python
26 条回复
0312birdzhang
2019-10-13 22:08:00 +08:00
你要的是不是 Etag 或者 Last-Modified ?
xiangyuecn
2019-10-13 23:20:23 +08:00
占内存就像是一个笑话。。。感觉你是在提前优化😎 阔怕

如果确实发百来个请求就占用了大量内存（写了什么代码😂），实在要优化，花 100 块买根 1G 的条子加上去难道不香吗，实在不行买 128G 的也行😂

量多占用太多流量这个看楼主#13 说的似乎很难优化，不过量多往往代表着普普通通很长时间不太可能变化，意思就是代表着时效性没有想象的这么高，给这些按重要性分一下级，90%不重要的也许 5 秒改成 500 秒就好了，来 1000 个改成 5000 秒，以此类推😂
ty89
2019-10-14 10:17:22 +08:00
爬虫是放在在非洲用 2G 上网的，流量这么金贵
cominghome
2019-10-14 12:19:29 +08:00
“但是自己写的每隔 5 秒访问 api 有点耗流量和占内存”被你爬的公司还没说话呢... 2333
ztcaoll222
2019-10-14 12:53:51 +08:00
"有点耗流量和占内存", 你是用手机跑爬虫的吗
imaimin
2019-10-14 15:51:18 +08:00
楼主这应该是在监听 KJ 结果

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/608862

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX