首页   注册   登录
sxd96

sxd96

V2EX 第 78429 号会员,加入于 2014-10-24 21:32:43 +08:00
今日活跃度排名 4926
sxd96 最近回复了
selenium 不是专门做爬虫的,长时间跑确实会有问题。只能定时 kill 重启。

另外,可以试试 puppeteer
6 天前
回复了 askfilm 创建的主题 Linux UOS 20 正式版已经发布了
@wevsty 可能是指所有账号下都可以执行 sudo
如果楼主是程序员,或者对计算机有一定了解。我很严肃很真心的劝楼主去和专业的心理医生聊天,真的很重要。
如果楼主是个普通的手机用户,答案是不会感染到别的设备,接近于无穷大的可能,你也没有被入侵。
代理的问题,没代理很稳。一开全局代理就会断,但奇怪的是有时候是 outlook 邮箱断 有时候是 hotmail 断,有的时候一起断。pac 模式正常情况下没问题,但是也遇到过一两次。
31 天前
回复了 CatCode 创建的主题 Linux 关于 rm -rf /有感
没有用的,习惯问题。
按说 windows 该没问题吧 gui 的,我室友非要 shift del,拦都拦不住,误删过不止一次课件啊报告啊什么的。
还是要好习惯。
31 天前
回复了 princelai 创建的主题 Python 请教这段 Python 协程代码还能如何优化?
@princelai 明白了,感谢啦。
32 天前
回复了 princelai 创建的主题 Python 请教这段 Python 协程代码还能如何优化?
@princelai 哦哦是这样啊。那我的需求如果是从数据库里拿 url 出来给 crawler,也就是说那边 coroutine 在跑,然后生产者在产生新的 url,是不是还是得用 asyncio.Queue ?
32 天前
回复了 princelai 创建的主题 Python 请教这段 Python 协程代码还能如何优化?
@princelai 想问下如果爬虫 async 的话,requests 支持嘛?好像是要换用 httpx 或者 aiohttp ?这俩哪个比较好用?
32 天前
回复了 sxd96 创建的主题 Python 爬虫使用 selenium,浏览器内存占用越来越多
@Maxwell272 iTerm,主题是 tango light。
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1084 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 13ms · UTC 23:56 · PVG 07:56 · LAX 15:56 · JFK 18:56
♥ Do have faith in what you're doing.