V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lollipop43
V2EX  ›  问与答

既然可以禁用 js,爬取动态网页是不是简单了许多?

  •  
  •   lollipop43 · 2021-05-09 21:59:36 +08:00 · 1669 次点击
    这是一个创建于 1054 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在做动态页面的爬虫,突然想到如果使用了 selenium 后再禁用 js,那么页面元素都固定了,此时就完全像是爬取一个静态网页。 还是说这只是一个巧合,并不是所有的网站都会在 no script 模式下给出完整的响应

    6 条回复    2021-05-10 09:15:47 +08:00
    love
        1
    love  
       2021-05-09 22:05:19 +08:00
    我没用过 SSR 服务端渲染技术,听说那个就是有这效果。然而用这技术的网站肯定是少数啊,象我自己做站就只有客户端 react 渲染,禁 js 后当然一片白
    ch2
        2
    ch2  
       2021-05-09 22:07:37 +08:00
    现在都是 selenium 加载完毕后,在前端 fetch 数据渲染
    jotpot
        3
    jotpot  
       2021-05-09 22:58:59 +08:00
    如果新闻、资讯类站点还好,遇到页面用 js 渲染的就废了。页面内容都是 js 渲染的,就如 1 楼说的 禁用 js 就全白了
    adjusted
        4
    adjusted  
       2021-05-09 23:51:20 +08:00
    现在大多数前端渲染的页面<noscript>里面只有一句话就是"请启用 javascript"
    Tink
        5
    Tink  
       2021-05-09 23:52:24 +08:00 via Android
    不启用 js 不给看网页
    supermoonie
        6
    supermoonie  
       2021-05-10 09:15:47 +08:00 via iPhone   ❤️ 1
    那你直接 http 请求页面不就好了?干嘛还用 selenium,用这个的意图不就是因为要运行 js 吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   956 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 20:42 · PVG 04:42 · LAX 13:42 · JFK 16:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.