请教一个反爬的技术

[gezimonkey]

新加坡联合早报 https://www.zaobao.com/
新闻详情页面采用了一种没见过的技术应对复制与爬虫
例如 https://www.zaobao.com/news/china/story20230110-1351792

在 P 标签内加入了 data-s="yGMGEZQ===="这种标签,导致页面看起来段落顺序是正确的,但复制,或者爬取,就是错的 请大神指点一下

[gezimonkey]

@getcharch 大佬你就是生产力!!!

[NoOneNoBody]

@likeme #14
@corcre #15
如果要爬取的内容是完整文字，js 只是用于渲染和排版，可以摒弃 DOM ，直接用正则，按自己规则重建排版

其实爬取万级以上页面，每页建 DOM(即使非 js)搜索和正则搜索，耗费资源差别很大，正则快很多
两者各有优劣，如果内容边界随机，例如随机的 class name 样式，正则要确定内容的位置不容易，要一定技巧，dom 就可以简单地用 path 就能找到