反爬求助

[CaptainD]

最近在学习爬虫，在网站反爬的时候遇到些问题

• 爬虫在请求目标网站的时候会返回 202 ，但是浏览器是能请求成功的，我检查发现

• 目标网站是 post 请求，表单提交，没有使用 ajax ，表单提交的时候有两个奇怪的字段 1.__RequestVerifyToken: 看起来是一个加密的随机数，在首次请求的时候会带这个参数，参数在 response 的 html 页面存在，是一个隐藏类型的标签，name = __RequestVerifyToken ，value=它的值 2.刷新几次之后，表单只携带一个 payload ，键是 OMv5e9ZM ，值看起来也是个加密的数据，但是这个值变化的时候 cookie 里有一个键值对也会发生变化，应该是有关联的，暂时不清楚是干啥的

• 我的程序携带对应的 cookie ，payload 发起请求一直会是 202 ，不太明白问题出在哪

[evil0harry]

我曾经在地方专利局爬过，你的这个网站太卡了。
http://pss-system.cnipa.gov.cn/sipopublicsearch/portal/uiIndex.shtml

[evil0harry]

@evil0harry 建议使用地方的

[evil0harry]

@evil0harry http://pss-system.cnipa.gov.cn/sipopublicsearch/portal/uiInitPortalHome-showLocaleService.shtml
青岛好像最快，但是还是有反爬。

[evil0harry]

@evil0harry 当时是为了科研任务，并且是 3 年前没有网络安全法的时候。

[mswh]

puppeteer 试试？