爬虫： get 请求一个 url 不返回主体 html，状态码 200，这是加权限了吗？
s609926202 · 2020-01-07 14:39:02 +08:00 · 1954 次点击这是一个创建于 1786 天前的主题，其中的信息可能已经有所发展或是发生改变。
请求地址： https://www.digikey.cn/products/zh?WT.z_header=search_go&keywords=LTC4366HTS8-2
使用 Guzzlehttp 请求时时，返回内容如下：
<!DOCTYPE html>
<html>
<head>
<script>一些 js 代码</script>
</head>
<body>
<script>一些 js 代码</script>
</body>
</html>
在浏览器中响应内容是全部的 html 内容。
初步怀疑这是有什么权限之类的原因？对爬虫不是很了解，路过的帮忙看看。
第 1 条附言 · 2020-01-07 23:22:33 +08:00
经网友提醒并测试，原因是 cookie 引起的。该页面在请求时附带了一个 i10c.bdddb 的 cookie，且响应中也有唯一的 i10c.bdddb cookie。
目前不是很清楚这个原理，有清楚的同学吗》？
目前不是很清楚这个原理，有清楚的同学吗》？
 |
1
noreplay 2020-01-07 14:49:44 +08:00
没玩过爬虫，感觉是一个 js 执行的问题，可以试一下无头浏览器之类的进行爬
|
 |
2
s609926202 OP 使用 curl 返回的内容如下图
 |
 |
3
crella 2020-01-07 17:39:41 +08:00 via Android
爬 www.newsmth.net 一样。每次访问页面都被 js 处理并解析，所以要有类似浏览器 js 环境的 js 解析器
|
|
4
s609926202 OP @crella php 可以实现吗？
|
|
5
crella 2020-01-07 19:06:57 +08:00 via Android
|
 |
6
ruimz 2020-01-07 19:19:11 +08:00 via Android
@crella 不用这么麻烦…newsmth 的 js 文件也是有规律对应的。F12 一下找到 js 文件地址，直接爬 js 就行…………
|
 |
7
qoo2019 2020-01-07 19:32:01 +08:00 via iPhone
根据 ua，直接返回 200 就行了
|
Select Language