数据爬取、Ajax 探讨

[bozong]

淘宝商品月销量是 Ajax 异步加载//看回复

[bozong]

做了请求的限制、



请大牛们提供下思路。伪造请求 IP ？

[bozong]

目测是做了请求源的限制、、、

[allenling]

貌似这个 API 需要店铺的 session ID 这类的 token 吧，具体需要阿里的文档，哪些 API 是需要 session ID 的

[mhycy]

代理池搞起

[bozong]

@mhycy #4 限制很严的

[xqin]

同学,你搞错 URL 了吧?
你第一张图里明明是 `initItemDetail.htm` 这个 URL, 而你第二张图请求另一个地址是啥意思?

你不是想获取 销量吗?

只需要 设定 Referer 就可以请求到数据 .

```
$ curl -se "https://detail.tmall.com/item.htm" "https://mdskip.taobao.com/core/initItemDetail.htm?itemId=543399704177&callback=setMdskip" | grep
-Po "\"sellCount\":\d+,"
"sellCount":8308,

```

[xqin]

curl 执行之后后面的代码是
```
| grep -Po "\"sellCount\":\d+,"
```
用来匹配出来 销量, 上面帖代码的时候换行了, 最后 一行是 最终的输出结果.

[bozong]

@xqin #6 噢噢噢

[bozong]

@xqin #6 设定 Referer 也不行的吧

[xqin]

@bozong 你用的工具有问题吧? 或者 你的 ip 已经 被封了?
我上面发的 curl 的命令,你没执行一下试试?
因 V2EX 上面帖图片不太方便, 我就不帖 curl 执行结果的截图了.

[bozong]

@xqin #10 呃呃。好像可以了。感谢

[xqin]

curl 的执行结果截图:

[bozong]

@xqin #12

[ltux]

用 selenium

[bozong]

@bozong #13 可以了。通过其他方式去请求吧

[bozong]

@ltux #14 nice

[bozong]

@xqin #12 再次感谢

[mingyun]

@xqin 赞