爬虫去京东商城。价格被隐藏的问题

[yuyuyu101]

正常浏览器访问京东的商品页，可看到红色的价格，并且查看html代码可看到价格是文本格式。

我用爬虫访问时，返回的html代码没有价格，我尝试修改爬虫的user-agent为chrome，但是仍然没用。有人知道。京东是采用什么原理进行屏蔽的么

[lerry]

京东的网页，红色的价格是图片，源码看不到的，只能看到“市场价”，你能看到？发个链接？

[9hills]

是图片无误，用OCR吧

[road2stat]

用 tcpdump + Wireshark 之类的分析一下京东 iOS app 的私有 API 就可以了。你懂的。

[9hills]

@road2stat 是想反向私有API么？不可能的。。。

[phuslu]

两步可以拿到。
1. 模拟点击"加入购物车"，拿到 cookie
2. 用这个 cookie 去访问 http://cart.360buy.com/cart/cart.html

绝大部分的购物网站可以用这个办法解决。

[road2stat]

@9hills 我跟了一下，没有使用 SSL / OAuth 之类的东西，就是一个简单的请求，返回一个简单的 JSON，你也可以做下实验。

即使是加上 SSL 的普通请求，也可以自建中间人把加密包解开然后进行分析。但是如果加上了 OAuth 的私钥什么的，可能会比较困难。

[cooiky]

@phuslu 这种对少量商品可以，如果是去抓全站商品，这样就很麻烦了

[aa88kk]

抓下图片, 然后用tesseract去识别, 某淘就是这么干的.

[cutehalo]

function jdPshowRecommend(url,stype) {
var title = "CAMEL/骆驼 2012新款男款纯棉短袖t恤透气休闲翻领polo衫夏季新品 017308 男款军绿 XL直降108 限时抢购 送给父亲最好的礼物 仅限30日";
var content = "我在@京东商城 发现了一个非常不错的商品：CAMEL/骆驼 2012新款男款纯棉短袖t恤透气休闲翻领polo衫夏季新品 017308 男款军绿 XL直降108 限时抢购 送给父亲最好的礼物 仅限30日，京东价：￥276.00。感觉不错，分享一下";


看到这个微博分享的JS里面就有京东价了吧。。。京东还用图片来屏蔽个毛啊....

[gavingeng]

@cutehalo
你抓的是分享SNS里的价格吧

[cutehalo]

@gavingeng 这个是分享按钮的JS 是在商品页里的 京东价被写在这里头了...

[forest520]

@cutehalo 呵呵，有了这个，确实图片就多余了。

[sarices]

我之前都是用分享按钮的价格，不明白京东为何用图片显示

[waterye]

我猜是技术部门不同项目组独立干，没有统一规则。

[kamal]

LOL 网页里面直接输出了
function jdPshowRecommend(url,stype)

[tokki]

这好玩 以后我要抓什么东西了 就发动一下大家一起来研究 太有趣了

[c]

收藏。我以为ocr是唯一的解决方案，没想到学习了这么多。

[yuyuyu101]

@9hills 我发现图书产品页不是图片 http://book.360buy.com/10058893.html

[ljbha007]

@cutehalo 至今没有找到分享按钮在哪 不过那个函数的确在啊 碉堡了

[cutehalo]

@ljbha007 分享按钮就在那个商品图片框的下面 有一排