V2EX › queshengyao 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

128 天前

这个位置拿出一部分定投一下创业板和沪深 300 ，风险不大了。

2018-05-15 12:38:47 +08:00

我干我的羊！

2018-05-14 09:34:24 +08:00

@maemual 嗯这我知道，要封爬虫有很多方式，但我是看到你之前回复说淘宝不是通过 robots 来防止百度爬虫的，所以想知道是百度没遵守 robots 协议，然后淘宝另外用了手段封禁吗？

2018-05-14 08:53:03 +08:00

@maemual 我用 postman 试了一下，用百度爬虫的 ua 是可以拿到淘宝商品页内容的呀

2018-05-13 20:39:54 +08:00

@maemual 请问一下淘宝是如何禁止百度爬虫的？我一直以为是百度遵守了 robots 协议