V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  queshengyao  ›  全部回复第 1 页 / 共 1 页
回复总数  6
354 天前
回复了 surbomfla 创建的主题 投资 一百万如何进行简单的理财
这个位置拿出一部分定投一下创业板和沪深 300 ,风险不大了。
2018-05-15 12:38:47 +08:00
回复了 Hupuhr 创建的主题 酷工作 [上海] [虎扑体育] 寻找 PHP 开发工程师
我干我的羊!
2018-05-14 09:34:24 +08:00
回复了 c29551 创建的主题 分享发现 某乎的 robots 皮一下很开心?
@maemual 嗯这我知道,要封爬虫有很多方式,但我是看到你之前回复说淘宝不是通过 robots 来防止百度爬虫的,所以想知道是百度没遵守 robots 协议,然后淘宝另外用了手段封禁吗?
2018-05-14 08:53:03 +08:00
回复了 c29551 创建的主题 分享发现 某乎的 robots 皮一下很开心?
@maemual 我用 postman 试了一下,用百度爬虫的 ua 是可以拿到淘宝商品页内容的呀
2018-05-13 20:39:54 +08:00
回复了 c29551 创建的主题 分享发现 某乎的 robots 皮一下很开心?
@maemual 请问一下淘宝是如何禁止百度爬虫的?我一直以为是百度遵守了 robots 协议
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1013 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 20:25 · PVG 04:25 · LAX 12:25 · JFK 15:25
Developed with CodeLauncher
♥ Do have faith in what you're doing.