首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  cdwyd  ›  全部回复第 38 页 / 共 96 页
回复总数  1908
1 ... 34  35  36  37  38  39  40  41  42  43 ... 96  
❮ ❯
2018-12-17 17:21:07 +08:00
回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？
@luosuosile
通过搜索引擎只能获取到很有限的一部分链接，所以基本上抓取到的也就很有限。

楼上好几个人在那不断强调“只要人看到的，就能抓到”，“只要有链接就能抓到”，却不明白混淆 ID 就是为了不让你获取全部链接。抓取内容的第一步就是先获取到链接，链接都没拿到还爬个毛线啊。

如果还有人要杠，那再举两个例子：
1. 淘宝的绝大多数商品人都能看到，你能把淘宝的绝大多数商品都抓到吗？
2. 搜索引擎那里有海量的链接，你能抓到总量的 0.000000001 吗？
2018-12-17 16:40:10 +08:00
回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？
@xpresslink 你赢了
2018-12-17 16:06:35 +08:00
回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？
@soulmine
你这三年的爬虫经验算是白瞎了，这种理解能力怎么能 get 用户的真实需求
2018-12-17 11:53:21 +08:00
回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？
@soulmine 你没看明白我在说什么。
打个比方，v2ex 的列表页只显示最新的 100 条记录，同时 V2EX 的 id 进行了混淆处理。这个时候你就不容易获取到全部内容。
那些不显示的并不是删除了，用户也能看得到，可以从链接从搜索引擎来访问，而你却抓取不到那些有价值的内容。
2018-12-17 10:54:04 +08:00
回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？
@soulmine 这样你最多也就只能抓取到从你开始抓那天开始发布的新内容。
2018-12-17 10:44:44 +08:00
回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？
@soulmine 并不是，混淆了 id 然后列表只显示最新的部分，你就很难抓了，就算抓了心里也会嘀咕到底抓全了没有。反爬不用想的那么多
2018-12-17 10:30:16 +08:00
回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？
@lockiee 这个不做存储也没关系啊，浪费点 cpu 进行解码编码而已
2018-12-17 10:29:00 +08:00
回复了 alwayshere 创建的主题 › 程序员 › 为防采集，如何将 URL 中的自增数字 id 换成无规律字符串？
@ylsc633 我都是动态的生成和验证并不入库
2018-12-15 17:30:13 +08:00
回复了 liuxyon 创建的主题 › 问与答 › 招行有没有免年费的信用卡
好像最简单的办法是支付宝捐赠 6 次每次一分。。。手动汗("▔㉨▔)
2018-12-13 17:07:20 +08:00
回复了 BonusCloud 创建的主题 › 推广 › 吃灰开发板、树莓派、NanoPi 躺赚宽带钱
@WizardMeow ddos 多 low
人工智能控制全天候全球多节点网站可用性毫秒级实时测试服务
2018-12-13 16:58:22 +08:00
回复了 xlsepiphone 创建的主题 › 职场话题 › 关于 TODO 类应用使用体验，不知道大家有没有同感？
微软 todo 直接停靠在桌面一侧不就行了
2018-12-13 13:30:47 +08:00
回复了 iccfish 创建的主题 › 全球工单系统 › 阿里云还真是不经夸啊。
@jindaodama 301 没用，因为 301 前是 http 会被拦截
2018-12-13 09:54:34 +08:00
回复了 nutcloud 创建的主题 › 酷工作 › [上海] --做产品我们是认真的，招人我们一样不含糊，“坚果云”研发团队的壮大需要你，来做我们的大前端哇(✧◡✧)
一个认真做产品的公司应该把各种规定写的明确清晰，比如限制账号分享数等。
一个认真招聘的帖子应该把薪资福利，上下班时间等写清楚。
2018-12-12 16:35:33 +08:00
回复了 yxwzyyk 创建的主题 › 站长 › 话说现在网盘搜索站还有的玩吗?
@zoola 可能他们那个月要完成的任务是抓几个网站有问题的而不是抓几个办证的。
2018-12-12 15:49:23 +08:00
回复了 yxwzyyk 创建的主题 › 站长 › 话说现在网盘搜索站还有的玩吗?
@zoola 就是 办证 QQ111222 这样
2018-12-11 23:26:19 +08:00
回复了 yxwzyyk 创建的主题 › 站长 › 话说现在网盘搜索站还有的玩吗?
@yxwzyyk
该说的都差不多了，重点就是尽量不备案吧。
2018-12-11 23:03:18 +08:00
回复了 yxwzyyk 创建的主题 › 站长 › 话说现在网盘搜索站还有的玩吗?
@yxwzyyk 我那时被抓了典型 一般情况是没事 哈哈
2018-12-11 22:56:26 +08:00
回复了 yxwzyyk 创建的主题 › 站长 › 话说现在网盘搜索站还有的玩吗?
@yxwzyyk 已经弄了 异形 + 繁体 你想不到的都有
1 ... 34  35  36  37  38  39  40  41  42  43 ... 96  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2907 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 09:49 · PVG 17:49 · LAX 01:49 · JFK 04:49
Developed with CodeLauncher
♥ Do have faith in what you're doing.