V2EX › chuhades 的所有回复 › 第 7 页 / 共 13 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 13

❮

❯

2015-05-04 14:05:12 +08:00

gitst and codebox

2015-04-09 13:09:00 +08:00

2015-04-02 15:32:08 +08:00

感谢诸位，理解了

2015-03-16 18:48:12 +08:00

回复了 bleaker 创建的主题 › Apple › Mac Mini or MacBook Pro

如果能接受得了的话，直接 rmbp

2015-03-10 21:19:25 +08:00

12' 太小了，要是我的话，还是换个13' 的 rmbp

2015-03-02 19:33:46 +08:00

@akira 是的，如果已知url量足够大的话，完全可以分析出哪里是参数。就个人的需求而言，做这个去重就是为了减少爬行的url数目。。所以感觉是个死结 : (
依旧感谢。

2015-03-01 17:26:30 +08:00

@lk09364 目前的项目就是扫描器，所以不可能针对每个站点自己去制定规则 : (

2015-03-01 17:15:21 +08:00

@lk09364 是的，我就是讲参数和path 分离的，但是很多url做了rewrite 或者pathinfo，如下：
http://a.com/p1/p2/a/1/b/2 ，这样的就很蛋疼，对于这种，只想出用一级目录，目录深度，尾部特征来做判断。但是可能会有漏报，比如题目中描述的 http://www.yigeshop.cn/index.php/home/shop_list/16、 http://www.yigeshop.cn/index.php/home/shop_details/24会被判断成相同的url

2015-03-01 16:54:03 +08:00

@lk09364 是的我的代码也是这么写的，但是需求如题目，按已有的规则：
http://www.yigeshop.cn/index.php/home/shop_list/16、 http://www.yigeshop.cn/index.php/home/shop_details/24 会被判断成相同的url

2015-03-01 16:52:41 +08:00

@ruoyu0088 感谢，但是和我的需求还是不大一致。其实转换个说法，相当于怎么从一个url（rewrite）中提取出参数名称？
例如 http://www.yigeshop.cn/index.php/home/shop_list/9，参数就应该是9这部分，不知道能不能理解我的意思。。

2015-03-01 16:40:44 +08:00

2015-03-01 16:40:35 +08:00

@lk09364 就个人的项目而言，如果我爬虫爬到了http://a.com/a/b/c/1-10000 1w个链接，我希望只输出一个就好，因为他们后端调用的应该是一样的，不同的知识参数