2013-04-12 00:06:46 +08:00 回复了 soho176 创建的主题 › Python › 用python 做爬虫,抓取网站,在抓取的过程中会碰到重复的网址,随着抓取网址的越来越多,网址库越来越大,如果每次爬到网址都去网址库对比一下 是否重复,这样的结果就是效率越来越低了,有什么办法或者算法 提高过滤重复网址的效率? |
2013-03-13 14:14:41 +08:00 回复了 honovationeric 创建的主题 › 酷工作 › [招聘 北京] 创业公司诚招 Python 工程师 |
2013-03-13 10:20:25 +08:00 回复了 honovationeric 创建的主题 › 酷工作 › [招聘 北京] 创业公司诚招 Python 工程师 |
2013-03-13 10:05:15 +08:00 回复了 xdeng 创建的主题 › 程序员 › 你们都用什么来做爬虫的 |
2013-03-13 10:01:10 +08:00 回复了 pythonee 创建的主题 › 程序员 › 大型互联网应用怎么管理/实现Session? |
2013-01-10 09:55:45 +08:00 回复了 sdjl 创建的主题 › 程序员 › zarkpy第5篇文章,演示如何使用zarkpy做一个小网站 |
2012-10-29 14:50:27 +08:00 回复了 yutify 创建的主题 › JavaScript › xiaolai 说 JavaScript + MongoDB 是好东西,您怎么看? |
2012-10-29 10:00:11 +08:00 回复了 koala 创建的主题 › 程序员 › 一个使用sublime 编译 python的问题 |
2012-10-29 09:57:01 +08:00 回复了 koala 创建的主题 › 程序员 › 一个使用sublime 编译 python的问题 |