想爬取hao123上的所有网站，有没有好的方法？

[kenneth]

求方法，求思路。
需要抓取全，只要hao123网站上的，不要爬出去了。

[wang2191195]

scrapy 你值得拥有

[enj0y]

使用云的理念，用访客的资源来爬行，节约服务器资源。。
哈哈，估计这样的网站没有人敢访问。

[kenneth]

@enj0y 求实现
@wang2191195 scrapy必须扩展basespider, 我没抓成功。求代码

[flyingkid]

设置一个规则 http://*.hao123.com/*

其他的全部调过。

[kenneth]

@flyingkid 我要抓全站的域名，当然不能控制域。scrapy链接提取的时候，只要有链接，我就要去匹配，所以我补知道如何处理这块。

[zuroc]

https://bitbucket.org/zuroc/42qu-spider 参考这里的代码

[zuroc]

https://bitbucket.org/zuroc/42qu-spider/src/1da78691755b649a200036f7fbc9b2cf98cd725b/jobbole_com.py?at=default

比如这个

[momou]

现成的工具，这样算不算？
http://tool.chinaz.com/Links/?DAddress=www.hao123.com&cb_link=1&cb_pr=0&ddlLink=0&spidertype=1

[kenneth]

@momou 问题是抓下来，我们还要处理下，最后还要到数据库去，所以工具是不够的。

[tioover]

curl拉下来
然后找出所有<a>

[dreampuf]

wget -e robots=off -r -T 3 --domains=hao123.com www.hao123.com
for i in `find . -iname *.html`; do cat $i | grep "http:" | sed 's/^.*http/http/' | cut -d'"' -f1 | sort -u;done

[greatghoul]

wget 就搞定了。

[glsee]

https://github.com/dista/g-web-downloader
这个可以用

[barbery]

右键网页另存为。。。。用正则提取。。。。

[im924106179]

100rmb包搞定

[kenneth]

@im924106179 你能搞定就上代码，100rmb我付你。

[xjay]

scrapy 你值得拥有，呵呵。
用CrawlSpider，写好rules规则，然后在parse_item里面就可以处理你要的数据了，再实现一个pipeline数据管道，把你要的数据保存起来，就ok了。

[ccdjh]

爬取应该不行，你写个爬虫，总有你控制不住，或者没有那么智能。
你还不如写一个按页抓取的。就是你输入http://www.hao123.com/hardware

把http://www.hao123.com/hardware上的站提取出来，并且转json就好了。没必要钻胡同

[xieranmaya]

这样行不行,用jQuery
$("a").each(function(){
$("<div></div>").load(this.href).appendTo(document.body);
});

[ADIVILOrz]

@kenneth 所有网站指的是？
1. 推荐的网站域名吗，
2. 还是包括外链所在的网站？
3. 包含推荐的影片、图片链接地址所在的网站吗