求帮我修改一下爬虫，能把它改成多线程的吗？初学 py！求帮帮忙，找的别人的源码！

[POP]

# -*- coding: utf-8 -*-
import urllib2
import sys
#BeautifulSoup3不需要修改，BeautifulSoup4，改成from bs4 import BeautifulSoup
from BeautifulSoup import BeautifulSoup

reload(sys)
sys.setdefaultencoding( "utf-8" )

def getcontent(url):
print url
req = urllib2.Request(url)
res = urllib2.urlopen(req)
magnetlist=[]
html = res.read()
res.close()
soup = BeautifulSoup(html)
#BeautifulSoup3不需要修改，BeautifulSoup4，改成soup.find_all('a')
allentry=soup.findAll('a')
for link in allentry:
if "magnet:"==link.get('href')[0:7]:
magnetlist.append(link.get('href'))
magnetlist = [line+'\n' for line in magnetlist]
f =open("magnet.txt", "a")
f.writelines(magnetlist)
f.close()

def main():
site="http://bt.shousibaocai.com/search/"
keyword="地心引力"
keyword=urllib2.quote(keyword)
#总共抓前多少页
page=3
for i in range(1,page):
searchurl=site+keyword+"/"+str(i)
getcontent(searchurl)

if __name__ == '__main__':
main()
#end Jarett

[tuuuz]

看的好累

[POP]

（T_T）

[mhycy]

初学还别人的源码，为何不自己改呢？就是一个学习的过程而已~

[Kilerd]

python的缩进，一贴上来就全乱了，怎么看，扯淡啊
LZ你压根就不懂py吧，，拒绝伸手党

[POP]

@Kilerd 算了，我还是自己去改吧。。。贴代码的缩进问题，我还真没注意到

[POP]

@mhycy 受教了

[justjavac]

已block

[bigtan]

http://segmentfault.com/blog/caspar/1190000000414339

参考这个

我自己使用过一次，效果很好

[POP]

@bigtan 谢谢，我在尝试用线程池改

[virusdefender]

http://www.virusdefender.net/index.php/archives/84/

把我的代码最下面的 job 函数和循环添加任务的函数换成你的就行了~

[Septembers]

http://my.oschina.net/leejun2005/blog/194270

[POP]

@virusdefender 我还是先自己改改看。。。谢谢了

[lxkaka]

python 的多线程无法榨干cpu吧，要用多进程

[POP]

@lxkaka 我还是先修改源码吧。。。：（

[libo26]

个人用requests代替urllib2

[langxuan]

不会是熊厂在过good coder吧。。。囧

[Anybfans]

为什么没缩进。。。我也初学，PY很注重缩进的。。我一般都是一个tab..不知道对不对，看别人都是4个空格。。

[O21]

@Anybfans Tab党路过。。

[POP]

@Anybfans 第一次贴代码。没注意。。。

[surewen]

要是v2ex支持markdown就好了