爬虫思路，这个有趣的网站， 问一下思路怎么来做？

[redhatping]

网站： http://www.exporivaschuh.it/catalogue/15ES2/search.html

我需要做的事 找出所有的中国企业，cn, 爬出来他们的公司名字，电话号码，邮箱。

让我吐槽的是，似乎数据时存储在javascript里。


这个怎么分析。。思路怎么来弄，， 求大家给个方案。

我一般都是beautifulsoup。

[mutoulbj]

只要数据是可以获取到，再javascript里也没关系，自己处理下文本，再从中提取就可以了。

[mhycy]

分析JS逻辑，最简单直接用正则表达式抓取后重建索引

[hiboshi]

在js里面就更简单了直接正则匹配js文件

[fangjinmin]

import urllib2
import re
from bs4 import BeautifulSoup

url="http://www.exporivaschuh.it/catalogue/15ES2/search.html"
soup = BeautifulSoup(urllib2.urlopen(url).read())
script = soup.findAll('script')[0].string
p1 = re.compile('new e \(.*\)')
arrEs = p1.findall(script)
f = open('companysofchina.csv', 'w')
for e in arrEs:
e = e.replace('new e (','').replace(')', '')
arrItems = eval('[' + e + ']')
if arrItems[3] == 'CN':
company = arrItems[0]
tel = arrItems[9]
email = arrItems[10]
f.write(company + ',' + tel + ',' + email + '\n')

f.close()

[redhatping]

@fangjinmin 没错，搞定。。。 非常感谢 ，

[aeshfawre]

@redhatping 已发邮件