1.爬取网页: https://www.douyu.com/g_LOL
2.采用方法:只是初步接触爬虫,没有用额外的库。基本实现思路 :
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
url = 'https://www.douyu.com/g_LOL'
req = request.Request(url, headers=headers)
r = request.urlopen(req)
buff = BytesIO(r.read())
f = gzip.GzipFile(fileobj=buff)
htmls = f.read().decode('utf-8')
3.结果 爬取的网页中间出现了大量的数字乱码,例如:
47 14.4 14.4s-6.447 14.4-14.4 14.4z"/><path d="M20.331 18.069c0.625 0.625 0.625 1.638 0 2.263s-1.638 0.625-2.
并且,在调试到
req = request.Request(url, headers=headers)
时,弹出<string>文档,显示:</string>
无法加载源“<string>”: Source unavailable。
4.我认为可能是对爬来的数据解压方式不对,多谢帮忙!
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.