BeautifulSoup 为什不能抓取豆瓣简介

[honmaple]

最近在学 python 爬虫，利用 beautifulsoup 爬学校图书馆书籍信息，但发现豆瓣简介信息无法抓取，求助大神
下面是主要代码:
url = 'http://202.119.112.133:8080/opac/item.php?marc_no=0000365400'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(url)
content = response.read().decode('utf-8')
book = str(content)
book_soup = BeautifulSoup(book,"lxml")
book_intro = book_soup.find_all('dl',{'class':'booklist'})
for item in book_intro:
print(item.get_text('',strip=True))

[ynztyl10]

你需要把 xhr 的链接也爬到，比如：
http://202.119.112.133:8080/opac/ajax_douban.php?isbn=9787200069761

[wuhuaji]

因为这个豆瓣信息是异步加载的，并不存在你原先的页面中，你查看网页源代码就能看到了，并没有这部分信息。然后你重新打开，看 http 链接，会发现打开网页之后，请求了 http://202.119.112.133:8080/opac/ajax_douban.php?isbn=9787200069761 链接，此时豆瓣的东西才加进来。

[wuhuaji]

我记得前两天 v2 上有人问查不到京东的物品价格，和你这个一样，都是异步加载的。

[honmaple]

@ynztyl10 原来是 json,请教如何才能高效地爬到 http://202.119.112.133:8080/opac/ajax_douban.php?isbn=9787200069761 这样的链接，是使用 json 模块解析吗

[honmaple]

@wuhuaji 多谢，怪不得查找 p 节点时只能得到一个<p></p>,请教如何才能爬取到具体链接并显示内容

[Slienc7]

F12->网络
建议找个简短 JS 教程先看一下

[honmaple]

找到解决方法了，使用 Selenium 和 Phantomjs 很容易的抓取到豆瓣简介

[Victor215]

你先抓包看看 能不能拿到 api,用浏览器模拟很慢，也容易出问题

[honmaple]

@Victor215 我刚刚也发现了，使用 Phantomjs 解析大概 10 次中会有一次无法得到想要的内容，我还以为是网络的问题

[cszhiyue]

模拟一下发包

[Victor215]

@honmaple 而且用 phantomjs 还要注意各种设置，比如说不要载入图片，而且适时的拿到 html 源码就行了，不需要一直浏览器模拟，太慢了。。

[joshz]

bs 是拿来解析网页的吧，莫名背锅