Scrapy 爬虫数据抓取不全和部分内容无法抓取怎么办

[suguoguosu]

1、数据不全：爬取新浪专栏数据时，中国观察专栏爬取正常，但是银行专栏只能爬到7篇，此外的专栏的都无法爬取；另外试图在东方财富网爬取上市公司信息时， Rule(LinkExtractor(allow=("sh600 \d\d\d,))只能爬到两家上市公司的数据就停止了。

2、无法抓取：有些数字，如股价、市盈率爬下来是“－”。

求解答！

[roricon]

1.无法爬取是没有新页面的url进来，还是下载失败？
2.看看是否这些'-'的内容，是否是前端js生成的。如果是js生成的，Scrapy无法直接拿到，需要通过其他方法。