scrapy 抓取 angular 网站，有什么好方法吗，很多地址都是 ng-click 这种形式，没有 href, 或者 ng-href

[seaify]

如题.

[Pastsong]

直接抓 API 不就好了

[seaify]

@Pastsong

恩，取 api 是一种考虑方式，就变成了，构造 api 的可能输入参数了。

而 scrapy ，只需要管正则表达式的形式，提取合适的路径就可以了，只是碰到 angular 这种，传统的方法失效，非得走 scrapy 的话，还得套个无头浏览器，感觉那样性能也慢了

[bdbai]

为什么思路要局限在 Scrapy 上呢，直接抓网络请求的话能快速解决很多问题。

[xujialiang]

后端渲染的，只能解析 html ，前后端分离的，就抓 api ，抓 api ，比解析 html 省事啊~~~

[seaify]

恩，会去直接使用 api ，用 scrapy ，只是会把 api 的列表放进去，使用 scrapy 的并发，延时，中间件机制，比如放一个代理中间件， user agent 随机切换中间件，但是不会去解析 html 了，前后端分离后，页面上的数据，很多也不再是传统后端渲染时，有特定的 clas 或 id 了，不方便提取，另外前端变化可能会更快了，毕竟分离出来了