对于 Python 爬虫遇到一个问题，对于这样一个网站： www.icgoo.net，它好像是异步加载的，需要的型号数据在 XHR 里的 html 语句里，设置了 csrftoken。请问要什么方案爬取比较好呢？先谢谢打大家了

[sr0miao]

[cdwyd]

获取 csrftoken 然后抓就是了

[sr0miao]

@cdwyd 请问如何获取呢

[Mojy]

最简单的方式是通过模拟浏览器的方式进行爬虫，缺点就是稍微有点慢，需要等到页面加载完成才好

[cokky]

用 phantomjs 模拟浏览器方式来试试

[Nick2VIPUser]

点进 chrome 里面的 Source，到?partno=ADIS16251ACCZ&qty=1 这个 page 里面搜索 token 字段，把 token 出现的地方打断点调试，边调试边读 js 代码的实现，token 初始值多少经过什么代码变成了什么样子，最后算出来是多少。然后使用 python 代码实现～

[welkinzh]

五楼的方法是对的，不过如果处理 token 的 js 比较恶心的话就很麻烦，想简单就用 PhantomJS

[locoz]

逆向自己实现加密 /抠 js 加密部分出来运行 /模拟浏览器

[fsdman1216]

selenium + webdriver

[noqwerty]

requests-html 了解一下

[wc110302]

https://blog.csdn.net/qq_39802740/article/details/88557981 我最近写了个爬虫~ 好像就是这个 icgoo 的 哈哈 不过是 366 天前的了

[sr0miao]

@wc110302 哈哈，366 天前我还在实习呢