需要网页加载了图片后才能通过链接打开爬取怎么解决呢？

[bananahotell]

业余爱好者，学 python 爬图片，看到美女图片网站 v2ph.com 练练手，但发现爬下来的图片很小、没内容，但是链接又是对的，最后才发现，即使把链接复制到浏览器里也无法打开，而是要打开原网页，一直下拉，把图片都加载出来了之后，才能通过链接打开图片。 所以，请教各位大佬，这样的情况怎么解决？

[fbichijing]

刚试了一下，图片链接的话 data-src ，爬取的时候加个 referer 就不会 403

[codingBug]

有时间，我也爬一爬

[zoofy]

加 referer headers 就解决了

[bananahotell]

@foam
@fumichael
@fbichijing
@zoofy 果然，加个 referer 解决问题，感谢各位

[bananahotell]

不对，乌龙了，加了 referer 也不行

[Dart]

楼主怎么样了，我也在抓 v2ph ， 能交流下吗？

[Dart]

@bananahotell ^^^^

[bananahotell]

@Dart 没成功，我准备把崔庆才写的那本网络爬虫书看了再来

[Joeith]

直接用 puppeteer 解决一切问题。 反正小项目，不用考虑效率的问题。用时效换安全