爬虫求助: 美亚的书有人抓过没？有啥好方法？

[cqcn1991]

主要是关注亚马逊有哪些新书出来

每本书的信息，评论、评分似乎都挺好抓

[cqcn1991]

我个人找到的是， https://www.amazon.com/gp/new-releases/books 感觉可以爬一爬

[zyEros]

亚马逊会给你假信息的

[Pysensor]

解析亚马逊的页面就足够喝一壶了。。

[cqcn1991]

@zyEros
@Pysensor 靠…有这么难？！

[Pysensor]

@cqcn1991 你随便点开个商品看看页面源代码。。看看怎么清洗信息比较妥当

[clanned]

也许可以参考我这个 https://github.com/xdtianyu/FreeKindle

[cqcn1991]

@Pysensor 书的基本信息应该是有 api 之类，就是 isbn 直接获取信息，因为之前看 library genesis 有调用

[ilcn]

libgen 有数据库下载你可以去看一下。有 index 和 dump 两种。 mysql 的 dump 是 15g 还是 30g ，直接按时间抓出来就行了

[cqcn1991]

@ilcn …厉害…学到了