又双叒叕是一个爬虫： sprite-nest

[yrq110]

GitHub: sprite-nest

轻松灵活地从网络上爬取指定类型内容的数据, ~~为了练习 ts 与 puppeteer~~

基本想法是：对某一类型数据设计统一的结构(这里的类型不是文件格式)，当爬取同类不同种的数据时方便管理：如翻译器(谷歌翻译、百度翻译等)、搜索引擎(谷歌、百度、duckduckgo 等)、口红(armani,ysl,dior 等)、社交平台(微博等)。

特性

• 内置的指定类型内容爬虫
• 集群化操作(使用pupputeer-cluster)
• 日志记录(使用winstom)