[爬虫] 请教大家爬取小红书、抖音的内容（包括图片、视频）的方法

[xiguaprince]

请问大家有什么帖子教程可以知道小白爬取小红书和抖音的内容吗？

或者哪位大佬指点下用什么工具可以简单稳定的爬取内容呢？


[抛砖引玉]

我能想到的最稳定的方式是：
在浏览器或者手机端，使用脚本或者什么工具模拟手动点击，然后通过 ocr 或者 dom 提取图片、文本等信息

但是这种方式怎么获取视频文件，我不太清楚。。。
也不太清楚具体怎么模拟手动点击。。。

我这种方式是不是太绕了

抓取公开数据，原则上不应予以入罪。 https://www.spp.gov.cn/spp/llyj/202202/t20220215_544538.shtml

另外，用基于 playwright 搭桥的方式去爬取比如小红书的内容，有没有被封号的风险。

但是用 rpa 的方式就是安全的？只是效率慢点？

[giiiiiithub]

收手吧，阿祖

[seers]

逆向 native ，找到 sign ，然后为所欲为

[xiguaprince]

@giiiiiithub 哈哈哈哈哈 https://zhuanlan.zhihu.com/p/66997586 会时常阅读这个文章的！！

[xiguaprince]

@seers 不太懂逆向这一块，感觉很高端，可以详细说下吗！！！

[IDKAFK]

https://github.com/NanmiCoder/MediaCrawler

[xiguaprince]

@IDKAFK 这个可能是我需要的！！！

[Midnight]

钓鱼？

[duan602728596]

douyin 爬虫的最大问题是验证码。
小红书爬虫的最大问题是验证码和加密算法会检查是不是无头浏览器。

[gransh]

抖音我用的这个 https://github.com/Johnserf-Seed/TikTokDownload 还是挺傻瓜式的。小红书目前还没找到方法。
喜欢收藏小姐姐能有什么错呢？

[gransh]

至于你发的那篇文章，它在理论研究栏目而不是通知通告栏目。。。。

[Aicnal]

这可太刑了，感觉这两个公司都挺强硬的，还是小心点

[zanx817]

爬没问题， 另外也可以主动交保护费。

[xiguaprince]

@gransh 喜欢收藏小姐姐能有什么错呢？

[xiguaprince]

@gransh 楼里有人推荐这个 https://github.com/NanmiCoder/MediaCrawler
其中有小红书