抖音推荐列表视频爬虫

2019-08-29 11:10:07 +08:00
 cnbattle
基于 APP 爬取

相关技术:golang adb nodejs anyproxy

特点: 可设置仅抓取大于 xx 赞的视频

github: https://github.com/cnbattle/douyin

代码粗糙,主要分享下思路,这样的模式几乎可以抓取任何 APP HTTP API 的数据或内嵌 H5 数据,当然如果数据全部加密或编码传输的就不行了
12649 次点击
所在节点    Go 编程语言
90 条回复
fvckDaybyte2
2019-08-29 17:29:51 +08:00
@az999 是脏话就是攻击你的话,我朝天喊一句卧槽是不是全宇宙都被我攻击了?
yngby
2019-08-29 17:30:24 +08:00
@az999 我哪里攻击你了嘛~我就是说了句服了呀 你就要骂人家嘤嘤嘤
az999
2019-08-29 17:30:41 +08:00
@fvckDaybyte2 你脑袋怎么长得? 别人对我说一句话脏话,难道我不反击? 我要跪着给他 道歉?
yngby
2019-08-29 17:32:23 +08:00
@az999 你现在无端攻击我了,快给我跪着道歉
wogong
2019-08-29 17:36:08 +08:00
@Livid Report @az999
fvckDaybyte2
2019-08-29 17:36:50 +08:00
@az999 你脑袋长得真好,厉害👍,继续作,我看戏。
simonv3ex
2019-08-29 17:36:55 +08:00
vmskipper
2019-08-29 17:47:34 +08:00
嘴巴干净点,生活不如意 别冲这里来。不惯着你
explore365
2019-08-29 18:12:46 +08:00
explore365
2019-08-29 18:16:06 +08:00
你音反扒组会如何来就此反扒,哈哈哈哈哈哈哈。。。。。
explore365
2019-08-29 18:23:53 +08:00
https://www.v2ex.com/t/356202 你爬取别人资源时,咋没见过你这么装逼
mamahaha
2019-08-29 18:30:59 +08:00
你这个价值太高了,应该封闭宣传啊,这样有点亏啊,我先下载了。
leafdream
2019-08-29 18:33:02 +08:00
@az999 智障
cnbattle
2019-08-29 18:41:32 +08:00
@mamahaha 所以我要在 readme.md 里加个收款码吗 0.0
renothing
2019-08-29 19:37:30 +08:00
其实这类 app,用自动化测试工具就能爬,反爬是不存在的。
INTJ
2019-08-29 20:43:23 +08:00
咋骂起来了!😂😂
az999
2019-08-29 22:06:53 +08:00
@explore365 不好意思,我今年 5 月份已经离职了。1l 我明显是 玩笑话,我不知道 哪里装逼了? 抱团攻击很爽么?
Iamnotfish
2019-08-29 22:37:32 +08:00
认真脸提问:抖音(或者其他 APP,头条,淘宝啥的)会律师函警告做其爬虫的程序员吗?如果会的话出发点是什么?我不太懂,另外有人知道抖音的 ROBOT.TXT 是啥不?
yngby
2019-08-29 22:42:34 +08:00
@az999 道歉啊 别装死
az999
2019-08-29 23:07:15 +08:00
@yngby 你这些思维逻辑真差,太 low 了,真的,首先你先嘲讽攻击我的,我反击了,你先跪下道歉好吧。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/596130

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX