[开源]scrapy 爬取国内各大视频网站视频信息 [欢迎新手一起交流]

[skyqqcc]

因为想做一个 VIP 视频网站 /APP 然后不太想用第三方的资源站或者是程序。

想做一个能够爬取国内各大视频网站的视频信息的爬虫程序。

爬的信息主要是： 标题，导演，主演，简介，类型，年份，VIP/用卷 /收费 /免费，片头时间，片尾时间，图片(横 /竖)，地区，评分，集数，是否完结等....

目前我已经做好了一丢丢了。。。腾讯视频可以算是好了（还有一丢丢问题，极少部分视频不能爬取）

如果觉得这个东西可能有用的话 可以点个 star 可能很久以后，会完善

如果你需要一个项目练练手。。。那么，欢迎你来和我一起完善这个项目。。。

项目地址:https://github.com/perfect-network/scrapy_for_video.git

[luckbbs]

有点意思，star 一个。

[Belmode]

关注一波不迷路

[cherrybob]

没有验证码，IP 反爬虫限制的处理吗？

[skyqqcc]

@cherrybob 没有，我只是爬信息而已

[skyqqcc]

@cherrybob 而且可以直接去他们这个视频 APP/小程序等客户端里抓包，直接去抓接口。。。腾讯视频里就有两个接口是从腾讯视频小程序里抓到的

[woshicixide]

楼主 ip 用的哪家的代理

[skyqqcc]

@woshicixide 目前还没有用到代理。。。。。可能以后会用到吧