yinyuetai.com音悦台 80万数据采集

[pc10201]

音悦台是国内最大的高清MV音乐分享平台，也是国内最大的音乐MV视频媒体平台；提供最新、最快、最高清的MV视频资讯，并提供不同格式的高清MV下载，只为让好歌与你随身而行。

要采集的字段包括URL，标题，播放次数，收藏次数，以及标签

采集技巧：

1.mv的id是连续并且递增的，比如http://v.yinyuetai.com/video/833486
那就从1到833486，当然有一些是不存在的，即404错误，最终采集到83万数据，有82000多是不存在的，10%左右

2.播放次数，收藏次数在源代码中是看不到的
是另外加载了一个js文件，即
http://v.yinyuetai.com/video/video-statis-info?videoId=%s
%s代表mv的id
比如
http://v.yinyuetai.com/video/video-statis-info?videoId=833486

3.音悦台没有进行采集限制，我开了50个线程，几个小时就采集完了

采集的数据csv格式下载地址
http://pan.baidu.com/s/1i3kKh73

建议用emeditor打开，或者导入到mysql中，用excel打开后果自负哈

​

[varrily]

还以为把mv文件采集出来了

[pc10201]

@varrily 有了url，可以用维棠软件批量下载

[Ansen]

与其数据，我更新关心脚本

[slax]

我擦... 我会告诉你我就是音悦台的嘛....

[manhere]

音悦台那也叫高清....

[chervun]

啧啧……

[xujialiang]

服务器 压力山大啊

[faceair]

@slax 莫名的喜感 233333

[dizzy]

@pc10201 LZ，能否看下你写的代码，学习下。

[letitbesqzr]

同想看看代码...python多线程一直掌握的不太好,很多种写法.. 自己写的总控制不好琐。。

[pc10201]

@letitbesqzr 我没有用锁，就是用了一个队列

[pc10201]

@dizzy 具体代码就不分享的，基本上就是依照这个代码的思路
https://github.com/pycurl/pycurl/blob/master/examples/retriever.py

[mechille]

@slax
@faceair 喜感+1.不懂LZ这帖的目的...

[ScotGu]

@slax 喜感~~ 想知道你的感受。。

[dizzy]

@pc10201 好的。

[csx163]

楼主...都是标题啊,当初我可是弄的直接下载地址啊

[tryv2eex]

@csx163 @admin 看看

[tryv2eex]

v2ex 还是没有哪几个国外网站好 我是说用户体验 忽略上面的回复 只是在try v2ex

[tryv2eex]

对了 每次发新帖都要刷新一次页面？ 试试

[tryv2eex]

好象是的 刷新以后 居然又回到了页面顶端 我用的是Chrome 用用其他浏览器看看