你们想要的 Tumblr 爬虫

[tumbzzc]

好几个月前写的了，写的比较挫。
并没有写成爬取一个博客的所有内容，本来是用来网站的，如果要爬所有内容，会让用户等待太久。

# -*- coding=utf-8 -*-
from threading import Thread
import Queue
import requests
import re
import os
import sys
import time


api_url='http://%s.tumblr.com/api/read?&num=50&start='
UQueue=Queue.Queue()
def getpost(uid,queue):
    url='http://%s.tumblr.com/api/read?&num=50'%uid
    page=requests.get(url).content
    total=re.findall('<posts start="0" total="(.*?)">',page)[0]
    total=int(total)
    a=[i*50 for i in range(1000) if i*50-total<0]
    ul=api_url%uid
    for i in a:
        queue.put(ul+str(i))


extractpicre = re.compile(r'(?<=<photo-url max-width="1280">).+?(?=</photo-url>)',flags=re.S)   #search for url of maxium size of a picture, which starts with '<photo-url max-width="1280">' and ends with '</photo-url>'
extractvideore=re.compile('/tumblr_(.*?)" type="video/mp4"')

video_links = []
pic_links = []
vhead = 'https://vt.tumblr.com/tumblr_%s.mp4'

class Consumer(Thread):

    def __init__(self, l_queue):
        super(Consumer,self).__init__()
        self.queue = l_queue

    def run(self):
        session = requests.Session()
        while 1:
            link = self.queue.get()
            print 'start parse post: ' + link
            try:
                content = session.get(link).content
                videos = extractvideore.findall(content)
                video_links.extend([vhead % v for v in videos])
                pic_links.extend(extractpicre.findall(content))
            except:
                print 'url: %s parse failed\n' % link
            if self.queue.empty():
                break


def main():
    task=[]
    for i in range(min(10,UQueue.qsize())):
        t=Consumer(UQueue)
        task.append(t)
    for t in task:
        t.start()
    for t in task:
        t.join
    while 1:
        for t in task:
            if t.is_alive():
                continue
            else:
                task.remove(t)
        if len(task)==0:
            break


def write():
    videos=[i.replace('/480','') for i in video_links]
    pictures=pic_links
    with open('pictures.txt','w') as f:
        for i in pictures:
            f.write('%s\n'%i)
    with open('videos.txt','w') as f:
        for i in videos:
            f.write('%s\n'%i)


if __name__=='__main__':
    #name=sys.argv[1]
    #name=name.strip()
    name='mzcyx2011'
    getpost(name,UQueue)
    main()
    write()

用法是：
直接改掉那个 name 就行

我不会提供 name list 的，不然会被关小黑屋的

[miketeam]

Mark

[tumbzzc]

忘了去重了！在 write 函数里面
videos=list(set(videos))
pictures=list(set(pictures))

[sammiriam]

mark ，明天起来再看

[wjm2038]

mark

[weipang]

然而不会用

[cszhiyue]

加个下载功能
https://gist.github.com/zhiyue/f7121aefc00640cb13bb0eded10c5312.js

[tumbzzc]

@cszhiyue Python 下载没多少意义，下载起来慢。所以我是写出文件，可以用迅雷下载

[aksoft]

刚需啊，出售营养快线！

[tumbzzc]

@weipang 改个 name 就够了，然后直接运行

[tumbzzc]

@aksoft 个人网站上目前有 5000 多个解析过的博客😝

[liuxingou]

@tumbzzc

正解，解析出地址，让下载工具下载，最高效率了。

[aksoft]

@tumbzzc 哪呢

[programdog]

感谢楼主

[tumbzzc]

@aksoft 最下面

[freaks]

这样的在线解析不要太多(⊙o⊙)哦！😂

[0915240]

olddrivertaketakeme

[Nicksxs]

不是被墙了么， vps 上下吗

[cszhiyue]

@tumbzzc 开了 8 进程下载并不觉得慢啊。 是什么理由导致慢呢？

[exoticknight]

这东西是好，但是我觉得爬出提供资源的 tumblr 名字更重要

[tumbzzc]

@freaks 我的网站放在过外 vps 上，也是在线解析

[tumbzzc]

@exoticknight 名字没办法

[guokeke]

Mark

[cevincheung]

然后就可以 wget 了？

[exalex]

能不能简述下爬虫效果。。。

[guonning]

收藏了

[LeoEatle]

name 改成什么好，能否给个名单: )

[yangonee]

求 name_list

[lycos]

mark

[leetom]

@cszhiyue

下载到一半会这样

Traceback (most recent call last):
File "turmla.py", line 150, in <module>
for square in tqdm(pool.imap_unordered(download_base_dir, urls), total=len(urls)):
File "/home/leetom/.pyenv/versions/2.7.10/lib/python2.7/site-packages/tqdm/_tqdm.py", line 713, in __iter__
for obj in iterable:
File "/home/leetom/.pyenv/versions/2.7.10/lib/python2.7/multiprocessing/pool.py", line 668, in next
raise value
Exception: Unexpected response.

[thinks]

Mark ，哎，老司机一言不合就发车啊。

[sangmong]

mark

[errorlife]

没人知道 www.tumblrget.com 吗

[mozutaba]

@errorlife 无效啊

[errorlife]

@mozutaba 上梯子=。=

[Nutlee]

战略 Mark

[iewgnaw]

不是有现成的 API 吗

[tumbzzc]

@iewgnaw 这不就是用 api 吗

[znoodl]

我也用 golang 爬过。。。后来被墙就没搞了

[Layne]

默默点个赞 :)

[itqls]

一天到晚搞事情

[weaming]

搞事搞事

[tumbzzc]

@itqls
@weaming
你们别搞事啊

[GreatMartial]

@tumbzzc 楼主，我要访问你的网站，我要做的你粉丝😄

[tumbzzc]

@GreatMartial 少儿不宜哈哈哈

[firefox12]

下载的那个脚本
Traceback (most recent call last):
File "./1.py", line 138, in <module>
getpost(name, UQueue)
File "./1.py", line 27, in getpost
total = re.findall('<posts start="0" total="(.*?)">', page)[0]
IndexError: list index out of range

[Doggy]

with open('pictures.txt','r') as fobj:
for eachline in fobj:
pngurl=eachline.strip()
filename='.//getpic//test-{0}.jpg'.format(i)
print '[-]parsing:{0}'.format(filename)
urllib.urlretrieve(pngurl,filename)
i+=1

[dickeny]

for i in range(0, total, 50): queue.put(ul+str(i))

[hard2reg]

看完表示自己 python 白学了。。。
人家的爬虫都是多线程，队列，类
我的爬虫都是。。。 while if for ....

[pyufftj]

@hard2reg 多线程是为了提高速度， 3 个小时的事情， 1 个小时就做完了，多爽啊！

[dr3am]

求 LZ 网站

[tumbzzc]

@dr3am #50 不可告人

[giveupAK47]

请问老哥您的博客是什么？想深入学习一下爬虫。