发个来自 baidu 的爬虫 不是程序员 写的不好请轻喷

[Sequencer]

import urllib.request
import re
import pdb
import webbrowser
from time import sleep


class Webpage:
    def __init__(self, url):
        # init page
        self.url = url
        header = {
            'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 8_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12D508 Safari/600.1.4'}
        request = urllib.request.Request(url, headers=header)
        sleep(2)
        webpage = urllib.request.urlopen(request)
        webpage = webpage.read()
        webpage_decode = webpage.decode()
        self.webpage = webpage_decode
        DCIM = re.compile(r'来自')
        title = DCIM.findall(webpage_decode)
        if len(title) != 0:
            webbrowser.open(url)
def Page(min ,max):
    for i in range(min, max):
        url ='http://yun.baidu.com/share/home?uk='+str(i)
        yield url

if __name__ == '__main__':
    for i in Page(1,5000):
        Webpage(i)

[knightdf]

webbrowser.open(url)

[leavic]

10 年前，我们管这种一次打开 5000 个网页的东西叫做恶意脚本，确实很适合在愚人节用。

[Tink]

我昨晚下载完了，正在往数据库里导

[Sequencer]

@knightdf @leavic 有个判断语录 还有个 sleep 5000 个里面可能能找到一个

[Sequencer]

@Tink 你用的分布式爬的？

[Tink]

@Sequencer 我从 mega 上手动下载的。。。。

[aksoft]

今天是愚人节。。