使用的 Python3 版本,基于 flask 写的 web 网站,python3 app.py 直接跑起来后,用 nginx 做代理访问。本机测试时可以爬取网页内容,放在服务器上就报: urllib.error.HTTPError: HTTP Error 503: Service Temporarily Unavailable。 测试过服务器和要爬的地址是通的,代理 ip 也是可用的。
直接上源码:
def search(name):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'}
chaper_url = "https://cn.torrentkitty.tv/search/%s/" % parse.quote(name)
cookie = cookiejar.CookieJar()
handler = request.HTTPCookieProcessor(cookie)
proxy_handler = request.ProxyHandler({'http': 'http://101.96.11.5:80'})
opener = request.build_opener(handler, proxy_handler)
myRequest = request.Request(url=chaper_url, headers=headers)
myResponse = opener.open(myRequest)