求解诡异问题本地可以，放服务器上跑报错， urllib.error.HTTPError: HTTP Error 503

2018-07-20 17:22:55 +08:00
 godwow

使用的 Python3 版本，基于 flask 写的 web 网站，python3 app.py 直接跑起来后，用 nginx 做代理访问。本机测试时可以爬取网页内容，放在服务器上就报： urllib.error.HTTPError: HTTP Error 503: Service Temporarily Unavailable。 测试过服务器和要爬的地址是通的，代理 ip 也是可用的。

直接上源码：

def search(name):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'}
    chaper_url = "https://cn.torrentkitty.tv/search/%s/" % parse.quote(name)
    cookie = cookiejar.CookieJar()
    handler = request.HTTPCookieProcessor(cookie)
    proxy_handler = request.ProxyHandler({'http': 'http://101.96.11.5:80'})
    opener = request.build_opener(handler, proxy_handler)
    myRequest = request.Request(url=chaper_url, headers=headers)
    myResponse = opener.open(myRequest)
2501 次点击
所在节点    Python
10 条回复
findstrx
2018-07-20 17:57:36 +08:00
你需要一个 Docker...
godwow
2018-07-20 18:07:58 +08:00
@findstrx 能说清楚点吗，docker 和服务器有什么区别吗，对了我是放在国外的 vps 上跑有问题
misaka19000
2018-07-20 18:10:38 +08:00
我有点晕了 你究竟是把网站放到服务器上面还是把爬虫放到服务器上面？
godwow
2018-07-20 18:12:37 +08:00
@misaka19000 网站放服务器上了，里面有段爬网页的代码
misaka19000
2018-07-20 18:21:07 +08:00
这个 503 是你自己的服务报的还是远程主机返回的
godwow
2018-07-20 18:23:54 +08:00
@misaka19000 远程主机报的错误，爬页面的时候报错了，上面是爬页面的代码
godwow
2018-07-20 18:34:19 +08:00
又要沉了，真心想不到什么原因😭
yongzhong
2018-07-20 18:38:42 +08:00
本机->代理->爬取页 √
服务器->代理->爬取页 ×

检查过服务器到代理是否可行?代理是否如期成功?
godwow
2018-07-20 18:51:09 +08:00
@yongzhong 不加代理本机也是可以，服务器不行。在服务器上 telnet 代理 ip 和端口是通的
godwow
2018-07-20 18:53:23 +08:00
@yongzhong 服务器上不行，才加的代理测试了下，还是不行

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/472729

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX