老大给了个任务要爬日本亚马逊上某类商品的价格以及评论,自己之前都是爬国内的,日本亚马逊现在被墙了,需要怎么样才能爬到数据呢? lantern 连上了然后终端 export https_proxy=localhost:port 也试过了,国外的代理 IP 也试过了,都以失败告终,错误如下:
requests.exceptions.ProxyError: HTTPSConnectionPool(host='
www.amazon.co.jp', port=443): Max retries exceeded with url: /dp/B000UTKMDQ (Caused by ProxyError('Cannot connect to proxy.', ConnectionResetError(104, 'Connection reset by peer')))
请问一下各位,是怎么爬的? API 还是其他方式?感谢感谢
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/523738
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.