为什么抓不到 scrapy 的包

2021-02-20 14:00:28 +08:00
 tuoov

开着 fiddler 干别的事情,一段时间后发现完全没有爬虫程序的记录。 程序和 fiddler 都在正常工作,用的是最新的 fiddler everywhere,开了捕获 https 请求。 请知道的大佬解释下原因

1831 次点击
所在节点    Python
6 条回复
julyclyde
2021-02-20 14:06:23 +08:00
fiddler 是个代理服务器
Itoktsnhc
2021-02-20 14:17:30 +08:00
fiddle 只能抓到使用系统配置代理的程序的请求 手动设置一下试试?
smart9527
2021-02-20 14:22:44 +08:00
fiddler 是个代理服务器, scrapy 要设置代理
woyao396
2021-02-20 14:28:30 +08:00
https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware

原因就是 1&2 楼

设置环境变量 http_proxy 及 https_proxy 为 fiddler 代理服务器的地址

linx

```sh
#host 为 fiddler 所在 IP,8888 是 fiddler 默认端口号 如:
export http_proxy=http://localhost:8888
export https_proxy=http://localhost:8888
```

windows

```sh
set http_proxy=http://localhost:8888
set https_proxy=http://localhost:8888
```
tuoov
2021-02-20 15:05:56 +08:00
感谢各位
ch2
2021-02-20 22:13:27 +08:00
fiddler 只能抓到对局域网代理生效的程序的包

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/754586

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX