关于 Scrapy 请求的 header 自动转换为 bytes 导致请求失败的问题。

[kaiger]

为什么 scrapy 请求的 header 会转换为 bytes 类型，这很难受。

同一个 header ， 用 requests 模块请求就能请求成功，用 scrapy 就失败。

有什么办法能避免这种情况吗？

[xiaoqiao24]

2 条路
1.middleware 里面处理
2.改底层

[Nostalgia]

从来没意识到有这个问题……应该是对我爬的网站没啥影响。