V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wnanbei  ›  全部回复第 4 页 / 共 5 页
回复总数  83
1  2  3  4  5  
2019-12-02 18:44:12 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 基于 Golang 的 HTTP 客户端,爬虫工具 direwolf
@wsseo 你问我的话,那我肯定说选 direwolf 呀,哈哈哈
2019-12-02 17:20:17 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 基于 Golang 的 HTTP 客户端,爬虫工具 direwolf
@faceair 参考的对象应该都是 python 的 requests
2019-12-02 15:08:38 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 基于 Golang 的 HTTP 客户端,爬虫工具 direwolf
@u823tg 谢谢,会保持更新的
2019-12-02 15:08:02 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 基于 Golang 的 HTTP 客户端,爬虫工具 direwolf
@yaoye555 算了,也不辨这些,跟我也没关系。本来只是提一句可以用来写爬虫的。
我写的是 HTTP 客户端,用来发请求的,跟 python 的 requests 差不多,爱拿来干啥干啥。
2019-12-02 14:56:30 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 基于 Golang 的 HTTP 客户端,爬虫工具 direwolf
@realpg 夸张了,爬虫本质上只是网络请求,能做的事情很多,不能因为其被一部分人用于违法的,就把爬虫整个定义为违法的。
2019-12-02 14:43:04 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 基于 Golang 的 HTTP 客户端,爬虫工具 direwolf
@realpg 朋友,先去看看爬虫的定义,然后再去看看法律,再回来说什么是违法的
2019-12-02 10:52:01 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 基于 Golang 的 HTTP 客户端,爬虫工具 direwolf
@Wenco 就是觉得这个东西很...我才自己写的
2019-12-02 10:42:48 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 基于 Golang 的 HTTP 客户端,爬虫工具 direwolf
@meteor957 觉得它好用,愿意造轮子的就多了
2019-11-26 13:45:00 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 Go net/http Client 的某些参数不是并发安全的?
@icexin 好像可行,我去研究一下,非常感谢!!!
2019-11-26 10:12:09 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 Go net/http Client 的某些参数不是并发安全的?
@zhujinliang 是 Request 里根本没有设置重定向,超时,代理这些的地方,只能去 client 里设置。并发的时候要改这些设置就只能改 client。不然就只有建新的 Client。
2019-11-26 10:11:17 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 Go net/http Client 的某些参数不是并发安全的?
@darrh00 因为重定向次数是写死在这个 CheckRedirect 里的,有一些请求需要限制的重定向次数可能是不同的,所以需要改。
2019-11-26 10:10:19 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 Go net/http Client 的某些参数不是并发安全的?
@chennqqi 不是,是 Request 里根本没有设置重定向,超时,代理这些的地方,只能去 client 里设置。并发的时候要改这些设置就只能改 client,并发的时候改 client 就有问题。
2019-11-25 17:54:47 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 Go net/http Client 的某些参数不是并发安全的?
@tsl0922 有时候其实换代理的量很大,而且还有超时,重定向等等。哎,脑阔疼
2019-11-25 16:49:37 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 Go net/http Client 的某些参数不是并发安全的?
@janxin 在当前协程改了 func 后,发起请求,不一定用的就是刚刚改的这个 func。因为在这个过程中这个 func 很可能又被其他协程改掉了
2019-11-25 16:47:47 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 Go net/http Client 的某些参数不是并发安全的?
@janxin 目前就是需要把 超时、代理、重定向 这些设置到单个 Request 上,但 net/http 不提供,就只能设置在 Client 上。
并发的时候改 Client 就会有问题,因为 Client 需要复用,是全局的。
2019-11-25 16:43:13 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 Go net/http Client 的某些参数不是并发安全的?
@tsl0922 嗯嗯,我也知道官方文档的复用大部分意思指的是复用连接。

但代理、超时、重定向这些设置,只有 Client 和 Transport 这种级别可以设置,在 Request 这个级别无法指定到特定的请求上。现在又需要复用 Client,但在并发的时候更改 Client 里的这些设置又不是并发安全的,就很头疼。
2019-11-25 16:28:27 +08:00
回复了 wnanbei 创建的主题 Go 编程语言 Go net/http Client 的某些参数不是并发安全的?
@tsl0922 说的是 `so Clients should be reused`,而且设置代理在 transport 里,一样的也是这个问题。
996 比 965,工时要多差不多 50%。
在场的扪心自问一下
目前 965 的,给你工资涨 50%,你干不干 996 ?
目前 996 的,给你工资降 50%,给你双休要不要?
当然肯定会有人选,给我 50%我也不干 996,但这部分人目前,是少数
@LiuSha 既然有人愿意去那你还管他干什么?
为什么程序员这么多 996,还这么多人天天花钱培训削尖了头往这个行业里钻?
不就是觉得这行业工资高,996 也乐意么?
等过个五年,程序员这行业平均工资下来了,很多人觉得 996 不划算了,公司 996 招人困难了,那自然 996 就少了。
1  2  3  4  5  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5456 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 07:51 · PVG 15:51 · LAX 00:51 · JFK 03:51
Developed with CodeLauncher
♥ Do have faith in what you're doing.