V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
arloor
V2EX  ›  程序员

程序员:茴香豆的茴字有几种写法

  •  
  •   arloor · 2023-09-02 20:39:42 +08:00 · 1617 次点击
    这是一个创建于 444 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为了实现 Http 正向代理,我分别用 Java 、Go 、Rust 写了三次,真的是软件界的茴字三种写法了,好像是应该嘲讽的一件事,但略一想想,中间还是有一些意义的,所以想分享下。

    整个过程是

    1. 在最熟悉 Java 的情况下,首先用 Netty 写了一版,主要意义在于学习了 Netty 。
    2. 然后因为 Java 的内存占用太大,后面又用 Go 写了一把,中间看了 net/http 的实现,看了 Caddy 的部分代码,看了 forwardproxy 插件的代码。
    3. 最后想用无 GC 的语言再写一把,于是我反复入门 Rust ,熟悉 tokio 、hyper 、rustls 等库,又写了一把。

    这三个版本在物理的意义上,仅仅是节省了服务器 100M 的内存(相比 Java 版本),但这不是最重要的。

    1. 首先,网络编程稍微偏低层,让我知道了 RPC 、Http 这些应用层程序之下的实现是怎样的,在这个过程学习了《 Unix 网络编程》(最初学了点 C 语言的 tcp 编程)、Http 协议等。
    2. 其次,写出一个有价值的、健壮的 Http 代理,是一个复杂度高到刚好可以用来检验掌握水平的测试,首先要熟悉语言的语法,比如 Rust 里的所有权、闭包、异步 IO 等等,其次需要了解常见的库,比如:命令行参数解析、异常处理、日志、网络库等等。就拿我反复入门 Rust 这件事来说,写出 Rust 版后,我可以说我入门 Rust 50%了,度过了万事开头难的阶段,后面相信会好很多。

    我大概是从 17 年开始接触网络编程,看《 TCP/IP 》、《 Unix 系统编程》、《 Unix 网络编程》、《 Java Socket 编程》,基本都是大部头的黑皮书。那时是在大学里,有大把时间。老师的课是那么无聊,所以课外自己折腾了很多。说真的这些书成为我知识体系的重要部分,甚至可以说理解其他东西的基石。

    后面开始工作,八股文里经常背的那些中间件,其实根本离不开网络编程,IO 就是这么无处不在。会网络编程后,这些协议在我的脑子里就会变成 tcp 这条流水线上的流淌的真实的有血有肉的东西,不再抽象,因为知道他是怎么通过一次次的 read/write 实现的。无论是 Http 协议、Redis 的 resp 协议、gossip 协议、GRPC 工作原理、各种 sharding/replicate 。还有什么并发编程、事件驱动,在学习 IO 的过程中,遇到 reactor 模式,就必然学会了并发编程、事件驱动。

    放一下 Github 的链接,可能会有一些帮助。

    6 条回复    2023-09-04 10:37:50 +08:00
    liprais
        1
    liprais  
       2023-09-02 20:46:12 +08:00
    关于 rust 我只能说你过于乐观了
    arloor
        2
    arloor  
    OP
       2023-09-02 22:50:23 +08:00 via Android
    @liprais 还好吧
    imzcg2
        3
    imzcg2  
       2023-09-03 09:53:51 +08:00
    我也想深入请指教
    doraemonki
        4
    doraemonki  
       2023-09-04 01:49:19 +08:00 via Android
    看了 go 版的实现,请教一下大佬:
    1. 为什么要随机添加 res.Header.Add("Server", "go_web_server")
    2. 为什么 https 的请求没有 dail TLS 也能成功呢
    arloor
        5
    arloor  
    OP
       2023-09-04 10:11:32 +08:00 via Android   ❤️ 1
    1 是为了防止报文长度特征太明显,加入了随机的长度
    2 是因为 http connect 隧道的特性,和目标网站的 tls 握手还是浏览器和目标网站进行的,代理只需要建立一个隧道就行。这个可以看下 http tunnel 的 rfc
    arloor
        6
    arloor  
    OP
       2023-09-04 10:37:50 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3484 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 04:45 · PVG 12:45 · LAX 20:45 · JFK 23:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.