@zsj1029 是投机推理

@zsj1029

```
services:
vllm-qwen36-27b:
image: vllm/vllm-openai:v0.20.0
container_name: vllm-qwen36-27b
restart: "unless-stopped"
ports:
- "8085:8000"
volumes:
- models/huggingface/qwen3.6-27b-autoround-int4:/model
environment:
- CUDA_VISIBLE_DEVICES=0
- VLLM_WORKER_MULTIPROC_METHOD=spawn
- PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
shm_size: "16gb"
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
command:
- --model
- /model
- --served-model-name
- qwen3.6-27b
- --quantization
- auto-round
- --dtype
- float16
- --gpu-memory-utilization
- "0.92"
- --max-model-len
- "160000"
- --kv-cache-dtype
- fp8_e5m2
- --max-num-seqs
- "1"
- --trust-remote-code
- --reasoning-parser
- qwen3
- --enable-auto-tool-choice
- --tool-call-parser
- qwen3_xml
- --enable-prefix-caching
- --speculative-config
- '{"method":"mtp","num_speculative_tokens":2}'
- --host
- "0.0.0.0"
- --port
- "8000"
```

5090 27B ，vllm 峰值 120 tok/s, 平均 85 tok/s 上下

如无必要，勿增实体

很不错，代理客户端的 skill ，你好像是第一个

不写价格，也得写点别的信息啊

staging

wireguard 已被运营商搞残

支持！

真想告诉作者，system_profiler 这个命令可以获取到 ssid ，就是解析比较麻烦

确实，同省、跨省、同运营商、跨运营商都不稳了，实测

呋虫胺，最终你会用它

pulse

@LOGOSJ GUI 做了 CLI 之外的一些事情，比如 dns

感谢各位楼上，我好像知道问题原因了，并不是我的配置问题，而是 dns 请求在 macOS 上压根没进 tun ，必须设置一下系统网络 dns ...

https://github.com/SagerNet/sing-box/issues/3223

@huangzhiyia mixed 没问题，我这里的问题是 tun-in 的时候，macOS 系统 dns 请求不进 sing-box ...

@weofuh 我照着贴也没有，现在唯一有用的方案是添加一个 inbound listen :: 53 ，然后 `sudo networksetup -setdnsservers "Wi-Fi" 127.0.0.1 ` 才管用，但如果是这样才关于，哪些 sniff / hijack-dns 之类的还有啥用啊？

按说 tun 入站还需要配个 listen 53 和设置系统 dns ，做起来也太多余了吧，请教一下是我哪里没弄对吗？

@RobinHuuu 我试试，多谢

@weofuh 这种，dns 流量压根就没进 sing-box