dcompass - 纯 Rust 实现的高性能混合 DNS 服务器

[LEXUGE]

https://github.com/LEXUGE/dcompass

具体内容都在 GitHub 里，功能大概为： 高速（ 760 qps ） 自由路由规则，支持递归嵌套，且提供完整运行前功能检查 支持 DoH （未来支持 UDP ） 缓存持久化，应对恶劣网络环境 应对网络环境热切换（不会出现 SmartDNS Wi-Fi 换 4G 直接 DoH 断连的问题） IPv6 AAAA 屏蔽 选择性 SNI 发送，防止 SNI 被侦测 纯 Rust 实现 轻量域名匹配（ 160 us per match ）

目前自用体验良好，deploy it and forget it 自测速度快于 smartdns （ 640 qps ）

nixos 用户可以看一下 https://github.com/icebox-nix/netkit.nix ，内含打包好的 dcompass 以及可以直接使用的 nixos module

qps 是真实网络环境下多次测试结果，不是 mock test

目前提供 windows, linux, linux-armv7, macos 的 binary
https://github.com/LEXUGE/dcompass/actions/runs/373581534
欢迎下载测试

[billzhuang]

支持下，阅读代码中

[no1xsyzy]

建议发 /go/create

[lbp0200]

异步模型用的协程吗？

[LEXUGE]

@lbp0200 （不是很了解具体术语）是基于 tokio runtime 的，目前因为 tokio 0.2 和 0.3 的迁移，upstream 是 single-threaded 的，event loop 是 multi-threaded. 未来迁移以后可能性能会更好一些

[xarthur]

支持 ipset 吗？

[tpsxiong]

支持 unbound 那样的迭代查询不

[LEXUGE]

@xarthur 目前还不支持，但是代码设计的时候就考虑到这点了

[LEXUGE]

@tpsxiong recursive query 吗，只要请求写了 recursive needed 的话上游就会支持，因为实际上这是一个 DNS 转发服务器

[shynome]

qps 要讲在什么配置下的，不同配置下的 qps 不同

[LEXUGE]

@shynome 我给两个测试用了相同语义的配置。虽然数据会有变化，但是还是能反应在相同网络环境和相同设备上的速度的。

[Jirajine]

不错，正好也想用 rust 实现一个 dns 转发器。
提几个建议：
1. 配置文件支持 yaml/toml 。
2. 把核心逻辑抽出来写成 lib，方便调用。
3. 支持更多规则，正则、abp 等。
4. 支持扩展插件，弄个 Python 脚本或者像 coredns 一样留个框架让用户自己添加代码再重编译。

[Jirajine]

以及 smartdns 特有的 过期缓存、prefetch 、速度测试等，这样就可以完全替代，解决 smartdns 仅 Linux 可用的问题。

[LEXUGE]

@Jirajine 插件还未考虑，不过核心逻辑 droute 是一个 lib，且提供 trait 支持自己实现匹配规则

[Jirajine]

@LEXUGE 我这里指的插件主要是 hook，让用户在处理请求时注入自己的自定义代码。
大概是这样：
fn process_dns(&c: Context){
plugin_A(c);
plugin_B(c);
// 用户自己实现一个函数或类型，然后插入到这里。
}
然后在你自己的核心逻辑中调用 process_dns 函数。

[tpsxiong]

@LEXUGE iterative dns query

[zro]

能不能像 dnsmasq 那样可以有 add-subnet 选项，配合上游 EDNS 。。

好像没找到其他能 add-subnet 的 DNS 转发，包括 unbound~~

[LEXUGE]

@zro 目前只做了包转发，added to the todo list

[INTEL2333]

话说大佬，能不能做个双栈 EDNS
v4 和 v6 非同一个运营商提供的时候非常难受

比如 A 记录走 8888，AAAA 记录走 2001:4860:4860::8888

或者

向 8.8.8.8 发送两次查询，EDNS 分别对应 v4 和 v6

[zro]

@INTEL2333 #18 应该跟你差不多，v6 是 HE 的，能说下你是什么方案吗？
我现在的方案不太成熟，要开两个 unbound，其中一个只查 v6 。。。

[INTEL2333]

@zro 我现在是开了 2 个 adgh

adgh1 是 v4 only

adgh2 是选优模式，上游 adgh1 和 2001:4860:4860::8888

不过出结果太慢了

[LEXUGE]

@zro EDNS 我没有
@INTEL2333 可以考虑，不过我没有 v6 环境，很难测试

[LEXUGE]

新加入了 DNS over TLS 功能的支持

[INTEL2333]

@zro 还有个可能不符合你要求的解决方案，只用一个 adgh

用 8.8.8.8 并过滤
240e:*
2408:*
2409:*

[INTEL2333]

@LEXUGE 唔，应该不用 v6 环境也能测试，方案 2 的话，应该指定一下 edns 地址就可以了

蟹蟹大佬啦

[HalloCQ]

@zro 支持 edns 的大把。overture，adguardhome 等等

[LEXUGE]

@HalloCQ overture 挺 buggy 的...我还修过一个 bug...也就是因为它和 smartdns 都很 buggy 我才决定自己写
打算支持 EDNS，回去写个 roadmap

[HalloCQ]

@LEXUGE 我也没用它了，刚换成 adgh，感觉挺好用

[zgzh]

感谢~已经部署，成功运行，查询速度很快

[zro]

@INTEL2333 #23
ADGH 要是能加上“只查询 IPv6”功能就好弄多了；像你这样 ADGH 开一个 v4 only 的，有遇到像这样的情况吗？
手机挂 Surge 开 T 宝，查最近请求时发现，居然还会访问某个 v6 IP 的网站，无域名的；偶尔一打开又会问我要不要切换到美国版 T 宝。。但看 Surge 的请求，IP 归属地都是五星旗

@HalloCQ #25

ADGH 的 ECS settings：edns_client_subnet — Enable EDNS Client Subnet option. If enabled, AdGuard Home will be sending ECS extension to the upstream DNS servers. Please note, that this will be done for clients with public IP addresses only.

从公网查询才有效果的。。因为我是在境外 VPS 搭，所以需要像 dnsmasq 的 add-subnet 这样的功能，没发现 ADGH 有其他 ECS 的设置~

[INTEL2333]

@zro 唔，没遇到过
上面那个方案其实还可以节省一个 adgh

上游 8.8.8.8 和 2001:4860:4860::64，选优模式

过滤
240e:*
2408:*
2409:*
64:ff9b::*

不过似乎会造成无 aaaa 的域名在查询 aaaa 记录时返回时间超过 1s

[INTEL2333]

@zro 话说淘宝会不会也有类似腾讯的 httpdns ？
如果有的话似乎就难办了，只能 ip6tables 来 drop 了

[LEXUGE]

@zgzh 啊这，我都没法 crate，你直接 build 的吗
我不敢保证现在不会有 breaking change，不过感谢支持

[zgzh]

@LEXUGE 是的 下载源码后 cargo build --release，在树莓派上顺利构建

[LEXUGE]

@zgzh 那我打算提供一下交叉编译版本

[HalloCQ]

@zro 因为你的 adgh 部署在服务器上，当你本地向 adgh 请求的时候，adgh 拿到的就是你的公网 ip 了

[HalloCQ]

@zro 就算运营商分配给你的不是公网 ip，但是你 adgh 是搭在一个外网的 vps 上，难道 adgh 还能拿到你的内网 ip 不成？

[zro]

@HalloCQ #35 Sorry，没说清楚，本地是以 VPN 跟外网 VPS 连的，所以 ADGH 根本不知道我的外网 IP 。。ADGH 没有对外暴露端口的~

[HalloCQ]

@zro 我是把 adgh 部署到国内服务器，然后分流。国内域名用 doh.pub ，国外域名请求 dns.google 。速度快的不行，还能去广告

[2001225354]

会有路由器版本么

[LEXUGE]

@2001225354 https://github.com/LEXUGE/dcompass/releases/tag/v0.1-alpha.1

[LEXUGE]

目前支持的架构有 x86_64-unknown-linux-musl, armv7-unknown-linux-musleabihf, armv5te-unknown-linux-musleabi, x86_64-pc-windows-gnu, x86_64-apple-darwin, aarch64-unknown-linux-musl 。
已经测试的设备有：windows, linux, raspberry pi 3B+ (openwrt，使用 aarch64 ），都可以直接下载运行
可能有问题的架构：apple-darwin （不知道为什么, GitHub Action 的 Catalina 编译出来 linker 会炸）
未来可能会支持: mips
大部分的架构都使用了 musl 静态编译，尽可能无依赖，欢迎测试
有新的架构想加入 release 编译的 list 可以留言

[fengjianxinghun]

我也有个类似的。。。
静态插件是这样
pub static GLOBAL_MODULE_TABLES:Lazy<Mutex<Vec<Box<dyn Fn() -> Box<dyn PFilter<Output=PAction> + Send> + Send>>>> = Lazy::new(|| .....

然后在 async/await hook 点生成新的 trait PFilter 对象

[fengjianxinghun]

还有，既然是 rust 。按照传统，建议支持 toml 配置。

[ysc3839]

请问目前有实现 overture 的功能吗？
希望实现先查询 A DNS，如果返回的 IP 数据匹配某个列表再去查询 B DNS，并返回 B DNS 的结果。
目前似乎只有 overture 能实现这样的逻辑。

[LEXUGE]

@fengjianxinghun 求链接？ toml 考虑支持
@ysc3839 后期打算加入复杂服务端的配置（如 DoH 服务端），以及更加自由的路由配置（有点搞得像 table 了），这样可以部署在自己的服务器上

[LEXUGE]

@ysc3839 这么做其实有 blacklist 的意思，但是 IP blacklist 很难维护且感觉过滤效果不好。目前 dcompass 只支持 prequery 的 routing.

[ysc3839]

@LEXUGE 这里的 list 是中国的 IP 地址，感觉是比较好维护的。主要是为了解决 CDN 的问题。

[LEXUGE]

@ysc3839 加入 todo list

[LEXUGE]

新增加了 mock test，忽略掉网络因素下 qps 为 100000 。
实际测试（网络环境好时）：2500 qps
在网络环境差且请求量大时，增加了可选的 ratelimit (使用 token bucket 实现）

下一步将设计一个简单灵活的路由规则语法

[JBaker]

请问有中文的说明文件吗？
实在不想再看英文的帮助了（躺）

[JBaker]

问一下，chche_size 的单位是什么呢？条目？字节？ MB ？
==============
我觉得还能接着加功能
- 比如对 纯 ipv6 用户 还有 教育网用户(ipv6 免流的) 添加“如果有 ipv6 地址，则只返回 ipv6 地址”的控制项(例如可以叫做 ipv6_only 或者 disable_ipv4)
- 比如自定义 DNS 解析结果的 hosts
- 比如，如果没有加配置文件进来，就弹出界面，傻瓜式地生成配置文件 (能偷懒为何要费劲写 json 呢？还容易打错字。)
- 比如，指定日志文件和缓存文件的保存位置（我想存到内存盘里）
- 比如，添加“以服务方式安装和自启动”(脚本可以抄 dnscrypt 的 service_install.bat)

暂时就想到这么多。折腾是永不停止的。折腾完，程序运行就慢下来了 ohhhhhhh

[JBaker]

上一行是 cache_size，又打错字了。
还有，如果我的 upstream 填的是 根服务器的 IP，能正确的处理请求吗？
还有，我想同时监听 127.0.0.1:53 和 [::1]:53，该怎么填？花括号"address":{"127.0.0.1:53","[::1]:53"}还是 "address": ["127.0.0.1:53","[::1]:53"]，亦或者是"address": "127.0.0.1:53","address": "[::1]:53",写两行？

[JBaker]

Error: 远程主机强迫关闭了一个现有的连接。 (os error 10054)
issues/2
我就随便打开一个网站就这样了。

[LEXUGE]

@JBaker 前两个都可以通过未来的路有规则实现。
生成配置可能没有，不过如果不喜欢 json 未来可以支持 TOML 。
缓存文件持久化意义不大，DNS 结果很容易过期的...日志可以考虑
服务的话 linux 下我写了 systemd service unit，windows 我不太会，欢迎 PR
cache_size 的单位是 per record.

[LEXUGE]

@JBaker 已修复（
原因是某些应用会发多个请求，却在第一个请求收到后就走掉了，导致 socket 挂了（

[LEXUGE]

已实现自由组合路由规则
不过目前还没有增加 ipcidr 和 geoip 的 matcher，暂时没办法实现 IP 分流，但是逻辑上已经实现了

[LEXUGE]

@ysc3839
目前新增加了 GeoIP matcher （自带数据库），可以轻松实现 clash 的防污染逻辑
```yaml
table:
- tag: start
if: any
then:
- query: domestic
- check_secure
- tag: check_secure
if:
geoip:
- CN
else:
- query: secure
- end
```

[ylx]

能不能给个通用用户的配置
开箱即用的

[zgzh]

@LEXUGE 最新版本"disable_ipv6": true, 无效，还是可以解析出 IPV6，是不是取消了？

[LEXUGE]

@zgzh 是的，为了灵活适应需求，我把所有的这些选项做成了路由插件，可以自由组合，如果要禁用 IPv6 可以使用 Qtype(AAAA) 来匹配并使用 disable 来设置禁用，具体见 https://gist.github.com/LEXUGE/f629c9229851c5ad5816469de2495eca

目前配置变动可能比较频繁，未来可能会加入多个 inbounds 的选项，也会有 breaking change，不过我会不 break

如果有使用方面的问题，可以发 https://github.com/LEXUGE/dcompass/discussions，回复比较及时

[LEXUGE]

@ylx 如果你说的通用是指简单的防污染分流的话，可以： https://gist.github.com/LEXUGE/17f5c4a9d77e5fbe2b2a7fe1bd85fb1f

无需任何外置的文件（域名列表，IP 列表之类的）

@zgzh 上面一条发的也有点小错误，还是以 repo 下的 configs 为准，那些是会过 CI tests 的。

[zgzh]

@LEXUGE 路由器。。。空间着急。。那个附加文件太大了，，txt 的还可以放得下。。

[zgzh]

@LEXUGE 哇。。。原来还可以不用附件了参数了，很赞，谢谢

[LEXUGE]

@zgzh 我考虑编译一组不内置 maxmind geoip 数据库的 binary，但是得明天了。

另外有中文 README （中文写的不太顺手） https://github.com/LEXUGE/dcompass/blob/main/README-CN.md

[ylx]

上面提到了 host IP 功能
你说通过路由功能实现 能不能给个例子
比如怎么写让 baidu.com 解析到 127.0.0.1 谢谢

[ylx]

https://github.com/Hackl0us/GeoIP2-CN
这个是否借鉴下

[LEXUGE]

@ylx 正在做，预计会有 min (不自带 database), mid (自带 GeoIP2-CN), 和 full (自带 maxminddb) 三种版本。


@ylx 目前还没有对任意域名自定义结果的 Action，如果你单纯是想要 block 所有 baidu 的网址的话，可以用 domain matcher + disable action 来实现。自定义结果的话本质是一个 upstream，我在考虑怎么设计可以让语法更简洁

PS: 建议在 GitHub repo 的 Discussion page 上提问，v2ex 我不一定会看

[LEXUGE]

@ylx
@zgzh

https://github.com/LEXUGE/dcompass/releases/tag/build-20201218_2249
三种不同的构建已经完成了，单纯防污染建议选择 `cn`, 开箱即用且空间占用仅仅比 `min` 大 500 KB.

[LEXUGE]

支持 IP CIDR matching