search

yf2008 / duty-machine

抓取网络文章到github issues保存
https://archives.duty-machine.now.sh/
3 stars 0 forks source link

为什么 DNS 使用 UDP 协议 #85

Closed yf2008 closed 4 years ago

yf2008 commented 4 years ago

https://draveness.me/whys-the-design-dns-udp-tcp/

yf2008 commented 4 years ago

为什么 DNS 使用 UDP 协议 by draveness

为什么 DNS 使用 UDP 协议

2019-11-13为什么这么设计系统设计DNSUDPTCPDoTDoH

为什么这么设计（Why’s THE Design）是一系列关于计算机领域中程序设计决策的文章，我们在这个系列的每一篇文章中都会提出一个具体的问题并从不同的角度讨论这种设计的优缺点、对具体实现造成的影响。如果你有想要了解的问题，可以在文章下面留言。

今天要分析的具体问题是『为什么 DNS 使用 UDP 协议』，DNS 作为整个互联网的电话簿，它能够将可以被人理解的域名翻译成可以被机器理解的 IP 地址，使得互联网的使用者不再需要直接接触很难阅读和理解的 IP 地址。作者曾经在 详解 DNS 与 CoreDNS 的实现原理 一文中介绍过 DNS 的实现原理，这篇文章中就不会介绍 DNS 的实现原理了，感兴趣的读者可以看一下。

dns-over-udp-tcp

相信 DNS 使用 UDP 协议已经成为了软件工程师的常识，对计算机网络稍有了解的人都知道 DNS 会使用 UDP 协议传输数据，但是这一观点其实不是完全正确的，我们在这里就会详细分析『为什么 DNS 会使用 UDP 传输数据』以及『为什么 DNS 不止会使用 UDP 传输数据』两个问题，希望能够帮助各位读者理解 DNS 协议的全貌。

概述

我们将要讨论的两个问题其实并不冲突，在绝大多数情况下，DNS 都是使用 UDP 协议进行通信的，DNS 协议在设计之初也推荐我们在进行域名解析时首先使用 UDP，这确实能解决很多需求，但是不能解决全部的问题。

实际上，DNS 不仅使用了 UDP 协议，也使用了 TCP 协议，不过在具体介绍今天的问题之前，我们还是要对 DNS 协议进行简单的介绍：DNS 查询的类型不止包含 A 记录、CNAME 记录等常见查询，还包含 AXFR 类型的特殊查询，这种特殊查询主要用于 DNS 区域传输，它的作用就是在多个命名服务器之间快速迁移记录，由于查询返回的响应比较大，所以会使用 TCP 协议来传输数据包。

作为被广泛使用的协议，我们能够找到非常多 DNS 相关的 RFC 文档，DNS Camel Viewer 中列出了将近 300 个与 DNS 协议相关的 RFC 文档，其中有 6 个是目前的互联网标准，有 102 个是 DNS 相关的提案，这些文档共同构成了我们目前对于 DNS 协议的设计理解，作者也没有办法去一一阅读其中的内容，只选择了其中一些重要的文档帮我们理解 DNS 的发展史以及它与 UDP/TCP 协议的关系，这里只会摘抄文档中与 UDP/TCP 协议相关的内容：

  1. RFC1034 · Domain Names - Concepts and Facilities Internet Standard, 1987-11
    1. DNS 查询可以通过 UDP 数据包或者 TCP 连接进行传输；
    2. 由于 DNS 区域传输的功能对于数据的准确有着较强的需求，所以我们必须使用 TCP 或者其他的可靠协议来处理 AXFR 类型的请求；
  2. RFC1035 · Domain Names - Implementation and Specification
    1. 互联网支持命名服务器通过 TCP 或者 UDP 协议进行访问；
    2. UDP 协议携带的消息不应该超过 512 字节，超过的消息会被截断并设置 DNS 协议的 TC 位，UDP 协议对于区域传输功能是不可接受的，不过是互联网上标准查询的推荐协议。通过 UDP 协议发送的查询可能会丢失，所以需要重传策略解决这个问题；
  3. RFC1123 · Requirements for Internet Hosts – Application and Support Internet Standard, 1989-10
    1. 未来定义的新 DNS 记录类型可能会包含超过 512 字节的信息，所以我们应该使用 TCP 协议来传输 DNS 记录；因此解析器和命名服务需要使用 TCP 协议作为 UDP 无法满足需求时的备份；
    2. DNS 解析器和递归服务器必须支持 UDP 协议，并且应该支持使用 TCP 协议发送非区域传输的查询；也就是说，DNS 解析器或者服务器在发送非区域传输查询时，必须先发送一个 UDP 查询，如果该查询的响应被截断，它应该尝试使用 TCP 协议重新请求；
  4. RFC3596 · DNS Extensions to Support IP Version 6 Internet Standard, 2003-10
    1. 通过 DNS 扩展支持 IPv6 协议，每个 IPv6 占 16 个字节是 IPv4 的四倍；
  5. RFC5011 · Automated Updates of DNS Security (DNSSEC) Trust Anchors Independent, 2007-10
    1. 新增多种资源记录为 DNS 客户端的 DNS 数据来源进行认证，记录包含的数据往往较大；
  6. RFC6376 · DomainKeys Identified Mail (DKIM) Signatures Internet Standard, 2011-09
    1. 选择合适的键大小进行加密是需要在成本、性能和风险之间的权衡，然而大的键（4096-bit）可能没有办法直接放到 DNS UDP 响应包中直接返回；
  7. RFC6891 · Extension Mechanisms for DNS (EDNS(0)) Internet Standard, 2013-04
    1. 使用 UDP 进行传输的 DNS 查询和响应最大不能超过 512 字节，不能支持大量 IPv6 地址或者 DNS 安全签名等记录的传输；
    2. EDNS 为 DNS 提供了扩展功能，让 DNS 通过 UDP 协议携带最多 4096 字节的数据；
  8. RFC7766 · DNS Transport over TCP - Implementation Requirements Proposed Standard, 2016-03
    1. 当客户端接收到一个被阶段的 DNS 响应时，应该通过 TC 字段判断是否需要通过 TCP 协议重复发出 DNS 查询请求；
    2. DNSSEC 的引入使得截断的 UDP 数据包变得非常常见；
    3. 使用 UDP 传输 DNS 的数据包大小超过最大传输单元（MTU）时可能会导致 IP 数据包的分片，RFC1123 文档中预测的未来已经到来了，唯一一个用于增加 UDP 能够携带数据包大小的 EDNS 机制被认为不够可靠；
    4. 所有通用 DNS 实现必须要同时支持 UDP 和 TCP 传输协议，其中包括权威服务器、递归服务器以及桩解析器；
    5. 桩解析器和递归解析器可以根据情况选择使用 TCP 或者 UDP 查询直接请求目标服务器，以 UDP 协议来开始发起 DNS 请求不再是强制性的，TCP 协议与 UDP 协议在 DNS 查询中可以互相替代，而不是作为重试机制；
  9. Specification for DNS over Transport Layer Security (TLS) Proposed Standard, 2016-05
    1. 在 DNS 协议中引入 TLS 来为用户提供隐私，减少对 DNS 查询的窃听和篡改，但是 TLS 协议的引入会带来一些性能方面的额外开销；
  10. RFC8484 · DNS Queries over HTTPS (DoH) Proposed Standard, 2018-10
    1. 定义了一种通过 HTTPS 发送 DNS 查询和获取 DNS 响应的协议；

我们可以简单总结一下 DNS 的发展史，1987 年的 RFC1034 和 RFC1035 定义了最初版本的 DNS 协议，刚被设计出来的 DNS 就会同时使用 UDP 和 TCP 协议，对于绝大多数的 DNS 查询来说都会使用 UDP 数据报进行传输，TCP 协议只会在区域传输的场景中使用，其中 UDP 数据包只会传输最大 512 字节的数据，多余的会被截断；两年后发布的 RFC1123 预测了 DNS 记录中存储的数据会越来越多，同时也第一次显式的指出了发现 UDP 包被截断时应该通过 TCP 协议重试。

dns-over-x

过了将近 20 年的时间，由于互联网的发展，人们发现 IPv4 已经不够分配了，所以引入了更长的 IPv6，DNS 也在 2003 年发布的 RFC3596 中进行了协议上的支持；随后发布的 RFC5011 和 RFC6376 增加了在鉴权和安全方面的支持，但是也带来了巨大的 DNS 记录，UDP 数据包被截断变得非常常见。

RFC6891 提供的 DNS 扩展机制能够帮助我们在一定程度上解决大数据包被截断的问题，减少了使用 TCP 协议进行重试的需要，但是由于最大传输单元的限制，这并不能解决所有问题。

DNS 出现之后的 30 多年，RFC7766 才终于提出了使用 TCP 协议作为主要协议来解决 UDP 无法解决的问题，TCP 协议也不再只是一种重试时使用的机制，随后出现的 DNS over TLS 和 DNS over HTTP 也都是对 DNS 协议的一种补充。

从这段发展时来看，DNS 并不只是使用 UDP 数据包进行通信，在 DNS 的标准中就一直能看到 TCP 协议的身影，我们在今天也是想要站在历史的角度上分析 ——『为什么 DNS 查询选择使用 UDP/TCP 协议』。

设计

在这一节中，我们将根据 DNS 使用协议的不同，分两个部分介绍 UDP 和 TCP 两种不同的协议在支持 DNS 查询和响应时有哪些优点和缺点，在分析的过程中我们也会结合历史上的上下文，还原做出设计决策时的场景。

UDP

UDP 协议在过去的几十年中其实都是 DNS 主要使用的协议，作为互联网的标准，目前的绝大多数 DNS 请求和响应都会使用 UDP 协议进行数据的传输，我们通过抓包工具就能轻松获得以 UDP 协议为载体的 DNS 请求和响应。

DNS 请求的数据都会以二进制的形式封装成如下的所示的 UDP 数据包中，下面就是一个调用 DNS 服务器获取 www.baidu.com 域名 IP 地址的请求，从第四行的 05 字节开始到最后就是 DNS 请求的内容，整个数据包中除了 DNS 协议相关的内容之外，还包含以太网、IP 和 UDP 的协议头：

0000   b0 6e bf 6a 4c 40 38 f9 d3 ce 10 a6 08 00 45 00   .n.jL@8.......E.0010   00 3b 97 ae 00 00 40 11 0b 0a c0 a8 32 6d 72 72   .;....@.....2mrr0020   72 72 f3 27 00 35 00 27 6b ee 0c 5a 01 00 00 01   rr.'.5.'k..Z....0030   00 00 00 00 00 00 03 77 77 77→05 62 61 69 64 75   .......www.baidu0040   03 63 6f 6d 00 00 01 00 01                        .com.....

虽然每一个 UDP 数据包中都包含了很多以太网、IP、UDP 以及 DNS 协议的相关内容，但是上面的 DNS 请求大小只有 73 个字节，上述 DNS 请求的响应也只有 132 个字节，这对于今天其他的常见请求来讲都是非常小的数据包：

0000   38 f9 d3 ce 10 a6 b0 6e bf 6a 4c 40 08 00 45 00   8......n.jL@..E.0010   00 76 00 00 00 00 96 11 4c 7d 72 72 72 72 c0 a8   .v......L}rrrr..0020   32 6d 00 35 f3 27 00 62 5b c2 0c 5a 81 80 00 01   2m.5.'.b[..Z....0030   00 03 00 00 00 00 03 77 77 77 05 62 61 69 64 75   .......www.baidu0040   03 63 6f 6d 00 00 01 00 01 c0 0c 00 05 00 01 00   .com............0050   00 02 cb 00 0f 03 77 77 77 01 61 06 73 68 69 66   ......www.a.shif0060   65 6e c0 16 c0 2b 00 01 00 01 00 00 01 18 00 04   en...+..........0070   3d 87 a9 7d c0 2b 00 01 00 01 00 00 01 18 00 04   =..}.+..........0080   3d 87 a9 79                                       =..y

UDP 和 TCP 的通信机制非常不同，作为可靠的传输协议，TCP 协议需要通信的双方通过 三次握手 建立 TCP 连接后才可以通信，但是在 30 年前的 DNS 查询的场景中我们其实并不需要稳定的连接（或者以为不需要），每一次 DNS 查询都会直接向命名服务器发送 UDP 数据报，与此同时常见 DNS 查询的数据包都非常小，TCP 建立连接会带来以下的额外开销：

  • TCP 建立连接需要进行三次网络通信；
  • TCP 建立连接需要传输 ~130 字节的数据；
  • TCP 销毁连接需要进行四次网络通信；
  • TCP 销毁连接需要传输 ~160 字节的数据；

假设网络通信所消耗的时间是可以忽略的不计的，如果我们只考虑 TCP 建立连接时传输的数据的话，可以简单来算一笔账：

tcp-and-udp-packet-size

  • 使用 TCP 协议（共 330 字节）
    • 三次握手 — 14x3(Ethernet) + 20x3(IP) + 44 + 44 + 32(TCP) 字节
    • 查询协议头 — 14(Ethernet) + 20(IP) + 20(TCP) 字节
    • 响应协议头 — 14(Ethernet) + 20(IP) + 20(TCP) 字节
  • 使用 UDP 协议（共 84 字节）
    • 查询协议头 — 14(Ethernet) + 20(IP) + 8(UDP) 字节
    • 响应协议头 — 14(Ethernet) + 20(IP) + 8(UDP) 字节

注1：TCP 首部的开销与具体的请求和环境有关，具体结果可能有小幅波动，其大小约为 120 字节。

注2：我们在这里计算结果的前提是 DNS 解析器只需要与一个命名服务器或者权威服务器进行通信就可以获得 DNS 响应，但是在实际场景中，DNS 解析器可能会递归地与多个命名服务器进行通信，这也加倍地放大了 TCP 协议在额外开销上的劣势。

如果 DNS 查询的请求体和响应分别是 15 和 70 字节，那么 TCP 相比于 UDP 协议会增加 ~250 字节和 ~145% 的额外开销，所以当请求体和响应的大小比较小时，通过 TCP 协议进行传输不仅需要传输更多的数据，还会消耗更多的资源，多次通信以及信息传输带来的时间成本在 DNS 查询较小时是无法被忽视的，TCP 连接带来的可靠性在 DNS 的场景中没能发挥太大的作用。

TCP

今天的网络状况其实没有几十年前设计的那么简单，我们不仅遇到了 IPv4 即将无法分配的状况，而且还需要引入 DNSSEC 等机制来保证 DNS 查询和请求的完整性以及传输安全，总而言之，DNS 协议需要处理的数据包越来越大、数据也越来越多，但是『为什么当需要传输的数据较多时我们就必须使用 TCP 协议呢？』，如果继续使用 UDP 协议就不能完成 DNS 解析么。

从理论上来说，一个 UDP 数据包的大小最多可以达到 64KB，这对于一个常见的 DNS 查询其实是一个非常大的数值；但是在实际生产中，一旦数据包中的数据超过了传送链路的最大传输单元（MTU，也就是单个数据包大小的上限，一般为 1500 字节），当前数据包就可能会被分片传输、丢弃，部分的网络设备甚至会直接拒绝处理包含 EDNS(0) 选项的请求，这就会导致使用 UDP 协议的 DNS 不稳定。

TCP 作为可靠的传输协议，可以非常好的解决这个问题，通过序列号、重传等机制能够保证消息的不重不漏，消息接受方的 TCP 栈会对分片的数据重新进行拼装，DNS 等应用层协议可以直接使用处理好的完整数据。同时，当数据包足够大的时候，TCP 三次握手带来的额外开销比例就会越来越小，与整个包的大小相比就会趋近于 0：

  • 当 DNS 数据包大小为 500 字节时，TCP 协议的额外开销为 ~41.2%；
  • 当 DNS 数据包大小为 1100 字节时，TCP 协议的额外开销为 ~20.7%；
  • 当 DNS 数据包大小为 2300 字节时，TCP 协议的额外开销为 ~10.3%；
  • 当 DNS 数据包大小为 4800 字节时，TCP 协议的额外开销为 ~5.0%；

tcp-udp-cost

所以，我们在 DNS 中存储较多的内容时，TCP 三次握手以及协议头带来的额外开销就不是关键因素了，不过我们 TCP 三次握手带来的三次网络传输耗时还是没有办法避免的，这也是我们在目前的场景下不得不接受的问题。

总结

很多人认为 DNS 使用了 UDP 协议来获取域名对应的 IP 地址，这个观点虽然没错，但是还是有一些片面，更加准确的说法其实是 DNS 查询在刚设计时主要使用 UDP 协议进行通信，而 TCP 协议也是在 DNS 的演进和发展中被加入到规范的：

  1. DNS 在设计之初就在区域传输中引入了 TCP 协议，在查询中使用 UDP 协议；
  2. 当 DNS 超过了 512 字节的限制，我们第一次在 DNS 协议中明确了『当 DNS 查询被截断时，应该使用 TCP 协议进行重试』这一规范；
  3. 随后引入的 EDNS 机制允许我们使用 UDP 最多传输 4096 字节的数据，但是由于 MTU 的限制导致的数据分片以及丢失，使得这一特性不够可靠；
  4. 在最近的几年，我们重新规定了 DNS 应该同时支持 UDP 和 TCP 协议，TCP 协议也不再只是重试时的选择；

这篇文章已经详细介绍了 DNS 的历史以及选择不同协议时考虑的关键点，在这里我们重新回顾一下 DNS 查询选择 UDP 或者 TCP 两种不同协议时的主要原因：

  • UDP 协议
    • DNS 查询的数据包较小、机制简单；
    • UDP 协议的额外开销小、有着更好的性能表现；
  • TCP 协议
    • DNS 查询由于 DNSSEC 和 IPv6 的引入迅速膨胀，导致 DNS 响应经常超过 MTU 造成数据的分片和丢失，我们需要依靠更加可靠的 TCP 协议完成数据的传输；
    • 随着 DNS 查询中包含的数据不断增加，TCP 协议头以及三次握手带来的额外开销比例逐渐降低，不再是占据总传输数据大小的主要部分；

无论是选择 UDP 还是 TCP，最核心的矛盾就在于需要传输的数据包大小，如果数据包小到一定程度，UDP 协议绝对最佳的选择，但是当数据包逐渐增大直到突破 512 字节以及 MTU 1500 字节的限制时，我们也只能选择使用更可靠的 TCP 协议来传输 DNS 查询和相应。到最后，我们还是来看一些比较开放的相关问题，有兴趣的读者可以仔细思考一下下面的问题：

  • 如何对使用 TCP 协议的 DNS 进行一些优化，减少一些额外开销？
  • 我们现在已经可以使用 UDP/TCP/TLS/HTTPS 四种方式传输 DNS 数据，这些方式有什么异同？是否还可以通过其他的协议实现 DNS 查询？

如果对文章中的内容有疑问或者想要了解更多软件工程上一些设计决策背后的原因，可以在博客下面留言，作者会及时回复本文相关的疑问并选择其中合适的主题作为后续的内容。

Reference

{% include related/whys-the-design.md %}

wechat-account-qrcode

转载申请

知识共享许可协议
本作品采用知识共享署名 4.0 国际许可协议进行许可，转载时请注明原文链接，图片在使用时请保留全部内容，可适当缩放并在引用处附上图片所在的文章链接。

文章图片

你可以在 技术文章配图指南 中找到画图的方法和素材。