首页 > 编程入门 文章详情

在应用内维护域名缓存时遇到的问题

编程入门 行业动态 更新时间:2024-10-28 18:25:53

在应用内维护域名<a href=https://www.elefans.com/category/jswz/34/1771061.html style=缓存时遇到的问题"/>

在应用内维护域名缓存时遇到的问题

近期参与的项目中，依赖DNS服务器来解析外部的业务集群，遇到了一连串的问题。
远端的业务集群基于HTTP/HTTPS协议，提供业务服务，集群中包含了多个业务节点，当前方案中在DNS服务器上配置域名，指向业务集群中的多个业务节点。
DNS服务器由客户提供。
产品的特性代码中使用libcurl来访问业务集群提供的HTTP/HTTPS的服务。
在本地开发、验证过程中，上述组网方式没有什么问题，一切都很美好。
结果进入大规模测试阶段时，暴露了一个严重的问题：由于产品的并发度比较高，特性开启后，在短时间内会触发大量的业务请求。这导致如下后果：

  1. libcurl代码发起了大量的域名解析请求，DNS服务器的并发能力不足，只能选择性回复部分报文。
  2. 大量请求由于建立链接时因域名解析失败而失败。
  3. 由于产品内建了重试逻辑，于是引发了更多的请求。
  4. 于是DNS不堪重负，拒绝了更多的域名解析请求。
  5. 结果其它依赖DNS解析域名的业务，同样受到了波及。

测试团队反馈了上述问题之后，开发团队做如下几件事情：

  1. 在现有的重试逻辑中，增加了休眠时间，使用指数退减的方式，逐次增加重试之间的间隔时间，避免大量请求扎堆。经过实测，本策略缓解了问题，但并没有解决问题。
  2. 修改libcurl的使用方法，启用了DNS缓存特性，并增大了缓存的失效时间。经过实测，本策略的效果不明确。
  3. 修改产品的业务代码，降低并发度。本策略实施后有明显的效果，失败的请求次数明显下降，考虑到产品的代码中，存在多个特性使用libcurl访问远端集群的服务，本问题依然存在。

上述策略都是小打小闹，并没有从根本上解决问题。
开发团队内部组织讨论，重新讨论，得出如下结论：

  • 降低并发度不可行。
    一方面可能导致当前特性的性能规格不达标。另外前期多个特性均在使用libcurl，各个业务都按照相同的策略去降低并发度，修改、验证的工作量巨大，管理团队无法接受，开发、测试团队同样觉得疲惫，难以为继。
  • DNS服务器的并发能力不可预期。
    交付场景下，DNS服务器由客户提供，其并发能力不可预期，短时间内也不可能提升性能，假如由于本产品的原因占满了客户DNS服务器的处理能力，可能会阻塞客户的其它业务，因此仍然需要直面问题。

开发团队经过讨论，有如下决策：

  • 收编现有业务代码中libcurl的使用，对各特性提供统一的HTTP协议客户端。
  • 在上述客户端的代码中增加域名解析结果的缓存。

这个方案工作量不大，很快通过了测试团队组织的功能验证、性能验证。
本来觉得未来一片光明，但测试团队在执行故障注入的用例时，发现了新的问题，域名解析操作执行时间过久，单次调用居然要20+秒才能返回。

这个新问题和前述方案中域名解析的实现相关，换句话说，这是域名解析的C函数的坑。
目前已知的用于完成域名解析的C函数，如下：

  • gethostbyname线程不安全，排除。
  • gethostbyname_r是gethostbyname的线程安全版本，当前在用。

从实际测试的结果来看，发现gethostbyname_r存在一个严重的问题，函数的参数中不能指定超时值，导致耗时不可控。
查阅了大量资料之后，发现耗时的问题其实和DNS域名解析的过程相关，不能怪设计API的前辈不用心。
虽然不能在调用gethostbyname_r时传入超时值，但无意中发现了/etc/resolv.conf。通过修改options attempts:5 timeout:6中的attempts和timeout，发现在一定程度上可以缓解在DNS故障场景下调用gethostbyname_r函数耗时过长的现象。

经过一系列折腾，目前的解决方案虽不完美，但至少获得了产品团队的认可，因此优化工作暂告一段落。

如下是处理前述问题过程中，使用到的配置文件或者工具。

/etc/resolv.conf文件的内容样例，如下：

$ cat /etc/resolv.conf
# Dynamic resolv.conf(5) file for glibc resolver(3) generated by resolvconf(8)
#     DO NOT EDIT THIS FILE BY HAND -- YOUR CHANGES WILL BE OVERWRITTEN
# 127.0.0.53 is the systemd-resolved stub resolver.
# run "systemd-resolve --status" to see details about the actual nameservers.nameserver 127.0.0.53
search DHCP HOST
options attempts:5 timeout:6

/etc/hosts文件的样例，如下：

$ cat /etc/hosts
127.0.0.1	localhost
127.0.1.1	jackie-ubuntu# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

dig命令的执行输出，样例如下：

$ dig www.baidu; <<>> DiG 9.16.1-Ubuntu <<>> www.baidu
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 56073
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;www.baidu.			IN	A;; ANSWER SECTION:
www.baidu.		1105	IN	CNAME	www.a.shifen.
www.a.shifen.	29	IN	A	36.152.44.96
www.a.shifen.	29	IN	A	36.152.44.95;; Query time: 4 msec
;; SERVER: 127.0.0.53#53(127.0.0.53)
;; WHEN: 日 11月 12 11:15:58 CST 2023
;; MSG SIZE  rcvd: 101

dig的+trace的选项，执行输出，样例如下：

$ dig +trace www.baidu; <<>> DiG 9.16.1-Ubuntu <<>> +trace www.baidu
;; global options: +cmd
.			2687	IN	NS	f.root-servers.
.			2687	IN	NS	m.root-servers.
.			2687	IN	NS	e.root-servers.
.			2687	IN	NS	l.root-servers.
.			2687	IN	NS	c.root-servers.
.			2687	IN	NS	h.root-servers.
.			2687	IN	NS	j.root-servers.
.			2687	IN	NS	a.root-servers.
.			2687	IN	NS	k.root-servers.
.			2687	IN	NS	g.root-servers.
.			2687	IN	NS	i.root-servers.
.			2687	IN	NS	d.root-servers.
.			2687	IN	NS	b.root-servers.
;; Received 262 bytes from 127.0.0.53#53(127.0.0.53) in 12 mscom.			172800	IN	NS	a.gtld-servers.
com.			172800	IN	NS	b.gtld-servers.
com.			172800	IN	NS	c.gtld-servers.
com.			172800	IN	NS	d.gtld-servers.
com.			172800	IN	NS	e.gtld-servers.
com.			172800	IN	NS	f.gtld-servers.
com.			172800	IN	NS	g.gtld-servers.
com.			172800	IN	NS	h.gtld-servers.
com.			172800	IN	NS	i.gtld-servers.
com.			172800	IN	NS	j.gtld-servers.
com.			172800	IN	NS	k.gtld-servers.
com.			172800	IN	NS	l.gtld-servers.
com.			172800	IN	NS	m.gtld-servers.
com.			86400	IN	DS	30909 8 2 E2D3C916F6DEEAC73294E8268FB5885044A833FC5459588F4A9184CF C41A5766
com.			86400	IN	RRSIG	DS 8 1 86400 20231124170000 20231111160000 46780 . rTOgKkj9DMvMzyk+rKDz7dsie4Xx1jwuBlZdH9ntLEikavNoZMRN7SxE iweiVanZo1q9hhrSxAn8O1ScKkRwwHTSCiSvQnZ8bzy4ToM3I832VIiR Oir+C+K7GtufMaxNCOmD14s7Zg24qLf9CmQT+id3eIBMP4Sjuq4MSIsu tgSXJS6EI1OumSojANeO9mq1khc5cxLaeOqJfRb10Vvujl73jZpaXxE9 J4/GehjpG6YR04/37geOwOSaVwx6c3PndgT0L33O/maN/Tjng2UUhHtW lOh8gIVxFYRipqdDZ1XJQK+x5o4o8Oh3YN3Vd1I5rrKJhEfwecej7nyI fe5BKA==
;; Received 1173 bytes from 199.7.83.42#53(l.root-servers) in 20 msbaidu.		172800	IN	NS	ns2.baidu.
baidu.		172800	IN	NS	ns3.baidu.
baidu.		172800	IN	NS	ns4.baidu.
baidu.		172800	IN	NS	ns1.baidu.
baidu.		172800	IN	NS	ns7.baidu.
CK0POJMG874LJREF7EFN8430QVIT8BSM. 86400 IN NSEC3 1 1 0 - CK0Q2D6NI4I7EQH8NA30NS61O48UL8G5 NS SOA RRSIG DNSKEY NSEC3PARAM
CK0POJMG874LJREF7EFN8430QVIT8BSM. 86400 IN RRSIG NSEC3 8 2 86400 20231118052525 20231111041525 63246 com. HHilTlIgM2bBSkNCrfIYydeweb7FpcSd/HCPjoMq9cDoI45LnU1trxYf GtncYfSgPxd01lt7BuBdTBRjFX2kHEWQNAjqKR+wj9ohk9mqvk3naenD eWVPwSEZjYdV+LPjL7rXvMWq6GRZXFG2OC0oR37mS4PCPT/pWYTARo7m 66PiR/ixIP8UPkUbxjZTHFuDsR+lywg8Od0OsTopTj5+rw==
HPVV1UNKTCF9TD77I2AUR73709T975GH. 86400 IN NSEC3 1 1 0 - HPVVAN8CFKHHHMEIDVJHFNQEOI5G6C89 NS DS RRSIG
HPVV1UNKTCF9TD77I2AUR73709T975GH. 86400 IN RRSIG NSEC3 8 2 86400 20231115212015 20231108201015 63246 com. jtcfLKFI33jWF+yVS/iT/x73j+JM7gult+JQD6xHY0yl4ZWp2ktqwCrA wk8ybADERvnpDU/u9LKgBVGkT7rIDnheKGcXzKe5Lgjilu9aHWjIiyny J/kwYkBe+XCqXofFrkq5QS/El4Esu4Hp7FCUAm5lRMNlGL8H9QrdqESl G4NIUZFsyhqj3Ulz0/u1QjPRm13QmKOuUh/DvWhj63Ru5g==
;; Received 849 bytes from 192.48.79.30#53(j.gtld-servers) in 284 mswww.baidu.		1200	IN	CNAME	www.a.shifen.
;; Received 100 bytes from 36.155.132.78#53(ns3.baidu) in 8 ms

nslookup命令的执行输出，样例如下：

$ nslookup www.baidu
Server:		127.0.0.53
Address:	127.0.0.53#53Non-authoritative answer:
www.baidu	canonical name = www.a.shifen.
Name:	www.a.shifen
Address: 36.152.44.96
Name:	www.a.shifen
Address: 36.152.44.95
Name:	www.a.shifen
Address: 2409:8c20:6:1d55:0:ff:b09c:7d77
Name:	www.a.shifen
Address: 2409:8c20:6:1135:0:ff:b027:210c

相关资料

  • resolv.conf(5)
  • Linux DNS 解析与配置 nslookup使用 与 /etc/resolv.conf文件的配置
  • 浅析resolv.conf常用参数
  • Linux /etc/resolv.conf文件解析
  • REHL7/CentOS7 中/etc/resolv.conf 详解
  • 用resolvconf配置DNS服务器
  • dns配置文件/etc/resolv.conf中search和options ndots详解
  • Linux /etc/resolv.conf文件说明
  • 域名解析——gethostbyname()函数及socket客户端域名解析
  • gethostbyname()函数详解
  • gethostbyname()、getaddrinfo()函数基本情况
  • 关于gethostbyname_r的参数及返回值
  • gethostbyname 和 gethostbyname_r（可重入的）得到dns信息
  • 【UNP笔记】第十一章 名字地址转换
  • gethostbyname_r的注意事项
  • C++ gethostbyname_r函数代码示例
  • 如何在linux中使用gethostbyname_r
  • DIG域名解析查询工具
  • 掌握 DNS 查询技巧，dig 命令基本用法
  • DNS篇之dig使用详解
  • linux 【网络】dig查询DNS详解

更多推荐

在应用内维护域名缓存时遇到的问题

本文发布于:2023-11-15 05:34:15，感谢您对本站的认可！
本文链接:https://www.elefans.com/category/jswz/34/1594548.html
版权声明:本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。
本文标签：缓存   域名

发布评论

评论列表 （有 0 条评论）

最近发表

草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍！

热门文章

标签列表