深入理解SPDK NVMe/TCP transport的设计

NVMe/TCP transport的设计"/>

深入理解SPDK NVMe/TCP transport的设计

一. 简介

NVMe/TCP transport是NVM express这个标准组织为NVMe over Fabrics(NVMe-oF) 制定的一个基于TCP的新的传输层。这个Technical proposal (TP 8000)自去年11月份发布以来，相应的代码在内核态(Linux kernel)和用户态(SPDK库)中均有了支持。

二. SPDK NVMe/TCP

代码解析

总的来讲，SPDK NVMe/TCP transport的整个设计遵循了SPDK无锁，轮询，异步I/O的理念，如Table1所示。根据TP8000 specification中的定义，每个TCP连接(TCP connection)对应于一个NVMe的qpair。在SPDK的实现中,我们依然采用group polling的方法来管理所有的TCP连接。每一个SPDK thread上运行一个TCP相关的polling group，每一个TCP连接只会被加入一个TCP polling group中，由这个polling group处理后续的所有事件，那么这个TCP连接将会被唯一的CPU core处理，这样就不会存在CPU的竞争情况：不同CPU竞争处理同一个TCP connection。这样的设计在很大的层面上避免了CPU资源的竞争。另外目前存在很多用户态的TCP协议栈，为此SPDK封装了一些socket API相关的操作。目前,NVMe/TCP的实现代码直接使用SPDK封装的API进行socket的操作,如此一来，我们可以接入不同种类的Socket API实现，诸如VPP，mTCP，fstack，seastar等。只要能够实现SPDK socket API所定义的抽象函数，就可以整合到SPDK的sock库中。