.NET Core 使用 TCP Fast Open (Linux & Windows)

TFO 已经不是个新技术了,哪怕是计算机网络方面最守旧的 Windows 如今也支持了 TFO(虽然只支持客户端,而且疑似不符合规范并且很多 bug)。最近正好做项目时用到了 TFO,因此总结一下 .NET Core 使用 TFO 的方法。

服务端

目前只有 Linux 对 TFO 服务端支持较好,因此我们暂时也只用考虑 Linux。
服务端对应用程序而言支持起来也是最简单的,只需要调用一次setsockopt就可以启用。
可以写一个扩展方法

const int TCP_FASTOPEN_LINUX = 23;

[DllImport("libc.so.6", SetLastError = true)]
static extern unsafe int setsockopt(int sockfd, int level, int optname, void* optval, int optlen);

public static unsafe void EnableLinuxFastOpenServer(this Socket socket)
{
    int qlen = 5;
    int result = setsockopt(
        (int)socket.Handle,
        6 /* SOL_TCP */,
        TCP_FASTOPEN_LINUX,
        &qlen, sizeof(int));
    if (result == -1)
    {
        throw new SocketException(Marshal.GetLastWin32Error());
    }
}

对 Socket 调用即可,以 TcpListener 为例

var listener = new TcpListener(endpoint);
listener.Server.EnableLinuxFastOpenServer();
listener.Start();

调用前需要检查 /proc/sys/net/ipv4/tcp_fastopen 的值是否包含 0x2 这个flag。如果不包含则会抛异常。

客户端

Windows

Windows 的 TCP Fast Open 客户端实现是设置 Socket option 之后,调用 Windows Server 2003 / Windows Vista 加入的 ConnectEx,在 lpSendBuffer 中送入初始 buffer。

.NET 并没有任何文档说明如何调用 ConnectEx,不过阅读 CoreFX.NET Framework Reference Source 可以发现, Socket.ConnectAsync(SocketAsyncEventArgs)使用了 ConnectEx,并且将传入的SocketAsyncEventArgs的buffer传递给了ConnectEx。
这样一来我们可以编写一个简单的async扩展方法,实现 Windows 上的 TFO。

const int TCP_FASTOPEN_WINDOWS = 15;

public static void EnableWindowsFastOpenClient(this Socket socket)
{
    socket.SetSocketOption(
        SocketOptionLevel.Tcp,
        (SocketOptionName)TCP_FASTOPEN_WINDOWS,
        1);
}

public static Task ConnectAsync(this Socket socket, EndPoint remoteEndPoint, ArraySegment initialData)
{
    var tcs = new TaskCompletionSource<object>();
    var eventArgs = new SocketAsyncEventArgs();

    eventArgs.Completed += (s, e) =>
    {
        if (e.SocketError == SocketError.Success)
        {
            tcs.TrySetResult(null);
        }
        else
        {
            tcs.TrySetException(new SocketException((int)e.SocketError));
        }
    };

    eventArgs.RemoteEndPoint = remoteEndPoint;
    eventArgs.UserToken = tcs;
    eventArgs.SetBuffer(initialData.Array, initialData.Offset, initialData.Count);

    if (socket.ConnectAsync(eventArgs))
    {
        return tcs.Task;
    }
    else
    {
        return Task.CompletedTask;
    }
}

先对Socket调用EnableWindowsFastOpenClient,再调用ConnectAsync即可。如果使用的是低版本的Windows,或用户关闭了 TFO,则EnableWindowsFastOpenClient会抛出异常。

Linux

Linux 有两种 TFO API,一种是使用 sendto+MSG_FASTOPEN 建立连接,支持 3.7+的内核;另一种是使用 TCP_FASTOPEN_CONNECT,支持 4.11+的内核。

.NET 的 Socket 在 Linux 上是一层比较厚的封装,因为参数都是原封不动地从 Winsock 复制站贴,在 Linux 上需要进行转换,自然也不支持调用 sendto 传入 MSG_FASTOPEN;而直接把 fd 拿出来调用原生 sendto 也很麻烦,会破坏一些 managed Socket 的状态,比如私有的 _connected 等,为后续使用带来麻烦。类似的问题还有 macOS 的 TFO,需要使用 connectx() 建立连接,只能等 .NET Core 支持。

相比之下 TCP_FASTOPEN_CONNECT 则是对 Socket 调用者而言完全透明的,它的原理是调用 connect() 时不立刻发送 SYN,而是在第一次调用 send 时发送 SYN (TFO=C) 和 data,此时才真正建立连接。

因此需要做的事情跟 Server 端一样,使用以下扩展方法完成

const int TCP_FASTOPEN_CONNECT = 30;

public static unsafe void EnableLinuxFastOpenConnect(this Socket socket)
{
    int val = 1;
    int result = setsockopt(
        (int)socket.Handle,
        6 /*SOL_TCP*/,
        TCP_FASTOPEN_CONNECT,
        &val, sizeof(int));
    if (result == -1)
    {
        throw new SocketException(Marshal.GetLastWin32Error());
    }
}

使用EnableLinuxFastOpenConnect()之后照常使用 Socket API 即可。需要注意的是 Connect 之后一定要保证调用 SendAsync 至少一次,否则连接不会真正建立,此时调用 ReceiveAsync 是不会返回的。

调用 EnableLinuxFastOpenConnect() 之前需要检查 /proc/sys/net/ipv4/tcp_fastopen 的值是否包含 0x1 flag;除此之外还需要检查内核版本是否符合要求(>4.11),可以通过Environment.OSVersion.Version > new Version(4, 11, 0, 0) 判断。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注