Reinforcement Learning Enhanced TCP Window and Congestion Control Protocols笔记

原论文链接

文章结构概览

• • 摘要

    • 1. 引言

    • 2. 研究背景

    • 3. 核心理念与系统概览

    • 4. 基于强化学习的IW配置方法

    • • • 在线强化学习算法

    • 用户分组算法

    • 5. 基于强化学习的CC配置方法

    • • 整体概述
      • A3C方法的背景知识
      • A3C的离线训练过程
      • A3C的在线运行方式

    • 6. 设计与实现

    • 个人观点

Abstract

尽管经历了多年的优化，TCP的性能表现仍存在明显不足。在以短流为主要特征的服务场景（如网页搜索、在线购物）中，TCP面临着流启动效率低下的问题，难以有效发挥现代网络环境中的带宽潜力：其初始窗口(IW)通常设定为保守的静态值（2-4或10），而大多数网页流量由于持续时间较短，在会话结束前无法达到最优的传输速率。而对于以长流为主的服务类型（如视频传输、文件下载），传统的人工设定和静态配置的拥塞控制(CC)策略可能无法适应当前不断变化的网络环境，从而影响整体性能。为应对上述两个挑战，我们设计了一种名为TCP-RL的新协议，该方案借助**