时序差分（Temporal Difference, TD）方法与贝尔曼方程是强化学习中理论与算法的核心结合。贝尔曼方程提供了值函数的递归数学定义，而 TD 方法则是通过采样数据来逼近这一方程的解。两者的关系可以从以下四个层面理解： （1） 贝尔曼方程：理论基石 贝尔曼方程 ...