Mathematical Foundations of Reinforcement Learning

全书逻辑严密，将内容科学地划分为“基础工具”与“核心算法”两大模块，从最基本的马尔可夫决策过程（MDP）出发，系统地推导出 Bellman 方程及其最优性原理，并在此基础上深入讲解了从价值迭代、蒙特卡洛方法、时序差分学习到策略梯度以及 Actor-Critic 等经典与现代算法。该书的一大特色是摒弃了单纯的算法罗列，转而强调算法背后的数学动机与收敛性分析，帮助读者理解“算法为何如此设计”以及“其有效性的数学依据” 。为了降低学习门槛，作者巧妙地运用“网格世界”作为贯穿始终的教学案例，将抽象的公式转化为直观的路径规划问题，并辅以大量的 Q&A 环节来解决初学者的典型困惑 。总的来说，这是一本兼具学术深度与教学友好度的进阶指南，非常适合具备线性代数和概率论基础、希望在强化学习领域构建深厚理论功底的研究者或学生参考学习 。