# 马尔可夫决策过程（MDP）

从马尔可夫链出发，系统梳理 MDP 的形式化定义（马尔可夫性、时齐性），并延伸到 TMDP 与 POMDP 的现实意义与转化技巧，为后续 Value Function 与 Bellman 方程打基础。面向统计/机器学习初学者的推导型笔记