基于马尔可夫决策过程的运动规划-学习记录
0.前言
????????时间紧迫,来不及再敲一遍,直接上图,字写的比较丑…希望不会影响理解内容,中间可能会有一些记录不够清楚的地方,请留言讨论.
1.规划中的不确定性(Uncertainites in Planning)
2.不确定性下的规划(Planning with Uncertainites)
????????2.1?Decision Makers(Game Player)
????????2.2?Game的两种分类
????????2.3?两种不同的解法: Worst-Case-Analysis, Expected-Case-Analysis
????????2.4?在多步情况下的正式定义
3.马尔可夫决策过程(Markov Decision Process)
????????3.1?MDP介绍
????????3.2?MDP做规划的相关定义
4.极大/极小代价函数的规划(Minimax Cost Planning)
????????4.1?相关描述
????????4.2?递归关系寻找过程
????????4.3?算法1:Nondeterministic Dijkstra
????????思考问题可以参考CMU的机器人决策规划课程的课件：Planning under Uncertainty: Minimax Formulation.
????????4.4?算法优缺点
5.期望价函数的规划(Expected Cost Planning)
????????5.1?相关描述
????????5.2?递归关系寻找过程
????????5.3?算法2: Value Iteration
????????5.4?算法优缺点
6.实时动态规划(Real Time Dynamic Programming)
7.参考引用
?????????1.深蓝学院<<移动机器人运动规划>>;
?????????2.CMU课程《Planning & Decision-making in Robotics》部分课件：Planning under Uncertainty: Minimax Formulation.