第 17 章 做复杂决策 (Making Complex Decisions)

      +
      本章主旨

      本章是 AIMA 4e 的"做复杂决策"——MDP / 价值迭代 / 策略迭代。理解后才能掌握 AI 各子领域。

      一、核心概念

      本章围绕 3 个核心概念展开:

      概念 定义 + 重要性 实现提示

      MDP

      状态 / 动作 / 转移 / 奖励

      §17.1

      价值迭代 / 策略迭代

      Bellman 方程

      §17.2-17.3

      部分可观察 MDP (POMDP)

      信念状态

      §17.4-17.5

      二、本章要点

      • *

      • 未来。平稳性是一个看起来相当无害的假设,但加性折扣是唯一满足它的历史效用性质的

      • 为± Rmax,使用无穷几何级数求和标准公式,我们有

      学习建议
      • AIMA 4e 是 AI 标准教材——每章配套习题巩固理解。

      • 实现关键算法(搜索 / CSP / 逻辑 / 概率 / 学习)才能真正掌握。

      • 与机器学习 / 深度学习课程结合;现代 LLM / Diffusion 改变 AI 格局。

      三、关键图表

      视觉图表

      图 {ch_num}-1
      Figure 1. 图 {ch_num}-1:{zh}总览

      四、思维导图

      mindmap
        root((第 {ch_num} 章 {zh}))
          MDP
          价值迭代 / 策
          部分可观察 MD

      五、重点与易错点

      • MDP / 价值迭代 / 策略迭代。

      • 配套习题:原书第 {ch_num} 章末尾。

      • 实现建议:用 Python / AIMA 代码库 (aima.cs.berkeley.edu) 实践关键算法。

      • 跨章衔接:第 16 章上下文;AI 各子领域互为基础。