欢迎来到机器学习工程师纳米学位的第四个项目！在这个notebook文件中，模板代码已经提供给你，有助于你对智能出租车的分析和实现学习算法。你无须改动已包含的代码，除非另有要求。 你需要回答notebook文件中给出的与项目或可视化相关的问题。每一个你要回答的问题前都会冠以'问题 X'。仔细阅读每个问题，并在后面'回答'文本框内给出完整的回答。你提交的项目会根据你对于每个问题的回答以及提交的agent.py的实现来进行评分。
提示： Code 和 Markdown 单元格可通过 Shift + Enter 快捷键来执行。此外，Markdown可以通过双击进入编辑模式。
在这个项目中，你将构建一个优化的Q-Learning驾驶代理程序，它会操纵智能出租车 通过它的周边环境到达目的地。因为人们期望智能出租车要将乘客从一个地方载到另一个地方，驾驶代理程序会以两个非常重要的指标来评价：安全性和可靠性。驾驶代理程序在红灯亮时仍然让智能出租车行驶往目的地或者勉强避开事故会被认为是不安全的。类似的，驾驶代理程序频繁地不能适时地到达目的地会被认为不可靠。最大化驾驶代理程序的安全性和可靠性保证了智能出租车会在交通行业获得长期的地位。
安全性和可靠性用字母等级来评估，如下：
| 等级 | 安全性 | 可靠性 |
|---|---|---|
| A+ | 代理程序没有任何妨害交通的行为， 并且总是能选择正确的行动。 |
代理程序在合理时间内到达目的地的次数 占行驶次数的100%。 |
| A | 代理程序有很少的轻微妨害交通的行为， 如绿灯时未能移动。 |
代理程序在合理时间内到达目的地的次数 占行驶次数的90%。 |
| B | 代理程序频繁地有轻微妨害交通行为， 如绿灯时未能移动。 |
代理程序在合理时间内到达目的地的次数 占行驶次数的80%。 |
| C | 代理程序有至少一次重大的妨害交通行为， 如闯红灯。 |
代理程序在合理时间内到达目的地的次数 占行驶次数的70%。 |
| D | 代理程序造成了至少一次轻微事故， 如绿灯时在对面有车辆情况下左转。 |
代理程序在合理时间内到达目的地的次数 占行驶次数的60%。 |
| F | 代理程序造成了至少一次重大事故， 如有交叉车流时闯红灯。 |
代理程序在合理时间内到达目的地的次数 未能达到行驶次数的60%。 |
为了协助评估这些重要的指标，你会需要加载可视化模块的代码，会在之后的项目中用到。运行下面的代码格来导入这个代码，你的分析中会需要它。
In [1]:
# Import the visualization code
import visuals as vs
# Pretty display for notebooks
%matplotlib inline
回答：
回答：
要从最初的模拟程序获得结果，你需要调整下面的标志：
'enforce_deadline' - 将此标志设定为True来强制驾驶代理程序捕获它是否在合理时间内到达目的地。'update_delay' - 将此标志设定为较小数值（比如0.01）来减少每次试验中每步之间的时间。'log_metrics' - 将此标志设定为True将模拟结果记录为在/logs/目录下的.csv文件。'n_test' - 将此标志设定为'10'则执行10次测试试验。可选的，你还可以通过将'display'标志设定为False来禁用可视化模拟（可以使得试验跑得更快）。调试时，设定的标志会返回到他们的默认设定。重要的是要理解每个标志以及它们如何影响到模拟。
你成功完成了最初的模拟后（有20个训练试验和10个测试试验），运行下面的代码单元格来使结果可视化。注意运行同样的模拟时，日志文件会被覆写，所以留意被载入的日志文件！在 projects/smartcab 下运行 agent.py 文件。
In [2]:
# Load the 'sim_no-learning' log file from the initial simulation results
vs.plot_trials('sim_no-learning.csv')
答案：
回答：
'waypoint'，这个是可用的特征，因为所有道路都是连通的直道，不存在朝反方向走还近一些的可能，所以，这个行驶方向朝目的地肯定是会近一些的。'inputs'，'light'，这个是可用的特征，违规闯红灯，极有可能出事故，影响安全性。'left'，这个是可用特征，因为假设小车要直走，且直行是绿灯，如果左侧车辆闯红灯直走，也是会出事故的。'right'，这个是可用特征，因为假设小车要直走，且直行是绿灯，如果右侧车辆闯红灯直走，也是会出事故的。'oncoming'，这个是可用特征，因为假设小车要直走，且直行是绿灯，如果对面车辆闯红灯左转，也是会出事故的。'deadline'，这个是不是可用特征，要求按时到达目的，deadline是很关键的信息。但是，系统的假设也只能是一个循环走一步，走不了两步，也走不了捷径，所以在这里对系统起不了太大的作用。另外一方面，如果deadline作为的一种状态输入系统，deadline的数量较大，会导致整个系统Q表的状态总数变得极其巨大，不利于学习。当定义一系列代理程序会处于的状态，必需考虑状态空间的大小。就是说，如果你期望驾驶代理程序针对每个状态都学习一个策略，你会需要对于每一个代理状态都有一个最优的动作。如果所有可能状态的数量非常大，最后会变成这样的状况，驾驶代理程序对于某些状态学不到如何行动，会导致未学习过的决策。例如，考虑用下面的特征定义智能出租车的状态的情况：
('is_raining', 'is_foggy', 'is_red_light', 'turn_left', 'no_traffic', 'previous_turn_left', 'time_of_day').
发生如(False, True, True, True, False, False, '3AM')的状态的频次如何？没有近乎无限数量的训练，很怀疑代理程序会学到一个合适的动作！
回答： state有5个，共384种。分别是waypoint有3种（waypoint在智能车运行过程中，可能有三种返回值(left, right, forward)，只有在到达目的地时，返回None），light有2种，oncoming有4种，left有4种，right有4种。 因为，强化学习的过程就是不断试错并修正行为的过程，在整个系统的状态数不大的情况下，经过合理数量的训练，最后是能够学到较好的策略。
创建一个优化Q-Learning的驾驶代理程序的第三步，是开始实现Q-Learning自身的功能。Q-Learning的概念相当直接：每个访问的状态，为所有可用的状态-行动配对在Q-table里创建一条记录。然后，当代理程序遇到一个状态并执行了一个动作，基于获得的奖励和设定的相互的更新规则，来更新关联的状态-动作配对的Q-value。当然，Q-Learning还带来其他的收益，如此我们可以让代理程序根据每个可能的状态-动作配对的Q-values，来为每个状态选择最佳动作。在这个项目里，你会实现一个衰减 $\epsilon$ -贪心 的Q-learning算法，不含折扣因子。遵从每个代理程序函数的TODO下的实现指导。
注意代理程序的属性self.Q是一个字典：这就是Q-table的构成。每个状态是self.Q字典的键，每个值是另一个字典，包含了action和Q-value。这里是个样例：
{ 'state-1': {
'action-1' : Qvalue-1,
'action-2' : Qvalue-2,
...
},
'state-2': {
'action-1' : Qvalue-1,
...
},
...
}此外，注意你要求利用一个衰减$\epsilon$（探索）因子。因此，随着试验的增加，$\epsilon$会向0减小。这是因为，代理程序会从它的行为中学习，然后根据习得的行为行动。而且当$\epsilon$达到特定阈值后（默认阈值为0.01），代理程序被以它所学到的东西来作检测。作为初始的Q-Learning实现，你将实现一个线性衰减$\epsilon$的函数。
要从最初的Q-learning程序获得结果，你需要调整下面的标志和设置：
'enforce_deadline' - 将此标志设定为True来强制驾驶代理程序捕获它是否在合理时间内到达目的地。'update_delay' - 将此标志设定为较小数值（比如0.01）来减少每次试验中每步之间的时间。'log_metrics' - 将此标志设定为True将模拟结果记录为在/logs/目录下的.csv文件，Q-table存为.txt文件。'n_test' - 将此标志设定为'10'则执行10次测试试验。'learning' - 将此标志设定为'True'来告诉驾驶代理使用你的Q-Learning实现。此外，使用下面的$\epsilon$衰减函数：
$$ \epsilon_{t+1} = \epsilon_{t} - 0.05, \hspace{10px}\textrm{for trial number } t$$如果你在实施时遇到困难，尝试把'verbose'标志设为True来调试。调试时，在这里设定的标志会返回到它们的默认设定。重要的是你要理解每个标志做什么并且解释它们怎么影响模拟！
当你成功完成初始的Q-Learning模拟程序后，运行下面代码单元格来使结果可视化。注意当相同的模拟运行时，log文件会被覆写，所以要留意载入的log文件！
In [3]:
# Load the 'sim_default-learning' file from the default Q-Learning simulation
vs.plot_trials('sim_default-learning.csv')
利用上面的从你默认的Q-Learning模拟中得到的可视化结果，像在问题3那样，给出关于驾驶代理程序的分析和若干观察。注意模拟程序应该也产生了Q-table存在一个文本文件中，可以帮到你观察代理程序的算法。你可以考虑的一些情况：
回答：
创建一个优化Q-Learning的驾驶代理程序的第三步，是执行优化！现在Q-Learning算法已经实现并且驾驶代理程序已经成功学习了，需要调整设定、调节参数让驾驶代理程序学习安全性和效率。通常这一步需要很多试验和错误，因为某些设定必定会造成更糟糕的学习。要记住的一件事是学习的行为本身和需要的时间：理论上，我们可以允许代理程序用非常非常长的时间来学习；然而，Q-Learning另一个目的是将没有习得行为的试验试验变为有习得行为的行动。例如，训练中总让代理程序执行随机动作（如果$\epsilon = 1$并且永不衰减）当然可以使它学习，但是不会让它行动。当改进你的Q-Learning实现时，要考虑做一个特定的调整的意义，以及它是否逻辑上是否合理。
要从最初的Q-learning程序获得结果，你需要调整下面的标志和设置：
'enforce_deadline' - 将此标志设定为True来强制驾驶代理程序捕获它是否在合理时间内到达目的地。'update_delay' - 将此标志设定为较小数值（比如0.01）来减少每次试验中每步之间的时间。'log_metrics' - 将此标志设定为True将模拟结果记录为在/logs/目录下的.csv文件，Q-table存为.txt文件。'learning' - 将此标志设定为'True'来告诉驾驶代理使用你的Q-Learning实现。'optimized' - 将此标志设定为'True'来告诉驾驶代理你在执行一个优化版本的Q-Learning实现。优化Q-Learning代理程序可以调整的额外的标志：
'n_test' - 将此标志设定为某个正数（之前是10）来执行那么多次测试试验。'alpha' - 将此标志设定为0 - 1之间的实数来调整Q-Learning算法的学习率。'epsilon' - 将此标志设定为0 - 1之间的实数来调整Q-Learning算法的起始探索因子。'tolerance' - 将此标志设定为某个较小的大于0的值（默认是0.05）来设定测试的epsilon阈值。此外，使用一个你选择的$\epsilon$ (探索因子)衰减函数。注意无论你用哪个函数，一定要以合理的速率衰减到'tolerance'。Q-Learning代理程序到此才可以开始测试。某个衰减函数的例子($t$是试验的数目)：
如果你想的话，你也可以使用$\alpha$ （学习率） 的衰减函数，当然这通常比较少见。如果你这么做了，确保它满足不等式$0 \leq \alpha \leq 1$。
如果你在实施时遇到困难，尝试把'verbose'标志设为True来调试。调试时，在这里设定的标志会返回到它们的默认设定。重要的是你要理解每个标志做什么并且解释它们怎么影响模拟！
当你成功完成初始的Q-Learning模拟程序后，运行下面代码单元格来使结果可视化，请注意为了达到项目要求你需要在安全性和可靠性上获得至少都为A的评分。注意当相同的模拟运行时，log文件会被覆写，所以要留意载入的log文件！
【CodeReview20170907】比如，学习率alpha是智能车Q值更新多少来自于新的尝试(alpha)，多少来自于过去的经验(1-alpha)。在学习开始阶段，alpha值应该很大，随着经验的积累，alpha应该递减(尽量用已有的经验)。本项目里用常量就足够好了，但不宜过大或过小。
【CodeReview20170908】现在的这个参数状态：epsilon=1，tolerance=0.0005，alpha=0.5，epsilon（探索因子）的衰减函数为：self.originalEpsilon(1-aself.trail) # Same to self.epsilon -= a。并不能做到每次训练的结果都是两个A及以上，不知是什么原因？另外，凸函数和凹函数有哪些可以使用？？？
In [4]:
# Load the 'sim_improved-learning' file from the improved Q-Learning simulation
vs.plot_trials('sim_improved-learning.csv')
回答：
self.originalEpsilon*(1-a*self.trail) # Same to self.epsilon -= a。回答： 交通规则：如果交通灯是红灯，则小车不能够移动，无论是直行，左转还是右转，都算是违反交规，会被罚分。只有是绿灯的情况下才能够移动。
state = (waypoint, inputs['light'], inputs['oncoming'], inputs['left'], inputs['right'])('right', 'red', 'left', 'forward', 'left') -- forward : -29.78 -- right : -10.48 -- None : 1.63 -- left : -29.36
小车打算右转，红灯，所以，除了None之外，其他值都是负数。另外，正面来车左转，左边来车直行，右边来车左转。小车代理直行或者左转得分都是-29，表明应该会导致严重的交通事故。小车代理右转得分是-10.48，表明也应该是严重的交通事故（-10.48）也是一个很大的负分。只有不动才是最优策略。
('left', 'green', 'right', None, 'left') -- forward : 1.23 -- right : 0.31 -- None : -2.54 -- left : -15.19
小车打算左转，绿灯，交通灯规则允许通行。正面来车右转，左边来车不动，右边来车左转。直行和右转都是可以的，这种情况下，不动是会罚分的。左转会发生严重交通事故，因为分数是-15.19。
关于最佳策略，在强化学习中，我们给定了唯一的目标，这也是整个训练系统的评分系统的依据。一个好的策略，是让系统在约束之下，做出有利于达到目的的行为，从每一步来讲，也就是Q表中的值。Q表中的值，反映了历史数据中，各个状态和行为的结果评分。
'gamma'也许你会好奇，作为Q-Learning算法的一部分，之前要求你在实现中不要使用折扣引子'gamma'。在算法中包含未来奖励能有助于在未来状态回溯到当前状态时的反向正面奖励。本质上，如果给予驾驶代理程序执行若干动作到达不同状态的选择，包含未来奖励会是代理程序偏向可以得到更多奖励的状态。一个例子是驶向目的的驾驶代理程序：所有行动和奖励都相等，那么理论上如果到达目的地会有额外奖励，驶向目的会获得更好的奖励。然而，即使在这个项目里，驾驶代理程序也要在规定的时间里到达目的地，包含未来奖励不会有益于代理程序。实际上，如果代理程序给予多次试验学习，它甚至会给Q-value带来负面影响！
回答：
注意:当你写完了所有的代码，并且回答了所有的问题。你就可以把你的 iPython Notebook 导出成 HTML 文件。你可以在菜单栏，这样导出File -> Download as -> HTML (.html)把这个 HTML 和这个 iPython notebook 一起做为你的作业提交。