1、如何判断一个时序差分(TD)算法是on-policy还是off-policy?如何判断一个时序差分(TD)算法是on-policy还是off-policy?首先,检查这个算法在数学上解决什么问题,然后,检查这个算法在实施过程中需要哪些东西才能让算法跑起来。这值得特别注意,因为对初学者来说,这是最令人困惑的问题之一。