求助强化学习求助

ppo只是强化学习在损失函数中使用kL散度以保持摡率分布的一致性，例如大模型强化学习，机器应答要趋同于人类反馈对齐一致，kL散度就要尽量小，就表现一致了。但你只要求动起来，那就不必管损失函数了，只管训练时要求动的那部分代码，你可以借鉴随便个强化学习书的代码，看解释就知道是哪行代码触发小球action了，就是a即发生动作那行，最多再看选择a那行。