python – 如何训练神经网络来玩2048游戏？

我想训练神经网络玩2048游戏.我知道NN对于像2048这样的状态游戏来说不是一个好选择,但是我想要实现NN将像经验丰富的人类一样玩游戏,即仅在三个方向上移动游戏.

但由于我们不知道有效输出,我无法弄清楚如何自我训练NN.通常,例如在回归中,您知道正确的输出,您可以计算损失(例如均方误差)并更新权重.但是在2048年,有效输出基本上是未知的(当然你可以计算你可以移动的每个方向的得分,例如,得分最高的方向得分_after_move – previous_score将是我们的有效输出,但我认为这不是自我的方式 – 学习NN).那么有可能为2048游戏定义损失函数吗？最好的是可区分的.

接下来的问题是何时更新权重：每次移动后或者更确切地说是完成游戏后(游戏结束)？

如果它很重要：我的NN拓扑现在很简单：

游戏板的2D矩阵 – >输入神经元的2D矩阵 – > 2D完全连接的隐藏层 – > 1D 4-神经元层

因此,每个图块将被输入到第一层中的相应神经元(2D全连接图层是否有任何特殊名称？).来自最后一层的预期输出是长度为4的向量,[1,0]将是“向上”运动方向.

现在我已经为2048游戏实现了无头类(在Python / NumPy中),因为使用视觉输入很慢并且还有更多工作要做.

附：也许我正在考虑NN学习这个游戏(或一般游戏).随意向我展示一个更好的方式,我会很感激.谢谢 ：)

编辑：强化学习似乎是方式.以下是一些有用的链接：

Demystifying Deep Reinforcement Learning

Action-Value Methods and n-armed bandit problems

Q-learning for Keras

Deep Reinforcement Learning for Keras