python – 如何在TensorFlow中实现递归神经网络？
发布时间：2020-12-16 23:07:35 所属栏目：Python 来源：网络整理
导读：是否有某种方法使用TensorFlow实现像 [Socher et al. 2011]中那样的递归神经网络？ 请注意,这与TensorFlow很好地支持的递归神经网络不同. 不同之处在于网络不会复制到线性操作序列中,而是复制到树结构中. 我想我可以使用While op为我的数据集的每个条目构造
|
是否有某种方法使用TensorFlow实现像
[Socher et al. 2011]中那样的递归神经网络？
请注意,这与TensorFlow很好地支持的递归神经网络不同. 不同之处在于网络不会复制到线性操作序列中,而是复制到树结构中. 我想我可以使用While op为我的数据集的每个条目构造类似于树数据结构的广度优先遍历. 也许可以在TensorFlow中实现树遍历作为新的C op,类似于While(但更一般)？ 解决方法
目前,这些模型很难在TensorFlow中高效,干净地实现,因为图形结构取决于输入.这也使得进行小型化非常困难.可以使用你提到的while循环之类的东西,但干净利落地做起来并不容易.
您可以为每个示例构建一个新图形,但这将非常烦人.如果对于给定的输入大小,您可以枚举相当少量的可能图形,您可以在它们之间进行选择并一次构建它们,但对于较大的输入,这是不可能的. 您还可以使用复杂的tf.gather逻辑和掩码在图表中路由示例,但这也可能是一个巨大的痛苦. 最终,为每个示例动态构建图形可能是最简单的,并且将来有可能存在支持更好的即时样式执行的替代方案.但是从v0.8开始,我认为这有点烦人,并且在雅罗斯拉夫的评论中提到了一些开销. 编辑：自从我回答以来,这是一个使用带有while循环的静态图的示例：https://github.com/bogatyy/cs224d/tree/master/assignment3我不确定它与这样的模型的自定义C代码相比是多么高效,尽管原则上它可以被批量处理. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |