python – Pytorch中的LSTM

还有一个关于LSTM的例子,这是Network类：

# RNN Model (Many-to-One)
class RNN(nn.Module):
    def __init__(self,input_size,hidden_size,num_layers,num_classes):
        super(RNN,self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(input_size,batch_first=True)
        self.fc = nn.Linear(hidden_size,num_classes)

    def forward(self,x):
        # Set initial states 
        h0 = Variable(torch.zeros(self.num_layers,x.size(0),self.hidden_size)) 
        c0 = Variable(torch.zeros(self.num_layers,self.hidden_size))

        # Forward propagate RNN
        out,_ = self.lstm(x,(h0,c0))  

        # Decode hidden state of last time step
        out = self.fc(out[:,-1,:])  
        return out

所以我的问题是关于以下几行：

h0 = Variable(torch.zeros(self.num_layers,self.hidden_size)) 
c0 = Variable(torch.zeros(self.num_layers,self.hidden_size))

据我所知,每个训练样例都会调用forward().但这意味着隐藏状态和单元状态将被重置,即在每个训练示例中用零矩阵替换.

名称h0和c0表示这只是t = 0时的隐藏/单元状态,但为什么这些零的矩阵在每个训练样例中都移交给了lstm？

即使它们在第一次调用后被忽略,也不是一个非常好的解决方案.

在测试代??码时,它表明MNIST集合的准确率为97％,因此它似乎以这种方式工作,但它对我没有意义.

希望有人可以帮我解决这个问题.

提前致谢！