プログラミング

Kerasで双方向LSTMを使う方法(エラーの回避方法)

ここでは,Kerasで双方向LSTM(Bidirectional LSTM)を用いる方法を紹介します。

ad

With a Bidirectional LSTM layer, you can see the improvement in accuracy with fewer epochs.

双方向LSTM層を用いると,より少ないエポック数で精度の改善を得ることができます。

ただし,私が実験した限りでは,通常のLSTM層を単に双方向LSTMに変えただけでは,予測結果の著しい改善は見られませんでした。

model = Sequential()
model.add(Embedding(len(char_indices)+1,
                    300,
                    batch_size=(seq_length-time_step)*batch_size,
                    weights=[embedding_matrix],
                    mask_zero=True,
                    trainable=False))
model.add(Bidirectional(LSTM(512,
                             dropout=0.15,
                             return_sequences=True),
                             merge_mode='concat'))
model.add(Bidirectional(LSTM(512,dropout=0.15),merge_mode='concat'))
model.add(Dense(len(char_indices)+1, activation='softmax'))

双方向LSTM層がエラーを出すという書き込みがネット上に多くあるようですが,原因は双方向LSTM層ではなくreturn_sequencesです。

Dense層は二次元配列のみ受け取ることができます。しかし,LSTM層のreturn_sequences=Trueとすると, 3 次元の配列を出力します。これは,return_sequencesが一つのシーケンスに対して複数の出力を持つからです。その結果,以下のようなエラーを出します。

ValueError: Shapes (None, None) and (3500, None, 10500) are incompatible

これを解決する一つの方法は,LSTM層をもう一つ置くことです。2 つ目のLSTM層は 1 つ目のLSTM層から 3 次元の配列を受け取り,2 次元の配列を出力します。

2 つ目のLSTM層は 3 次元のデータを 2 次元に変換するためのものであり,学習にはあまり関係していないようです。しかし,エラーを回避するために必要です。このあたりは,今後Kerasがバージョンアップしたときに改善するかもしれません。

タイトルとURLをコピーしました