以下のリポジトリにDelta RNNのTensorFlow実装があるのだが、変数のスコープまわりの実装が全然ダメで動かなかったので、フォークして修正を加えたということ。
github.com
修正後の実装は以下。
論文 [1703.08864] Learning Simpler Language Models with the Delta Recurrent Neural Network Framework
実装 An implementation of Delta RNN in TensorFlow · GitHub
もっとも、もとの論文もarxivなので信頼性はあまりない。誤植も散見される。