基于牛顿求根法,新算法实现并行训练和评估RNN,带来超10倍增速
一种新算法能够并行训练和评估RNN等非线性序列模型,提供超过10倍的速度提升。研究者引入了一种通用框架,将非线性微分方程重新表述为二次收敛的定点迭代问题,类似牛顿求根法。这一算法能够极大地减小定点迭代的数量,特别是在初始起点接近收敛解时,为序列模型的训练提供了吸引力。最重要的是,这个算法不需要序列模型具备特定结构,用户无需改变模型架构即可受益于并行化。通过DEER框架,用户可以设计并行算法,用于评估RNN和ODE,同时不会明显影响结果。
发表评论