0608-nn和autograd的区别

pytorch完整教程目录:https://www.cnblogs.com/nickchen121/p/14662511.html

一、nn 和 autograd 的区别

Module 利用的是 autograd 的技术,主要是为了实现前向传播。在 forward 函数中,Module 对输入的 Variable 进行的各种操作基本都使用到了 autograd 的技术。

因此在这里主要对比 autograd.Functionnn.Module 两者之间的区别。

  • autograd.Function 利用 Tensor 对 autograd 技术的扩展,为 autograd 实现了新的运算操作符,不仅要实现前向传播还要手动实现反向传播
  • nn.Module 利用了 autograd 技术,对 nn 的功能进行扩展,实现了深度学习中的大部分层,并且只需要实现前向传播,autograd 就会自动实现反向传播
  • nn.functional 是一些 autograd 操作的集合,是经过封装的函数,如果使用它来构建深度神经网络,需要自己编写前向传播和反向传播函数

二、Function 和 Module 在实际中使用的情况

Funciton 和 Module 作为扩充 torch 的两种接口,在实际中

  1. 如果某一个操作在 autograd 中尚未支持,则可以利用 Function 手动实现对应的前向传播和反向传播
  2. 如果某些时候利用 autograd 接口比较复杂,也可以利用 Function 将多个操作聚合,实现优化,如第 3 章 扩展 autograd 那一节实现的 Sigimoid 一样,此时将会比直接利用 autograd 低级别的操作要快
  3. 如果只是想在深度学习中增加某一层,使用 Module 进行封装则会更加简单
内容来源于网络如有侵权请私信删除