Piang‘s Pytorch学习笔记

学习笔记"/>

Piang‘s Pytorch学习笔记

一、函数的总结

1.torch.arange()与torch.range()区别

        torch.arange() ：左闭右开，创建的tensor的类型为int64

        torch.range()   ：左闭右闭，创建的tensor的类型为float32

2.  .detach() ：阻断梯度的传播，阻止反向传播

3. .numpy() ：将tensor转化位numpy

4.torch.utils.data : 

        TensorDataset： 用来生成数据集，对象为tensor

                # 将训练数据的特征和标签组合

                dataset = Data.TensorDataset(features, labels)

        DataLoader：构建可迭代的数据装载器,读入的类为dataset

                # 随机读取小批量

                data_iter = Data.DataLoader(dataset, batch_size, shuffle=True)

5.Optimizer与optimizer.step() ：

        step() :会更新所有的参数，一旦梯度被如backward()之类的函数计算好后，我们就可以调用这个函数。可以理解为进行优化(如使用梯度下降算法)

 二、激活函数(通常为非线性变换)：

1.relu函数：

        RELU(x) = max(x, 0)

      函数图像：

输入为正数时，输出该数；输入为负数的时候，输出0，虽然在0处不可导，但是认为0处的导数为0

 2.sigmoid函数