admin管理员组

文章数量:1602074

目录

  • 写在前面
  • 重要的参考链接:
  • 一、创建实例
  • 二、配置环境+上传数据流程
    • (1)先下载好镜像,然后通过Xftp软件上传
    • (2)上传数据到AutoDL自带的网盘中
      • 1. 直接上传(每次只能上传单个文件,建议上传zip压缩包)
      • 2. 借助Xftp软件(不限制上传的文件个数,可直接上传文件夹)
        • 1. 安装Xftp
        • 2. 借助Xftp与AutoDL网盘连接,开始上传or下载数据
          • 2.1 上传or下载数据
          • 2.2 Xtfp与AutoDL连接
    • (3)配置环境
  • 三、远程连接到本地(PyCharm2021.3专业版)
  • 四、AutoDL实时查看tensorboard曲线情况

写在前面

  1. 一定要先进行学生认证,这样就能1.88/h(我之前忘了进行学生认证,然后就一直是1.98/h,陆续用了300元之后才发现没有认证。这么算下来,多花了30多块钱!/(ㄒoㄒ)/~~)
  2. 上传数据有两种方式:1.直接在网盘中上传 2.通过Xftp上传。详见二(2)中有两种上传方式步骤。我建议如果上传的只是单个文件,就直接用网盘上传(zip压缩包上传,然后再用unzip解压)。如果是多个文件,就通过Xtfp上传下载比较方便。

重要的参考链接:

  • 强烈打call:创建AutoDL云服务器实例并安装GPU环境(三)
  • 【配置环境】RTX3050安装pytorch(安装CUDA11.3版本)

一、创建实例

  1. 首先进入AutoDL官网:AutoDL-品质GPU租用平台-租GPU就上AutoDL
  2. 进行学生注册登录(可以领10元的代金券)
  3. 点击右上角的控制台,然后如图点击租用新实例
  4. 租用新实例的参数选择,选好了之后点击右下角的立即创建即可

❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀
其实可以先在基础镜像中看一下是否有自己需要的配置(假如你需要如下图所示的torch1.10-cuda113),有的话,就不需要像我这样上图这样去选择然后再去自己配置环境。

并且!如果你选择使用基础镜像,那么在等会儿的二(3)配置环境中,除了5~10步不用进行之外,其它的还都要进行,特别是步骤11去验证一下是否能顺利加载成功PyTorch。你的基础镜像环境名叫base,所以每次你需要直接用基础镜像运行代码时,还是需要调用命令conda activate base来激活进入到你的基础镜像中。

如果进入到基础镜像,发现不太好使用,那么你仍然可以继续我的步骤,去下载好镜像然后再上传,再配置虚拟环境。

❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀

  1. 租用成功之后的界面

  1. 更新内容:初始化网盘(即可以开始使用该区域的公用数据文件夹autodl-nas

  2. 更新内容:AutoDL最近更新很快哇!多了一个可以存放数据的地方autodl-fs,看它的描述,是跟autodl-nas一样的用法,貌似性能还好一点。那么以后就可以将数据、代码存放在这两个公用的地方了!妙哉~(即,如果autodl-nas文件夹免费的20G用完了,就可以初始化autodl-fs文件夹,继续在这里面存放文件)


二、配置环境+上传数据流程

写在前面:当只是需要上传一个zip压缩包时,或者其他类型的单个文件时,建议直接进入到我的网盘中上传。因为这样可以少了连接到Xftp这个步骤,以及可以少费点钱。网盘上传步骤可参考👉AutoDL上传数据详细步骤(自己用的步骤,可能没有其他大佬用的那么高级)

(1)先下载好镜像,然后通过Xftp软件上传

  • 直接点击可下载:(我配置的环境就是用到了以下这3个镜像,点击下载即可)
    • torch-1.10.0+cu111-cp38-cp38-linux_x86_64.whl
    • torchvision-0.11.0+cu111-cp38-cp38-linux_x86_64.whl
    • torchaudio-0.10.0+cu111-cp38-cp38-linux_x86_64.whl(这个包使用于语音方面的,按道理来说是可以不用下载安装的,但是还是跟着教程都下载安装了可能会比较完善些)
    • 【更新】上面的3个链接如果点击下载不了的话,可以进入我这个百度网盘下载:AutoDL使用教程-torch镜像
  • 如果需要其他版本的镜像,可进入到这个链接,这是所有torch系列的镜像列表:Links for torch、Links for torchaudio、Links for torchvision(有时候会卡着,多试几次就能进去了)[更新:找到一个镜像,可以根据自己想要的cuda版本选择:https://mirror.sjtu.edu/pytorch-wheels/?mirror_intel_list]

(2)上传数据到AutoDL自带的网盘中

先说明好处和注意事项:

  • 好处:就算是释放了实例,这些代码以及运行数据还是会存放在网盘中(也就是比较安心嘛,而且用自带的AutoDL网盘也比较方便。实例会30天之后自动释放的,但是网盘存放的数据也会在90天后释放)
  • 注意事项:创建实例是在哪个区,就使用哪个区的网盘!避免跨区无法使用一些数据(在这个界面能够看到你的数据,可以下载or删除)

1. 直接上传(每次只能上传单个文件,建议上传zip压缩包)

只上传一个zip压缩包,以及在AutoDL中解压的方式,可参考博客:AutoDL上传数据详细步骤(自己用的步骤,可能没有其他大佬用的那么高级)


2. 借助Xftp软件(不限制上传的文件个数,可直接上传文件夹)

1. 安装Xftp

Xftp的作用:在Windows系统下,如果想和Linux系统进行文件传输,可以使用Xftp工具。

  • Xftp官网下载地址
  • 参考教程:
    • Windows 下 xshell 和 xftp 安装与使用
    • Xftp的下载和安装教程(图文教程)
    • Xftp使用方法
2. 借助Xftp与AutoDL网盘连接,开始上传or下载数据
2.1 上传or下载数据

注意

  1. 上传or下载数据时,请开启无卡模式开机,为了省钱!!!

  2. 上传or下载数据的简单方式:直接在Xftp中拖动文件

    • 左边的拖动到右边:本地->AudoDL(上传)
    • 右边的拖动到左边:AutoDL->本地(下载)

2.2 Xtfp与AutoDL连接

(1)点击无卡模式开机(不一定要是无卡模式哈,只要开机就行)

(2)开机后就获得了:登陆指令、密码

(3)打开Xftp进行连接

假设步骤(2)得到的登陆指令是:ssh -p 12300 root@rxxxxn-0.autodl

那么下图中的主机端口号分别是:

  • 用户名:root
  • 主机HOST:rxxxxn-0.autodl @后的所有内容)
  • 端口号:12300
  • 密码(最后一行):是步骤(2)直接得到的

新建会话:


打开已有会话

与AutoDL的连接成功界面

上传镜像到网盘中

(3)配置环境

  1. 点击进入JupyterLab

  1. 进入终端

  1. 编辑文件+刷新,使得能使用conda,以进行后续的环境配置
  • 输入:vim ~/.bashrc
  • 开始进行编辑:输入i
  • 移动到文件的最后一行,加上source /root/miniconda3/etc/profile.d/conda.sh
  • 保存并退出:按Esc键,输入:wq,再回车
  • 输入bash重启终端(即,刷新一下)

  1. 进入环境:conda activate base
  2. 创建新环境:conda create -n py38 python=3.8
  3. 进入新环境,输入:conda activate py38
  4. 安装torch(注意一定要和自己创建实例的环境相对应)(默认是挨着顺序进行下来的哈,已经完成了【二(1)下载镜像】的部分,以下3个镜像都在autodl-nas/目录下)
    输入命令:pip install autodl-nas/torch-1.10.0+cu111-cp38-cp38-linux_x86_64.whl
    (静等几分钟,不要着急,它只是卡住了~)

  1. 安装torchvision (按下Tab键可自动补齐名称)
    输入命令:pip install autodl-nas/torchvision-0.11.0+cu111-cp38-cp38-linux_x86_64.whl

  1. 安装torchaudio
    输入命令:pip install autodl-nas/torchaudio-0.10.0+cu111-cp38-cp38-linux_x86_64.whl

  1. jupyter页面更新(即在jupyter页面里增加一个基础环境:py38
    • py38环境中输入conda install ipykernel
    • 再输入:ipython kernel install --user --name=py38

  1. 按照配置好环境后,可以点击Notebook下的py38进去写代码了(即在py38环境下,使用jupyternotebook)(如果没有像我这样自己上传镜像然后配置的同学,就不用选择py38了,就选择左边的Python 38进入到jupyter后进行下面步骤即可)

注意:到目前为止,为了省钱还是开的无卡模式,所以为了验证环境已经配置完善,需要先关机,再直接开机(不要再选择无卡模式了,此时就是要开始烧钱了,1.88/h

输入以下代码验证:

import torchvision
import torch
print(torchvision.__version__)
print(torch.cuda.is_available())
# 0.11.0+cu111
# True

三、远程连接到本地(PyCharm2021.3专业版)

  • 前提:必须是PyCharm专业版才能进行远程连接使用
    • PyCharm官网下载地址:Download PyCharm
    • 超级超级推荐视频教程,就算没有教育邮箱也能使用到2099年!👉最新版pycharm2021.3专业版长久使用教程,逐步讲解,超详细(先看2p!)
      • 对应的文章就更推荐啦!👉【pycharm2021.3专业版安装激活教程,逐步讲解,巨详细】
      • 文件我同步上传到百度网盘上了:链接-提取码: ehn3
    • PyCharm专业版安装教程:软件安装 | PyCharm-专业版免费安装(这个是学生认证教育邮箱后免费使用的过程)

参考以下文档肯定可以开始进行远程开发的,再多注意以下图中的地方即可:

  • 官方帮助文档:PyCharm远程开发 (这个远程不是指不用上传数据了哈,只是可以直接在PyCharm的终端中开启训练,数据还是需要上传才行)
  • Pycharm远程开发的例子:【深度学习】Pycharm连接远程服务器(AutoDL)训练YOLOv5

  1. 先用PyCharm专业版随便打开一个项目

  2. Tools -> Deployment -> Configuration

  3. 添加SFTP

  4. 点击...进入SSH Configurations

  5. 完成配置

  6. 显示云服务器的文件目录

  7. 切换到root/autodl-nas云盘目录下,就能看到我们上传的数据和代码了

  8. 连接到远程终端

  9. 查看代码内容,并重新上传更新代码

  10. 运行代码

四、AutoDL实时查看tensorboard曲线情况

  • 可参考我的博客:AutoDL实时查看tensorboard曲线情况

本文标签: 专业版曲线实时实例步骤