高速下载 EBI NCBI 测序数据(SRA,Fastq等)

编程入门 行业动态 更新时间:2024-10-24 12:32:03

高速下载 EBI NCBI 测<a href=https://www.elefans.com/category/jswz/34/1763673.html style=序数据(SRA,Fastq等)"/>

高速下载 EBI NCBI 测序数据(SRA,Fastq等)

文章目录

      • 一、测试环境及工具
      • 二、Conda 方式安装 Aspera
      • 三、传统方式安装 Aspera
      • 安装及配置
          • 1. 解压
          • 2. 安装
          • 3. 配置许可
          • 4. 配置程序环境变量
          • 5. 配置秘钥
      • 四、测试
          • 1. 一个例子
          • 2. 常用参数介绍
          • 3. 下载地址的构建
          • 4. EBI查询整个项目的资源文件
          • 6. 查看下载链接
      • 五、为什么这里要建议选EBI,而不用NCBI?

一、测试环境及工具

  • Linux(Ubuntu 18.04.1)
  • Aspera (Aspera Connect version 3.9.9.177872)

Aspera 适用于所有的 Linux 版本,可以按步骤测试在CentOS,Fedora等其他 Linux 发行版的效果

二、Conda 方式安装 Aspera

conda install -y -c hcc aspera-cli

这里需要安装Conda (这是一款用于安装多数生物信息分析软件的管理软件,重要的是可以解决软件依赖问题) : Conda 安装使用图文详解

三、传统方式安装 Aspera

官网下载:

csdn下载:

wget 下载:wget .9.9/ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz

安装及配置

1. 解压

tar -zxvf ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz

2. 安装

./ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.sh

3. 配置许可

sudo cp ~/.aspera/connect/etc/aspera-license /usr/local/bin/

4. 配置程序环境变量

vim ~/.bashrc

在末尾加上你的aspera所在目录

export PATH="/home/baimoc/.aspera/connect/bin:$PATH"

立马生效

source ~/.bashrc

5. 配置秘钥

新建配置目录

mkdir /home/baimoc/.aspera/config/

复制到配置目录

cp ~/.aspera/connect/etc/asperaweb_id_dsa.openssh /home/baimoc/.aspera/config/

四、测试

1. 一个例子

ascp -QT -L /home/baimoc/logs -l 100M -P33001 -i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz ./out_path

2. 常用参数介绍
命令含义
ascpaspera的可执行文件
-QT禁用进度显示
-L /home/baimoc/logs日志文件路径
-l 100M最大传输
-P33001SSH传输端口
-i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh密钥文件路径
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz资源路径
./out_path文件保存路径
3. 下载地址的构建

EBIera-fasp@fasp.sra.ebi.ac.uk:/vol1/ERA012/ERA012008/sff/library08_GJ6U61T06.sff

NCBI:anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR507/SRR5077625/SRR5077625.sra

可以看到最关键的前缀是:era-fasp@fasp.sra.ebi.ac.uk:anonftp@ftp-private.ncbi.nlm.nih.gov:

4. EBI查询整个项目的资源文件

6. 查看下载链接

提取对应列,即可下载相应的资源文件

五、为什么这里要建议选EBI,而不用NCBI?

这个是在 NCBI 下载时的链接及提示:


简单来说就是:

  • 现在NCBI正在将数据传输至亚马逊云 AWS 和 谷歌云 GS
  • 美国境内服务器免费,其他的服务器收费,用户自己掏钱
  • 由于正在迁移,所以NCBI也不保证数据的完整性
  • 虽然也提供了免费的链接,但是实测速度奇慢无比

更多推荐

高速下载 EBI NCBI 测序数据(SRA,Fastq等)

本文发布于:2024-02-25 21:18:59,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1700325.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:序数   NCBI   EBI   SRA   Fastq

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!