HCIA-存储虚拟化

admin管理员组

文章数量:1568309

1、存储的分类

1.1、按照存储组网类型
1、DAS（Direct Attached Storage）直连式存储，一台服务器连接一个存储，且存储无法共享使用。受距离限制。

2、NAS（Network Attached Storage）网络附加存储，是一种将分布、独立的数据进行整合，集中化管理，以便于对不同主机和应用服务器进行访问的技术。
NAS本身携带文件系统的，然后提供NFS网络文件系统协议（linux/unix）和CIFS网络文件系统协议（windows）,通过网络共享的方式来访问的。文件共享平台（不会经常修改，而是经常浏览下载），用NAS，主打共享。

3、SAN（Storage Area Networks）存储区域网络，是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统。

NAS和SAN都是可以通过网络进行共享的，不同的是文件系统所在的地方不同。NAS文件系统所在的地方是服务端（在本身存储设备上），SAN文件系统所在的地方是客户端（linux/windows），如果你是linux客户端，文件系统应该是ext2/ext3/ext4/xfs ，如果是windows客户端，文件系统应该是 ntfs。
NAS通过一个公共的接口实现资源共享，SAN仅仅是为服务器存储数据提供一个专门的快速后方存储通道。NAS是数据共享，SAN是高速直接访问。NAS主打的是共享（不会经常修改，而是经常浏览下载）。SAN主打的就是大量读写，比如数据库业务场景。

FC-SAN：FC光纤通道，通过FC交换机建立起与服务器和存储设备之间的直接连接。

IP-SAN：基于TCP/IP协议的IP-SAN，通过以太网交换机建立起与服务器和存储设备之间的直接连接。


1.2、按照存储部署形态
1、集中式存储系统，即整个存储是集中在一个系统中的。企业级的存储设备一般都是集中式存储。但集中式存储并不是一个单独的设备，是集中在一套系统当中的多个设备。以华为公司的存储为例，整个存储系统可能需要几个机柜来存放。集中式存储按照技术架构可以划分为SAN和NAS，其中SAN又可以细分为FC-SAN、IP-SAN。
集中式存储最大的特点就是部署结构简单，无需考虑如何对服务进行多个节点的部署，也就不用考虑多个节点之间的分布式协作问题。
集中式存储的缺点：
1、孤立的存储资源，存储通过专用网络连接到有限数量的服务器；
2、集中式纵向扩容通过增加硬盘框实现，硬件控制器性能（单控制器带盘能力）成为瓶颈；
3、集中式存储横向扩容需要通过控制器全连接实现，硬件控制器性能成为扩容瓶颈；
4、集中式存储资源缺乏共享，存储设备和资源往往由不同厂家提供，设备之间无法进行资源共享，数据中心看到的是一个个孤立的存储池；
5、集中式存储采用集中式元数据管理方式，系统所能提供的并发操作能力将受限于元数据服务的性能，元数据服务也将会成为系统的性能瓶颈；

2、分布式存储系统，是将数据分散存储在多台独立的服务器上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。随着分布式存储越来越普及，现在一些对性能要求比较高的应用也开始使用分布式存储，比如金融系统的数据库。

1.3按照业务类型
1、块存储
块存储对存储层直接访问，只要是需要被格式化使用的存储（磁盘、移动硬盘，u盘等）都叫块存储。
不管是什么存储，最终数据落脚点就在磁盘上，而磁盘就是块存储。
2、文件存储
文件存储是在块存储之上构建了文件系统，因为大多数应用程序都是对文件进行操作，因此文件存储更容易和应用系统对接。
3、对象存储
对象存储是在块存储之上构建了对象系统层，与文件系统相比，对象系统层是扁平的，扩展限制少，因此拥有近乎无限的扩展性。对象由唯一的Key，文件，数据（文件），元数据，自定义元数据构成，由于包含了自管理信息，更加智能。对象存储采用兼容标准的互联网协议接口，可以跨地域传输。对象存储适用于面向互联网服务的存储场景，以及企业内部的归档、备份场景。

2、vmware搭建V3存储仿真器

建议VRM部署在CNA的本地硬盘（本地硬盘做RAID1，VRM不会迁移），业务虚拟机一般不安装在本地磁盘而是安装在共享磁盘，其他业务虚拟机比如windows2016, CentOS建议部署在共享存储中，方便未来迁移。CNA本地所有磁盘坏了，只会影响VRM，不会影响业务虚拟机。


存储上下为A控、B控

存储业务口：就是给上层虚拟机连接存储使用的接口。

扩容级联口。


类似于服务器Mgmt口：存储管理口，进去配置存储，提供一个webUI管理界面。
小扳手：维护口。如果存储管理口进不去了，可以通过维护口进去。
|0|0|串口：如果前面两个口都有问题，进不去了，只能跑到机房里面，拿一根串口线（一头水晶头，一头是USB）
模拟搭建一个存储
华为开发了一个存储仿真器，Ocenstor Dorado V3/V6，存储仿真器指通过虚拟机模拟存储节点组成的仿真存储系统。
V3版本：开发的有 vmware 版本，也有 fusioncompute版本。
V6版本：没有开发vmware版本，开发hyper-v版本（注意：如果你在本机win上启用了hyper-v，那么它对cpu虚拟化是独占的，未来是不能在vmware上同时开启cpu虚拟化的），也开发了fusioncompute版本，还有公有云版本。
V3和v6界面差别非常大，但是流程是一样的。
V6在hyper-v上的搭建：https://blog.51cto/cloudcs/5248583（了解，最好在虚拟机操作）
使用vmware搭建V3存储仿真器
V3存储仿真器磁盘文件，把存储仿真器做成了一个磁盘文件，加载这个文件进行存储仿真器安装，磁盘文件有问题就重新解压。
V3存储仿真器License文件。
先创建两个文件夹storage_disk（保存解压出来的仿真器磁盘文件）和storage_vm（保存虚拟机），再创建虚拟机。
注意：必须是Workstation 10.x版本


必须是SUSE Linux Enterprise 11 64位


CPU至少4核

内存至少8G

我选择的是仅主机（要注意自己的仅主机对应的子网ip是什么）

使用现有虚拟磁盘，storage_disk（保存解压出来的仿真器磁盘文件）




这里的20G是V3存储仿真器对应的磁盘，还要再添加一块磁盘40G，用于模拟存储空间。




再另外添加5块仅主机网卡。


检查CD/DVD光驱，这里不需要ISO镜像，还要取消启动时连接。

开启storage_vm虚拟机，安装存储。

输入虚拟机仅主机网卡的网段内ip（这里是设置mgmt存储管理口ip）



登录进来之后，会提示，系统未准备好，请等待。

等待加载，根据电脑性能，快的2-5分钟，慢的15-30分钟。
当看到提示 Old Password 输入旧密码的时候，表示安装成功。
开始修改密码


可以通过 show port ip 这个命令查看mgmt存储管理口ip。但是v3存储在vmware上配置后，是无法显示的。
登录 https://11.1.1.10:8088/ https://存储管理口ip:8088 登录。（登入无反应就换个浏览器）
调整设备时间，因为v3存储仿真器要导入license，官方提供的这个v3 license时间截止日期 2019年。所以手工把设备时间改一下，改成2019年之前（生产环境不用改），然后再导入license。



导入license




存储仿真器指通过虚拟机模拟存储节点组成的仿真存储系统，是个虚拟的仿真存储系统，不能对它进行关闭重启只能挂起暂停，一旦关闭重启这个存储就损坏了，得重新安装了，所以建议做快照，后面有问题就恢复快照又是一台新的存储。

存储配置上下为A控、B控

1.配置存储业务口IP地址
2.创建硬盘域
3.创建存储池
4.创建LUN（LUN可理解成盘符，像C盘D盘）
5.创建LUN组（方便映射管理）
6.创建主机（存储里面的逻辑主机）
业务主机通过存储里面的逻辑主机跟lun组映射，业务主机和存储里面的逻辑主机一一关联，把业务主机里面的iqn号加入到存储里面的逻辑主机，存储根据存储里面的逻辑主机的iqn号知道是哪台业务主机（iqn号唯一的）
7.创建主机组
8.创建映射视图（LUN组和主机组的映射）


配置存储业务口ip，11.1.1.100

创建硬盘域（模拟出8块硬盘这是虚拟的，实际只有一块40G的硬盘）

创建存储池

创建LUN
注意：存储仿真器，单个LUN最大不得超过5GB

创建LUN组
把刚才创建的lun加入到这个lun组里面

创建主机（这里的操作系统只是个备注信息），一直下一步

创建主机组
把刚才创建的逻辑主机加入到这个主机组

创建映射视图，是LUN组和主机组的映射（不需要那个创建端口组）

上层业务主机向存储业务口ip发起连接后，再把上层业务主机的iqn号加入到存储的逻辑主机里面

Windows访问存储(搜索iSCSI)

查看上层业务主机的iqn号（唯一的）

上层业务主机向存储业务口ip发起连接


说明上层业务主机和存储业务口ip已连接，但是存储不知道上层业务主机是谁，这时候需要把上层业务主机的iqn号加入到存储的逻辑主机里面（windows001）


打开Windows的计算机管理

右键单击，重新扫描





删除，脱机，在存储里把iqn号移除，在重新扫描磁盘。



问题总结
1.注意：IQN号不可以是中文
2.存储怎么关闭（不可以关闭/不可以重启，但可以挂起暂停）

linux访问存储

和windows流程一样，可以再创建一个lun、lun组、主机、主机组、映射视图





上层业务主机向存储业务口ip发起连接
[root@jumpserver ~]# iscsiadm -m discovery -t st -p 11.1.1.100 向存储业务口ip发起连接
-m mode模式：discovery/node/fw/session等
-t type类型：send target 发送目标st
-p portal ip[:port] ip加端口号（端口号可选）
-l： login 登录
[root@jumpserver ~]# iscsiadm -m node -l 登入
[root@jumpserver ~]# cat /etc/iscsi/initiatorname.iscsi 查看下iqn号
InitiatorName=iqn.1994-05.redhat:f341342db1
把上层业务主机的iqn号加入到存储的逻辑主机里面（linux002）

退出（-u）再登入（ -l），刷新下才会识别到刚添加的硬盘/dev/sdb
[root@jumpserver ~]# iscsiadm -m node -u
[root@jumpserver ~]# iscsiadm -m node -l
[root@jumpserver ~]# lsblk 就读取到第二块硬盘/dev/sdb
[root@jumpserver ~]# fdisk /dev/sdb 分区
[root@jumpserver ~]# mkfs.xfs /dev/sdb1 格式化分区成想要的文件系统
[root@jumpserver ~]# mkdir /data
[root@jumpserver ~]# mount /dev/sdb1 /data
[root@jumpserver ~]# df -Th -T显示文件系统类型

3、链路冗余多路径

业务系统主机多路径软件建议提前安装，因为安装多路径软件之后需要重启。
CNA自带多路径软件
Windows安装多路径软件
查看多路径软件安装说明书OceanStor_UltraPath_31.2.0_Windows，不支持win10，建议虚拟机中安装win server 2012再操作。

win+r 输入 \\共享主机ip  如 \\11.1.1.11\share 访问共享目录，把多路径软件传到虚拟机中

当一台主机有超过两条或者以上的链路连接同一个存储，主机必须安装多路径软件。业务主机通过存储的A控B控的存储业务口等多条业务链路连接，在上层业务主机向存储业务口ip（多个）发起连接和把业务主机的iqn号加入到存储的逻辑主机里面后，相当于每条业务链路都访问了一遍共享存储，导致出现多个共享存储的假象，实际上只有一个有效的共享存储。
假设H0口为A控的存储业务口（11.1.1.100），H3口为B控的存储业务口（11.1.1.101）。
创建lun、lun组、主机、主机组、映射视图。

上层业务主机向存储业务口ip发起连接


把业务主机的iqn号加入到存储的逻辑主机里面



加入4条业务链路（连接4个存储业务口）



安装多路径软件，业务系统主机多路径软件建议提前安装，因为安装多路径软件之后需要重启。




Linux安装多路径软件
上层业务主机向存储业务口ip发起连接
[root@jumpserver ~]# iscsiadm -m discovery -t st -p 11.1.1.100 向存储业务口ip发起连接
[root@jumpserver ~]# iscsiadm -m discovery -t st -p 11.1.1.101 向存储业务口ip发起连接
[root@jumpserver ~]# iscsiadm -m discovery -t st -p 11.1.1.102 向存储业务口ip发起连接
[root@jumpserver ~]# iscsiadm -m discovery -t st -p 11.1.1.103 向存储业务口ip发起连接
-m mode模式：discovery/node/fw/session等
-t type类型：send target 发送目标st
-p portal ip[:port] ip加端口号（端口号可选）
-l： login 登录
[root@jumpserver ~]# iscsiadm -m node -l 登入
[root@jumpserver ~]# cat /etc/iscsi/initiatorname.iscsi 查看下iqn号
InitiatorName=iqn.1994-05.redhat:f341342db1
把业务主机的iqn号加入到存储的逻辑主机里面

退出（-u）再登入（ -l），刷新下才会识别到刚添加的硬盘/dev/sdb
[root@jumpserver ~]# iscsiadm -m node -u
[root@jumpserver ~]# iscsiadm -m node -l
[root@jumpserver ~]# lsblk

[root@jumpserver ~]# mkfs.xfs /dev/sdb1 格式化分区成想要的文件系统
[root@jumpserver ~]# mkdir /data
[root@jumpserver ~]# mount /dev/sdb1 /data
[root@jumpserver ~]# df -Th -T显示文件系统类型
上传多路径软件并安装后重启，业务主机多路径软件建议提前安装，因为安装多路径软件之后需要重启。

# upadm show path  查看多路径
---------------------------------------------------------------
Array ID          : 0
Module Name       : Huawei.Storage
Controller0A State : normal
Path State        : 
                    H3C0T0L001    Up
                    H4C0T0L001    Up
                    H7C0T0L001    Up
                    H5C0T0L001    Up
---------------------------------------------------------------

4、FusionCompute搭建V6存储仿真器

虚拟机模板导入V6存储仿真器模板文件





安装过程中出现要加载证书的话，就点加载证书后继续上传




按模板部署存储虚拟机，按照模板的内容来创建存储虚拟机不要更改内容。






VNC登入存储虚拟机，配置存储管理口ip


可以通过 show port ip 这个命令查看mgmt存储管理口ip信息

登录 https://192.168.150.100:8088/ https://存储管理口ip:8088 登录。

注意：此页面一直在加载转圈的话就换浏览器登入
首次导入license要调整设备时间，官方提供的这个 license时间截止日期 2019年。所以手工把设备时间改一下，改成2019年之前（生产环境不用改），再导入license。



导入license

V6存储初始化之后，会自动的把存储池创建出来。
创建lun、创建lun组


创建主机和主机组



配置存储业务口ip





先创建windows server 2016虚拟机，再挂载iso镜像，再挂载tools，后设置ip
在FC上安装windows，安装完成后，必须安装tools工具，不然没有网卡，无法配置ip地址。






（1）硬盘和网卡选择virtIO类型（待会装WIN到一半会提示找不到硬盘，原因是没有virtIO类型的驱动） linux默认自带virtIO驱动，硬件都要装驱动，装完后网卡也缺少virtIO驱动。
磁盘和网卡设置virtIO类型，装virtIO驱动就是标记机器是虚拟机，通过虚拟交换机交换数据，虚拟交换机在内存中很快的，装virtIO驱动是提高性能的。如果不设置这个驱动，系统不认为它是虚拟机，以为它是物理机，所有数据流按物理机流量来走。




（2）安装tools（linux和win装完后要安装tools）tools是虚拟机的驱动程序，装完WIN没有网卡驱动是因为没有安装tools，很多高级特性依赖tools。装完tools（tools自带网卡驱动）后就有网卡驱动能配置以太网了。
装WIN过程中没识别到硬盘，系统盘都驱动不了，用虚拟软驱解决的（vhd驱动放在软驱里），为什么不把网卡驱动放虚拟软驱里？虚拟软驱才1.44MB怎么可能放那么多驱动呢，先把系统装好后面再装其它驱动更方便。

上层业务主机向存储业务口ip发起连接

把业务主机的iqn号加入到存储的逻辑主机里面

5、Fusioncompute对接存储

生产环境存储和仿真器是一样的，出厂自带存储系统，不需要手工安装。仿真器为了模拟，需要手工安装存储系统。
windows对接的存储流程：
1.配置存储（配置存储业务口、lun、lun组、主机、主机组、映射视图）
2.windows iSCSI启动器进行连接（向存储业务口打电话）
3.存储接到电话说不认识你，需要在存储的逻辑主机里面把 windows（业务主机）的IQN号添加进去
4.windows侧刷新硬盘，之后分区格式化使用
华为企业级虚拟化软件Fusioncompute对接存储流程：
1.配置存储（配置存储业务口、lun、lun组、主机、主机组、映射视图）
2.FC侧-存储-存储资源-添加存储资源（向存储业务口打电话）
3.存储侧把对应的CNA（业务主机）的IQN号加入到逻辑主机里面
4.FC侧-存储设备-扫描（磁盘刷新）
5.FC侧-数据存储-添加数据存储（格式化lun）
注意：FC对接存储，单个LUN最少必须为5G大小。存储仿真器单个lun限制最大容量刚好为5G。
重点：如果在生产环境里面，一定会做网络隔离和网络划分。VRM和CNA走就是管理网络。上层应用访问FC的虚拟机（ERP），走的就是业务网络。FC连接存储，走的就是存储网络。
服务器是多网卡的，配置不同的网段，不同网段干不同的事。

配置存储（配置存储业务口、lun、lun组、主机、主机组、映射视图）







FC侧-存储-存储资源-添加存储资源（向存储业务口打电话）



存储侧把对应的CNA（业务主机）的IQN号加入到逻辑主机里面


FC侧-存储设备-扫描（磁盘刷新）


FC侧-数据存储-添加数据存储（格式化lun）

6、存储虚拟化

虚拟机迁移

1、更改主机，虚拟机有共享存储，通过单独更改主机可以将虚拟机从CNA1迁移到CNA2。
2、更改数据存储，在同一台主机上，把虚拟机磁盘更改为另外一个磁盘（数据存储）。单独更改数据存储，只能去更改当前主机映射过来的数据存储（包括多个本地盘，或共享存储），不能看到其他主机的。
3、更改主机和数据存储
先更改数据存储将虚拟机迁移到共享存储，再更改主机，就将虚拟机从CNA1迁移到CNA2了。
不需要共享存储，可以通过网络，直接从cna1的本地盘，到cna2的本地盘。虽然可以迁移，但是因为没有共享存储，所以无法使用FC集群提供的一些高可用特性。

创建虚拟机过程中磁盘配置模式和磁盘模式选择

1、普通磁盘分配磁盘空间，立即分配所有空间，立即将所有空间填0。

2、普通延迟置零磁盘分配磁盘空间，立即分配所有空间，写前将所有空间填0。

3、精简磁盘，用多少占多少空间

磁盘模式
1、从属：从属磁盘是受到快照的影响的。从属磁盘里面123，快照里面就会保存123对应的元数据。未来还原快照的时候，也会还原123。从属磁盘里面的数据，当拍摄快照的时候，数据是保存在快照里面的（元数据，不是真正的底层块数据）。Metadata元数据（描述数据的数据）。
只要是独立的，就不受快照影响。
2、独立-持久：不受快照影响。一般充当数据盘，比如给某个虚拟机挂一个数据盘，未来在对虚拟机拍快照的时候，快照里面是不会包含这个数据盘信息的，未来还原这个快照，也不会影响数据盘信息的。当重启或关机再启动的时候，独立持久数据依然存在。
3、独立-非持久：它也不受快照影响，拍摄快照，里面是不会包含独立非持久盘里面的数据的。类似于网吧的系统盘，重启或者关机再启动的时候，独立非持久数据就会清空掉。
持久化磁盘即数据可以永久保存。在创建独立持久磁盘时，快照中不包含该磁盘，更改将立即并永久写入磁盘，回滚快照不会导致数据回滚。类似于U盘，应用于个人独有数据存放。
非持久化磁盘即数据不永久保存。处于保护磁盘数据的目的，在启动虚拟机时，对这种非持久化磁盘先创建差分磁盘，在虚拟机运行过程中，将有更改的数据全部写入差分磁盘，在虚拟机关机后，将差分磁盘数据删除，达到还原磁盘的目的。应用于公共计算机、计算机数据自动还原的场景。

差分磁盘必须基于一个已有的父磁盘来创建，它只记录相对于父磁盘的差异数据，包括数据的增改，差分磁盘不能脱离父磁盘而存在，如果父磁盘进行了修改，则差分磁盘的数据将不再可用。
对差分磁盘进行读操作，会首先读取差分磁盘中的数据区域，如果不存在，则表示该数据区域未被修改，则通过文件头的索引找到父磁盘，再对该区域进行读取。对差分磁盘进行写操作时，则直接写在差分磁盘上。
差分磁盘的结构和动态磁盘完全一致，文件头中会记录父磁盘的路径，数据区只记录和父磁盘差异数据，大小也会随着数据的写入而自动增长。

快照：虚拟机可以将当前状态保存在快照文件中，包括磁盘内容、内存和寄存器数据。用户可以通过恢复快照多次回到这一状态，虚拟机用户在执行一些重大、高危操作前，例如系统补丁，升级，破坏性测试前执行快照，可以用于故障时的快速还原。
创建快照会创建一个差分磁盘文件，该磁盘文件与源磁盘文件存放同一目录下。源磁盘文件会转为只读，新写入的数据存放在差分磁盘文件中。
回滚快照时会删除差分磁盘文件中的数据。
删除快照时，系统会整合原磁盘与差分磁盘文件里面的数据，形成新的磁盘文件。

存储热迁移：FusionCompute提供了虚拟机磁盘的冷迁移和热迁移，冷迁移是在虚拟机关机时候，将其磁盘文件从一个存储移动到另一个存储，热迁移可以在不中断业务的前提下，将虚拟机磁盘从一个存储迁移至另一个存储。
1、热迁移首先使用写时重定向，将虚拟机数据写入目的存储的一个差分磁盘，这样原磁盘文件就变成只读的。
2、将源卷的所有的数据块依次读取出来并合并到目标端的差分磁盘中，等数据合并完成后，目的端的差分磁盘就拥有虚拟磁盘的所有最新数据。
3、去除目的端快照对源卷的依赖，将差分磁盘修改为动态磁盘，这样目的端磁盘文件可以独立运行。

本文标签： HCIA