校园网存储系统可充分利用虚拟化与分布式技术的特点,采用多层次的模块化应用,使整个存储系统从硬件架构到软件的应用方式变得更加灵活和易扩展,同时又因为虚拟化与分布式技术本身的安全特性,系统在数据安全性上具有先天优势,从而实现低成本部署数据存储服务系统,为校园网络建设提供低成本、高扩容的存储保证。
系统凸显低成本、高扩容
天津城市建设学院通过Ubuntu系统搭建开源的Hadoop存储应用基础,在服务器虚拟化平台上运行,从而获得能够拥有更快、更稳定、更安全的硬件保障,使用iSCSI技术,尽可能降低存储部署成本,使其能够方便灵活地被使用。该系统是基于虚拟化的分布式校园网存储系统,利用VMware虚拟化平台将服务器硬件存储资源进行整合,通过建立Lun将服务器的磁盘阵列进行划分,组成多个磁盘逻辑,然后通过在Lun上安装Ubuntu操作系统及搭建iSCSI服务器端,使得存储硬件资源能够灵活地应用在Hadoop系统中。Hadoop将部署在虚拟化硬件平台上构成一个分布式的文件系统,通过WebDAV协议建立与客户端服务器的应用通信。用户可以通过访问客户端服务器将文件通过WebDAV以HTTPS方式传输到Hadoop存储集群中保存。
该系统的设计充分利用虚拟化与分布式技术的特点,采用多层次的模块化应用使得整个存储系统从硬件架构到软件的应用方式都变得灵活和易扩展,同时又因为虚拟化与分布式技术本身的安全特性,系统在数据安全性上具有先天优势,从而实现数据存储服务的部署低成本,为校园网络建设提供低成本、高扩容的存储保证。
采用云存储与iSCSI技术
存储系统采用底层云存储技术与应用层iSCSI技术,为用户提供跨系统应用平台支持。工作原理如图1所示。
图1 存储系统的工作方式
系统由多台数据存储服务器通过iSCSI网络构成一个庞大的数据存储服务集群,每台存储服务器都由磁盘阵列通过iSCSI协议与点播服务器建立通信,在点播服务器本地生成一个磁盘镜像。虚拟化的VMware将服务器硬件存储资源进行整合,通过建立Lun将服务器的磁盘阵列进行划分,组成多个磁盘逻辑,然后通过在Lun建立存储资源池并提供给应用服务器。
采用VMware ESXi Server虚拟系统作为应用服务器集群底层系统,各应用服务器系统可在VMware虚拟系统上建立逻辑上的关联。VMware允许多个操作系统并行运行在一台高性能服务器上,与多个高性能服务器运行同一任务,同时通过网络对操作系统进行备份和管理,能够依据应用服务使用状况对操作系统实施迁移和复制,从而扩大网络应用处理带宽。
我们在VMware层上安装Ubuntu系统平台以及搭建Hadoop分布式存储系统。Hadoop系统能将数据同时分割成许多小块和备份,并通过点播服务器(NameNode)将其存放于不同的数据存储服务器中。在Hadoop的系统中有一台Master,它主要负责NameNode的工作以及JobTracker的工作。JobTracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。每一台Slave通常具有DataNode的功能并负责TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。
在NameNode上部署WebDAV(Web-based Distributed Authoring and Versioning)应用,实现应用服务器对存储资源的通信,从而让用户调用Hadoop上的数据。WebDAV是基于HTTP1.1的一个通信协议。它为HTTP1.1添加了一些扩展(就是在GET、POST、HEAD等几个HTTP标准方法以外添加了一些新的方法),使得应用程序可以直接将文件写到应用服务器(Application Server)上,从而替代传统的FTP传输文件模式。
特别声明:本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者在两周内速来电或来函联系。