世界上并不只有研究人员和技术人员的会议,系统管理员们同样有自己的会议,LISA(Large Installation System Administration)会议就是系统管理员们一年一次的嘉年华。LISA 会议是由USENIX举办的会议,专门讨论系统管理的技术与工具,让全世界的管理员们有机会交流彼此的经验,分享最新的工具和管理思想。
第24届LISA会议于2010年11月在美国的圣何塞市召开。协办方组织是LOPSA(the League of Professional System Administrators)和SNIA(Storage Network Industry Association)。LOSPA是USENIX下属的一个独立组织,主要面向系统管理员。
2010年LISA会议的一个重要主题是海量数据的管理,一方面由于会议的主题是针对大规模系统,另一方面也是由于互联网内容的不断变化(视频数据的增加)。
本文将介绍LISA会议上关于海量数据管理的几篇报告。
大型强子对撞机的计算处理挑战
拥有据说能毁灭地球的大型强子对撞机(LHC)的CERN(欧洲粒子物理研究中心)的IT部分负责人Tony Cass解说了这台大型物理实验设备背后的计算处理设施。
为了捕捉实验中每个质子或中子的活动,系统需要拍摄数百万张的电子照片,并将它们存储下来。目前的数据量大约是每秒100MB到1GB,每年大约需要存储25PB(25,000TB)的数据。CERN采用双层的数据处理机制,在CERN 中心只保存短期的数据,通过遍布世界的网格系统存储长期数据。
在软件上CERN采用了Oracle公司的RAC系统来保证系统的扩展性,并开发了CVMFS(CERNVM-FS,一种缓存文件系统)作为底层的文件系统支持。
这个系统除了扩展性,最重要的问题是可靠性,由于组成网格系统的每一台机器并非都是高性能的稳定服务器,基本上每个小时都会在网格中出现某台机器的存储故障,CERN 通过冗余分配存储任务来保证系统的稳定性。
特别声明:本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者在两周内速来电或来函联系。