现在从国家到学校都非常重视“信息孤岛”问题,并相继投入了大量的人力和财力,本文作者在学校实施教学改革和开展数字校园建设的过程中,通过建设与部署“本科生创新网”、“国家级虚拟仿真实验中心”、“课程中心平台”等几个校级的系统,也确切感觉到“数据孤岛”给数字化校园建设带来的问题。目前主要解决的办法有两种:一种是推翻原有系统,建立校级数据中心,由学校重新规划建设各部门信息系统;一种是对原有的系统进行升级改造,然后实现跨部门之间的实时数据同步,让“数据孤岛”之间的基础数据有效共享、合并冗余数据 。
数字校园“信息孤岛”壁垒
随着信息技术的快速发展,“信息孤岛”(Information Isolated Island)所带来的管理与技术问题在高校数字校园建设中普遍存在,所谓“信息孤岛”指的是相对独立的不同类型的资源信息系统,由于各系统间相互封闭、无法进行顺畅的信息交流,犹如一个个分散、独立的岛屿。其本质的问题就是这些独立的系统之间所生成的数据无法相互共享、数据不一致,这不仅导致了不同的系统因独立管理而产生大量冗余数据,而且由于系统与系统之间无法进行数据关联,特别在大数据时代无法对数据进行科学分析,学校无法通过这些数据进行科学的管理与决策。信息孤岛的产生不是一开始就存在的,它是高校在信息化推进的过程中逐渐产生的一种必然现象。其产生的原因主要是高校在信息化建设初期,在认识上,没有充分理解信息化内涵,过于注重技术而忽略应用;在管理上,缺少统一规划,多个部门各自为阵;在技术上,只注重硬件投入,而忽略软件资源的建设。“信息孤岛”的存在很大程度上制约了校园信息化的进程,已经成为各高校急待解决的问题。查阅文献发现,目前在关于解决“信息孤岛”问题上,主要还是从政策理论上去避免“信息孤岛”的产生,通过技术来解决现存的“信息孤岛”的方案相关文献比较缺乏,特别是针对高校这种特殊的情况。目前也有专家提出基于信息交换平台的实现方法,比如,李杰玲,雷军程提出基于XML消除高校信息孤岛,郭向阳提出基于数据库复制技术的数据交换平台研究与实现等。本文提出的是一种基于日志解析数据同步的“数据孤岛”解决方案。该方案在许多方面都有其不可替代的优势,这主要体现在:操作方便,适合远程同步操作;实现记录级数据同步;实现表一级数据同步;实现异构表间的数据同步等。
系统设计总体思想
本文提出的数字校园的数据同步方案,主要依靠分析Oracle数据库归档日志文件,解析日志中的SQL语句,进而让远程目标数据库执行同样语句实现数据同步。要解决的主要问题是对Oracle数据库归档日志的提取和分析,以及分析结果的SQL语句重构问题。
Oracle数据库的所有更改都记录在日志中,但是原始的日志信息我们根本无法看懂,而从目前来看,分析Oracle日志的较好的方法就是使用Oracle公司提供的LogMiner工具来进行。LogMiner工具是Oracle8i版本以后新增加的功能。通过LogMiner工具,可以进行日志分析,分析在线日志、离线日志以及数据库的重作日志文件。
在分布式环境下开发数据交换系统,面对的主要瓶颈还是增量数据如何同步以及数据同步的效率问题。分布式环境下不能采用集中环境中那种静态数据备份技术,这种技术传输文件大,并且效率很低。因此增量数据同步成为唯一可行的方案。在基于Oracle数据库的环境下,增量数据同步就必须解决数据库日志的解析以及增量数据在目标计算机快速入库的问题。
特别声明:本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者在两周内速来电或来函联系。