您的位置:首页 > 参评方案展示 > 大数据

华东师范大学:数据交换体系建设

  编辑点评:高校信息化的诸多信息系统在运行的过程中产生了大量的数据,这些数据中的人、财、物等学校核心数据往往有跨业务系统使用的需求,因此需要一种技术框架能够协助这些核心数据的流动与共享。本案例通过高校数据交换体系的设计与实践,介绍了如何构造一个跨开发语言的中间层,提供数据梳理与数据分享的服务。

  现在,高校信息化围绕教学、科研、管理与服务等主题建设了诸多信息系统。这些信息系统在运行的过程中产生了大量的数据,而这些数据中的人、财、物等学校核心数据往往有跨业务系统使用的需求,因此需要一种技术框架能够协助这些核心数据的流动与共享。不同信息系统对核心数据的直接调用一方面面临着系统开发语言的不同、数据标准的不一致而带来一定的复杂度,另一方面也存在着数据暴露的风险,因此有必要构造一个跨开发语言的中间层,提供数据梳理与数据分享的服务,这也是本文的研究出发点。

  高校数据交换体系设计

  核心数据集梳理

  数据梳理主要是指对数据的结构、内容和关系进行分析,在关键的数据诊断阶段可以提供高校数据的质量信息。这些信息在帮助确定高校能提供什么样的数据和这些数据的有效性和实用性等方面起到重要作用。

  在高校信息化建设中,核心的数据集包括人、财、物三个方面,其中,人方面包括教师与学生这两个主要的数据对象。财方面包括项目数据、收费数据、工资数据这几个主要的数据对象。物方面包括合同数据、仓库数据这几个主要的数据对象。以下对前面提及的若干个数据对象做进一步的解释。

  1.学生数据

  学生数据包含个人信息、课程信息、成绩信息、生活信息等,主要关联库为公共数据库,教务信息库。

  2.教师数据

  教师数据包含个人信息、课程信息、生活信息、财务信息等,主要关联库为公共数据库、教务信息库、财务信息库。

  3.项目数据

  项目数据包含单位科研项目和个人的科研项目等,主要关联库为共数据库、财务信息库、一卡通信息库。

  4.收费数据

  收费数据包含学费、住宿费、餐费等,主要关联库为共数据库、财务信息库、一卡通信息库。

  5.工资数据

  工资数据包含教师的工资、酬金、房贴等,主要,主要关联库为共数据库、财务信息库、一卡通信息库。

  6.合同数据

  合同数据包含设备处信息、供应商信息、一卡通信息、财务信息等,主要关联库为共数据库、财务信息库、一卡通信息库。

  7.仓库数据

  仓库数据包含设备处信息、合同信息、库存信息、一卡通信息、财务信息等,主要关联库为共数据库、财务信息库、一卡通信息库。

  高校数据交换体系原型

  高校数据交换体系的运作原理如图1所示。

  在数据规范方面,根据一定的数据标准对核心数据实施数据整理后形成核心数据集,对数据的管理与维护可以变得更加规范;在数据利用方面,WebService可以灵活地根据实际需求加以定制,使数据的利用更为灵活;在事务复杂度方面,信息系统通过数据交换中心获取数据,避免了核心数据的直接与繁杂的业务系统发生交互,从而降低了数据交互的复杂度;在数据安全方面,通过对数据交换中心的防护与加固,可以有效提高核心数据的数据安全。

  数据交换体系认证模型

  数据交换体系的认证模型如图2所示。业务系统调用WebService接口进行系统身份认证,服务器进行IP白名单认证和SOAP帐号密码认证,认证通过后才能继续获取数据。

  分析业务系统传过来的SOAP认证密码,服务器通过解析得到业务系统所需要的字段名称。

  整理业务系统需要的字段,从IDC数据库视图中进行获取,最后返回给业务系统。

  数据交换体系流程模型

  数据交换体系的流程模型如图3所示。

  业务系统调用WebService接口可以分为获取型接口和反馈型接口,分别处理从IDC库获取数据和修改IDC库数据的工作。大多情况下,业务系统仅需要使用获取型接口就能够满足需求,少部分需要使用到反馈型接口,使用反馈型接口则需要另外开通使用权限以保证数据库安全。

  获取型业务系统整理好自己需要的字段后,通过POST方式传送SOAP认证密码到服务器,服务器解析后得到业务系统所需要的字段名称,检测该业务系统是否具有权限访问接口(IP白名单方式),检测成功则返回业务系统所需要的字段,业务系统根据获取到的字段后各自处理自己的工作。检测失败则拒绝访问。

  数据交换体系模块设计

  1.认证模块

  WebService的认证分为两部分,第一部分为IP白名单认证,将需要使用WebService接口的业务系统的IP地址加入到白名单,使业务系统可以正常访问WebService,其他不在白名单的IP地址均做拦截访问处理。第二部分为Soap帐号密码认证,对Soap密码中进行了特殊处理,具体设计如下:

  考虑到接口通用性的问题,改造SOAP认证成为一个变量,设计成一个加密的数据库字段,例如,当前业务系统需要获取人员视图中的ID/NAME/SEX/EMAIL等字段,我们则提供一串加密码30D47E4ED9F8C37047AAB9645BFE6678B6B647F86AD406C8,由SOAP认证步骤来解密编码,同时,我们做了验证,服务器也知道了用户需要什么字段,再返回结果给业务系统使用。

  业务系统负责人在提出需求的时候必须明确需要的字段,根据提出的字段反馈对应的加密编码。

  由于业务系统可能有条件搜索的需求,在SOAP认证串中加入条件,例如ID/NAME/SEX/EMAIL|NAME:SEX(全量不需条件时留空或者填入ALL)。

  增加一个parameter接口参数,根据SOAP认证串中填入的条件来填写,例如,SOAP串ID/NAME/SEX/EMAIL|NAME:SEX,接口参数填写“李四:男”,则会查出,所有性别为男的姓名叫李四的人。

  由于业务系统可能有所限制,只能查询本部门的信息,限制必须做在我们这边,不能由用户来输入,此时我们可以在SOAP串中加入隐藏参数,例如:ID/NAME/SEX/EMAIL|NAME:SEX@DEPT=010203,服务器自动根据@后面的参数进行数据筛选。

  为了应对大量的数据,防止获取时超时,另有两个WebService接口参数,pageSize和pageIndex,表示返回结果分页显示,每个页面显示条数和页面序号,直到取不到数据为止。

  2.查询模块

  查询模块通过加密码,从中获取到用户所需求的数据字段,建立修改通道(通用接口),设计修改数据代码,最后形成WebService接口,根据不同的需求从数据源中抽取需求的数据,将获取到的数据通过XML形式返回给业务系统。业务系统只需要根据固定格式,分析XML即可获得想要的数据。

  3.添加修改模块

  修改模块需要得到特殊的认证,不是所有系统都能使用添加修改模块,涉及修改数据安全问题,必须谨慎操作。首先根据用户需求,整理出需要修改的字段和修改条件。然后根据用户需求建立修改通道(专用接口),设计修改数据代码,最后形成接口,用户只需要简单传入XML到WebService,WebService帮助用户进行数据固定操作,添加、修改、删除数据等。采用XML形式,可以根据XML不同的参数对应不同表数据,进行不同操作,而接口仅需要一个就可以完成。

  高校数据交换体系实践

  获取型接口案例:人员数据交换

  1.背景

  校内大多业务系统都会与校内人员有相应关联,需要用到校内人员的基本信息。公共数据库作为数据的权威,库内的人员数据则是最全最新最准确的。公共数据库为了保障数据安全,防止业务系统直接与数据库交互,开通了人员数据的通用接口,方便各业务系统使用数据,既保障了公共数据库的数据安全,又给业务系统提供了方便,使业务系统更好的为校内师生服务。

  2.人员数据需求整理

  师生综合平台这个为大多数师生服务的平台,数据的需求也是较为广的,需要的人员信息包含了,如:学号、姓名、部门编号、部门名称、身份证号、联系电话、EMAIL、性别、人员类型、政治面貌、在校状态、系所和专业名称等。其中为保障在校师生的信息安全,专为身份证号做了脱敏处理,仅显示身份证号的后6位。

  3.加密密码

  调用接口时需要SOAP密码来确认业务系统的身份和业务系统所需求字段。根据校内编码软件就可以方便地获得加密字符串,如:EA83AB5DA244E73DF7530ABA724FED9FFFDDF20F86F2081B9BF75371DD

7045FC1264FCD27C55B85FF545BE0EEDC339010F184B4F5E52A289A873

C7136BB225ACC747022D55DAFFA9B208E6F9AC2511F7。使用该字符串服务器就可以解析出业务系统所需求字段。

  4.获取数据

  业务系统通过调用通用获取WebService接口,服务器经过解析并筛选字段,整理出业务系统需要的字段,从公共数据库中获取需求字段,并返回结果给师生综合平台。平台在收到接口返回的数据后,就可以自由配分数据了。

  反馈型接口案例:科研财务数据交换

  1.背景

  校内财务处,需要关联科研项目经费库内的字段到财务系统中,从而使科研和财务库做到实时相通。

  2.科研财务数据需求整理

  根据与科研和财务人员的讨论,需要更新的字段有:科研单据、到款编号、拆分序号、科研项目代码、科研项目名称、财务项目代码、财务项目名称、负责人工号、负责人姓名、课题来源、院所单位、经费来源、备注、凭证号、凭证生成日期、状态、金额1、账号1、是否已转财务、操作人员、操作时间。由于是对数据库直接操作,所以出于安全考虑还是要再三确认更新字段。

  3.认证加密

  反馈接口的认证方式除了用普通的IP地址白名单方式+用户密码登录方式外,另外单独开放一个写数据库的权限给该业务系统。

  4.数据反馈

  业务系统通过调用专用科研财务反馈型的WebService接口,服务器根据XML中的TYPE参数区分修改的类别,整理出业务系统需要修改的表和数据,从科研财务两个库中查找到相应的表和数据,根据XML中的修改数据对应修改科研财务库,以达到用户需求。

  自2015年3月各个接口陆续开通以来,单条接口通道从日均使用次数不足100次到现在日均使用次数3000次左右,业务系统反应良好,并未出现数据错误和数据延迟等现象。越来越多的业务系统也在不断的接入,逐步替代了直接访问数据库的方式,既便捷又安全。

  目前,通用接口共有3个,涉及业务系统25个,其他非通用接口103个,涉及业务系统58个,总共接口日均访问数量近3万次,可见WebService接口在日常数据交换中的重要性。

  本文研究了高校数据交换中心的重要性,数据交换中心给高校业务系统提供有效的、准确的、唯一的、方便的数据交换服务。做好高校数据交换可以为高校业务系统间的数据交换提供一个新的方案。

  (作者单位为华东师范大学信息化办公室)

来源:中国教育网络作者:龚磊 赵春 王冠西 沈富可