众议：人工智能的应用安全问题-中国教育和科研计算机网CERNET

资讯

校园信息化

技术

资源与应用

产品与装备

信息服务

首页 > 教育信息化 > 资　　讯 > 观　　点

众议：人工智能的应用安全问题

2025-03-21 中国教育网络

　　人工智能发展与应用如火如荼，高校应如何看待当前人工智能应用安全所面临的挑战？如何处理好人工智能发展与安全的问题？在2024中国高校CIO论坛上，华南理工大学网络安全和信息化领导小组办公室主任陆以勤、天津大学信息与网络中心主任于瑞国、电子科技大学信息中心主任任立勇、南昌大学信息化办公室主任周辉林、哈尔滨工业大学网络安全和信息化办公室常务副主任于游围绕“人工智能的应用安全问题”话题展开研讨。

　　陆以勤：从物理世界中寻求人工智能安全的解决之道

陆以勤华南理工大学网络安全和信息化领导小组办公室主任

　　我们讨论人工智能安全问题，首先要明确人工智能安全的属性。从目前看来，业界将人工智能安全列入网络安全范围，属于网络安全工作的新内容。因此，分析人工智能安全，可以从我们熟悉的网络安全的体系架构和思维逻辑入手，找到我们处理人工智能安全问题的基本原则和方法论。

　　例如，我们先考虑一个基本的问题：网络安全问题是如何产生的？可以说，网络安全是网络空间固有的问题。网络空间的本质是人造的虚拟空间。尽管网络空间与物理空间并存，但它并非虚无缥缈，而是物理空间的映射和投影。因此，物理空间存在的安全问题，也会投射到网络空间。另一方面，人们在打造网络空间的过程中，也会带来安全问题。从互联网诞生的历史看，TCP/IP之所以能战胜其他各种协议，源于它的简单、开放。而简单、开放，恰恰与安全是相悖的。当TCP/IP成为互联网的基石，我们才发现，在互联网的发展中，安全问题被长期忽视。

　　与此相似，人工智能安全也是人工智能发展的固有问题。人工智能的本质，是在人造的虚拟空间或者网络空间中再创造一个“人”，把人类思维和逻辑投射到这个虚拟空间中。由于人类社会本身存在很多安全问题，我们在数字空间中打造的“人”，也必然存在安全问题。在创造这个虚拟“人”的过程中，由于使用了深度学习、大模型等复杂和规模化的技术，我们不一定清楚其底层的运行机制和技术细节，如同面临一个“黑箱”，不知道里面是否存在漏洞，传统的安全检测也将面临挑战。

　　既然人工智能安全是人类创造人工智能过程中的固有问题，那么在处理人工智能安全问题时，我们也可以参照物理空间中的处理方式寻找灵感。例如，人的眼睛对于对抗样本感知不灵敏，但对抗样本可以影响模型的判别，这点类似人的眼睛无法感知如紫外线等不可见光，但不可见光却可以影响人的身体或者仪器设备。在现实生活中，人们可以利用防护服、过滤器、传感器等方法感知和防御紫外线。同理，在处理对抗样本攻击时，可以给模型穿“防护服”，增强模型的鲁棒性；可以像过滤紫外线一样，对数据进行过滤清洗；也可以使用“传感器”，进行对抗样本检测和防御。

　　目前，人们对人工智能的伦理问题非常关注，这个问题同样可以从现实生活中寻求灵感。第一，在社会发展中，我们坚持发展与安全并重，网络安全就讲究“谁主管谁负责，谁运行谁负责，谁使用谁负责”，人工智能也应该采用相应的措施，明确其安全责任。第二，大模型的训练类似于人类的学习过程，在教育领域，我们需要对学生的教材进行审核，同样，在训练模型时，对于“喂”给大模型的数据，也应该制定监测和审核机制。第三，现实中，网络安全的应急响应机制讲究事前防范、事中干预、事后优化加固修复等事件全生命周期的闭环处理，同理，处理人工智能的安全事件，也应该建立类似的机制。

　　于瑞国：用辩证的眼光看待AI应用，不可因噎废食

于瑞国天津大学信息与网络中心主任

　　高校信息化工作者需积极推动人工智能成果融入信息化与数字化系统，以支撑服务学校高质量发展。但安全问题是AI应用的核心挑战，必须要引起足够重视。从目前AI赋能科研的实际来看，人工智能应用及大模型训练面临诸多安全隐患，不可避免地影响着应用效果。

　　对此，高校需采取具体应对策略，如利用检索机制约束AI产出内容，弥补大模型软件漏洞，防范应用系统遭受攻击等。同时，AI应用的“答案幻觉”现象亦需警惕，以免给工作带来不必要的困扰。我们必须思考如何在积极推动AI融入学校数字化转型的同时，予以约束以免产生误导。此外，网络安全与数据安全同样重要，需通过工作机制及技术手段进行全方位的约束与限制。

　　魔高一尺，道高一丈。随着技术的进步，安全挑战也在不断升级。信息化工作者的任务是不断适应这些变化，确保人工智能技术的安全、可靠和有效应用。

　　新兴事物的诞生与应用通常伴随着一系列新问题的产生，但不能因噎废食。AI应用有利有弊，高校要用辩证的眼光，把利发挥到极致，把弊控制住，这既需要网信部门主动干预校正，也需要学校其他部门的配合与支持。总之，高校既要发展好人工智能这条新赛道，同时也要把应用安全做到可控范围之内。

　　任立勇：人工智能应用安全问题应与人工智能发展同步考虑

任立勇电子科技大学信息中心主任

　　当今，人工智能的发展如火如荼，各行各业、各个领域都在开展人工智能的研究和应用，我们专门针对人工智能的安全问题进行探讨非常有必要。

　　在信息化建设的过程中我们发现了很多数据孤岛，究其根本原因，是从前在做信息化建设的时候，大家的积极性都非常高，每个部门、每个行业都在做，导致了数据孤岛的出现。

　　如今，人工智能十分火热，如果我们不考虑安全问题，等将来人工智能的应用广泛了，我们又将要调转头来弥补当前没有考虑到的安全问题。值得庆幸的是，在人工智能领域，大家都达成了共识：一定要边发展边治理，而不能先发展再治理。

　　电子科技大学是一个特色性非常强的学校，主流学科都集中在电子信息领域。学校从事人工智能研究的学院和老师众多，师生的信息素养相对不错，并在垂直领域的应用有一些比较好的案例，比如电子科技大学深圳高等研究院做了关于重度精神障碍的人工智能验证模型，再比如在教学领域，马克思主义学院联合计算机学院、信息中心一同做了思政大模型，辅助教师的教、学生的学、主管部门的管。

　　然而，各种各样的大模型层出不穷也给安全带来了很大的隐患，如数据安全、系统安全、模型安全、算法安全等。人工智能带来的安全问题既需要网络中心去关注，也需要从事人工智能研究和应用的所有部门协同，同时，也希望由主管部门牵头的关于人工智能安全的防护体系、评估体系能够尽快出台，让高校可以借鉴和应用。

　　周辉林：统筹高质量应用和高水平安全

周辉林南昌大学信息化办公室主任

　　人工智能应用安全与网络安全一样，需要我们统筹高质量的应用和高水平的安全。

　　高校的人工智能应用也存在信息孤岛现象。信息孤岛产生的根本原因是线下业务的逻辑问题，各部门因为种种原因不愿意共建共享数据。例如，学校各部门都想推出自己的大模型，但业务部门往往只考虑结果，不虑过程的安全。针对此，我们可以让各部门自建系统，但安全性评估需要集中到学校网信中心的统一框架上。

　　此外，对于南昌大学这种规模的高校，目前的现实条件还不允许我们打造学校专属的大模型。但我们可以基于通用大模型和本地AGI接口技术来建设学校大模型，并考虑每个部门的现实需求，对模型提问范围进行约束和限制，避免出现伦理问题和意识形态问题。

　　正如教育部部长怀进鹏所述，“人工智能是把金钥匙，不仅影响未来的教育，也影响教育的未来。”在教育领域，人工智能应用是必然。应该把对人工智能能力的要求同步到学校课程里，让人工智能赋能教育发展。

　　于游：以积极、审慎、包容、开放的态度拥抱AI

于游哈尔滨工业大学网络安全和信息化办公室常务副主任

　　在人工智能发展的大潮中，我们应当重视人工智能应用所具备的安全性、公平性、透明性和可靠性，应努力避免数据泄露、消除数据偏见。此外，高校需结合当前社会实际和文化规范背景，积极探索构建人工智能应用的正确的价值观导向和技术能力发展的路径。

　　总之，高校要在确保安全的基础上，秉承积极、审慎、包容、开放的态度去拥抱AI等新技术，让新技术推动高等教育高质量发展，让我们的未来生活更加美好。

　　本文刊登于《中国教育网络》2025年1月刊，根据2024中国高校CIO主任论坛“人工智能的应用安全问题”研讨内容整理

　　整理：陈茜、项阳、陈荣

　　特别声明：本站注明稿件来源为其他媒体的文/图等稿件均为转载稿，本站转载出于非商业性的教育和科研之目的，并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题，请作者在两周内速来电或来函联系。