5月20日，河北省保定市徐水区一家现代农业示范园区的工作人员在智能温室内定植水培蔬菜幼苗。近年来，河北省保定市徐水区依托现代农业示范园区建设，将“工业化”理念引入农业生产，发展培育品牌农业、智慧农业、生态旅游农业等特色高效农业，辐射带动农业增效和农民增收，赋能乡村产业振兴。新华社记者 朱旭东 摄

  近年来，全球人工智能（AI）产业蓬勃发展，今年ChatGPT更是引爆了新一轮投资和竞争浪潮，人工智能已成为新一轮科技革命和产业变革的重要驱动力量。《经济参考报》记者在调研中发现，人工智能正显露出对网络安全行业的巨大影响力和应用潜力，如何应对人工智能可能带来的安全问题成为各界关注点，也成为网络安全工作的下一个着力点。

  人工智能产业发展迅速

  近年来，人工智能产业加速发展。据中国信通院测算，2022年我国人工智能核心产业规模达5080亿元，同比增长18%，企业数量超过4000家，中国人工智能产业已进入全球第一梯队。另据预测，2030年我国人工智能核心产业规模将超过1万亿元人民币，全球人工智能市场规模将达到16万亿美元。美国商会今年3月的报告指出，在未来20年里，“几乎所有企业和政府机构”都将使用人工智能，人工智能将对社会、经济和国家安全产生深远影响。

  中国科学技术部部长王志刚近日在第七届世界智能大会上表示，当前全球人工智能发展进入新一轮跃升期，超大规模预训练模型的重大突破实现了人工智能的一次历史性跨越，探索出通往通用人工智能的可能路径，潜在创新发展空间巨大。

  当前，主要发达国家均十分重视发展人工智能，美国、英国、法国、德国、加拿大、日本、印度、新加坡等国均已陆续发布了人工智能战略。我国也十分重视这一领域的发展，2017年就印发了新一代人工智能发展规划，提出要抢抓发展的重大战略机遇，构筑我国人工智能发展的先发优势。

  今年，ChatGPT引发新一波人工智能投资和竞争浪潮。谷歌、Meta等美欧企业和我国的百度、阿里、华为、科大讯飞等都在加紧对人工智能的研究。

  业界人士预计，未来5至10年将是人工智能发展的关键期。仅就生成式人工智能而言，Gartner预计其将在2至5年内进入成熟期，并将带来大量的应用机会和商业潜力，是未来的重要技术趋势。

  潜藏安全风险引担忧

  人工智能在网络行为异常分析、网络安全漏洞识别、人脸检测、自动威胁检测、反欺诈等很多方面都发挥了重要作用，但人工智能快速发展可能带来的潜藏风险引发广泛担忧，关于人工智能发展监管的呼声越来越高。

  中国信息协会信息安全专业委员会主任叶红指出，全球范围内人工智能引发的数据泄露、网络攻击、模式误导、学习反噬等安全风险日益凸显，已成为影响和制约人工智能高质量发展的障碍。下一阶段，人工智能安全将是网络安全发力的一个重点。

  国家信息中心党委专职副书记、纪委书记吴文化日前在2023西湖论剑·数字安全大会上表示，人工智能给网络安全引入了三方面风险：一是网络攻击风险，人工智能在一定程度上降低了网络犯罪的门槛，提高了攻击的有效性；二是数据泄露风险，容易造成敏感数据或个人信息泄露；三是模型误导风险，一旦遭受数据投毒或模型攻击，容易引发负面舆情扩散或重要决策偏差。

  人工智能发展所呈现的新特征带来了安全挑战。中国电信股份有限公司研究院副院长/云网基础设施安全国家工程研究中心常务副主任李安民认为，人工智能安全不同于以往，其具有double security（双重安全）特征。以往的安全主要是确保系统、对象的安全，而人工智能对象特殊，目前已进入模型驱动时代，其本身具有学习、演进、变化的能力。尤其到元宇宙时代，多元、多维、全息、全能的特征和以往狭义的网络空间和网络信息安全相比，人工智能涉及的安全问题范畴无论从内涵还是外延都有极大的突破。

  中国电信集团有限公司科技创新部总经理/云网基础设施安全国家工程研究中心主任王桂荣认为，由于AI技术应用渗透到方方面面，因此有可能带来社会生活和社会治理安全的问题。一些技术，如歧视性的算法、换脸技术等，如果应用不当则会带来伦理安全等风险。

  国家信息技术安全研究中心原总工程师李京春认为，由于目前人工智能还不具备创新或联想的特性，尚不足以对人类安全构成威胁。但随着技术的不断演进，仍可能对国家安全、数据安全、网络安全具有影响。

  安恒信息董事长范渊日前接受媒体采访时也从技术层面分析解释了AI将带来的两个挑战：一是一些自动化生成工具会带来病毒、木马、后门等出现几率的大幅提升，甚至可能是几百倍的提升，怎样来对抗、来快速发现和快速进行智能化的防护是重要挑战；二是如ChatGPT这样的应用大模型会伴随大量的数据应用，从而产生相关的安全漏洞风险。

  业界人士还指出，人工智能应用不当或滥用会增加网络安全、信息安全的监管成本，引发监管滞后。中国电科首席专家董贵山对此表示，ChatGPT作为辅助工具后可能出现过度采集使用者信息的情况，如果ChatGPT本身的源代码上游系统有漏洞，也会导致不同用户的交互隐私遭泄露。

  中国工程院院士沈昌祥警告，人工智能自身失误可能会给人类带来灾难；智能硬件可能被恶意用于恐怖袭击；智能工具可能被用于干预和引导政治走向；智能化武器与军备竞赛引发国际新的担忧。

  未雨绸缪筑牢安全防护墙

  业界人士认为，在人工智能发展过程中，要坚持安全可靠和创新发展并重，筑牢安全防护墙，应对人工智能带来的安全风险亟须未雨绸缪，从而真正拥抱人工智能发展带来的机遇。

  中国科学技术协会主席万钢近日表示，要进一步推动科技、伦理、规范、标准和技术的融合，为智能体构建与科技向善的人类共同理念相契合的学习、理解和行为模式，以及更有效的安全性、可靠性、有效性的行为边界。

  在沈昌祥看来，人工智能发展是趋势，但安全是发展前提，要避免产业盲目发展，需要构建主动免疫人工智能安全产业的空间。他提出，构建起业务信息、资源和管理的安全可信的三重防护框架，并设置基础软件安全可信、应用软件可信、电信安全可信和实时态势感知四个保护等级。

  我国对人工智能安全高度重视，近年来，关于网络安全的法律法规、标准规范，包括各种团体标准、地方政策不断出台。

  业界人士认为，从制度、标准、防范技术等方面来看，在制定了相应的框架后，仍需进一步细化深化。与产业的蓬勃发展相比，安全制度仍显得滞后，给人工智能风险防范和安全监管带来了严峻挑战。

  叶红建议，要健全人工智能安全制度的体系建设。在推动产业发展时，应深刻认识到其发展可能面临的风险，健全和完善人工智能算法安全、模型安全、数据安全以及安全评估等政策和制度；要在强化人工智能安全行业治理方面加大力度，需要多元主体共同参与治理。积极鼓励相关科研院所持续开展人工智能相关重点问题研究，鼓励相关行业组织制定相关人工智能标准；鼓励第三方开展相关安全评估和检测认证。

  李京春指出，人工智能安全问题需要全球共同治理，守住道德底线。要重视软件和软件供应链的安全管控，加大数据安全保护力度，要开展识别、封控等对抗AI技术研究，打击人工智能犯罪。要加强网络安全审查、数据安全审查等国家安全审查。

  针对人工智能隐藏风险的新特征，方正证券5月的研报指出，在本轮人工智能产业浪潮下，网络安全产业在攻击侧、防守侧及监管侧的逻辑将发生重大变化。

  记者在调研中发现，网络安全企业和技术应用企业已经在积极把握时机，主动应对人工智能的新模式、新应用带来的安全需求。

  作为深耕网络安全的企业，安恒信息对人工智能安全防护有着积极看法。“‘AI+安全’，这个大幕才刚刚拉开，未来还有更大的可能性。”范渊认为。据介绍，安恒信息积极利用“AI+安全”的智能化应用给智能防护和响应产业带来的机遇。过去几年，安恒信息已经在云端数据大脑、云端AI模型生成及应用领域进行了积极布局，对类似于大语言模型带来的安全挑战已积累了一定实战经验。

  中国电信也在积极构建完备的人工智能应用安全处理体系。在让人工智能更安全方面，中国电信加大相关技术研发，攻关人工智能纵深防御技术、密码技术和数据产业链化技术。目前，其自主研发的威胁检测系统、隐私计算的数据共享平台，以及数据安全流通与监管系统、数据安全的智能化关键技术等，已经在内部和客户场景得到了广泛应用。

  业界专家指出，随着人工智能科技和产业的快速发展，有必要根据最新形势变化，制定实施新的人工智能发展国家战略，包括加快研发人工智能大模型、集中力量攻克人工智能关键核心技术、超前规划布局人工智能产业、培养和引进世界一流的人工智能创新人才、及时研究制定有关规则和标准等。针对一些核心技术方面的难题，特别是在基础理论、底层框架和算法核心领域，要强化和深入人工智能核心技术攻关，聚集产学研用各方力量，开展人工智能技术的联合攻关，深化人工智能的技术和产业融合创新。（记者 周武英）