刘权｜人工智能发展和安全并重的法治探究

基于“大数据+高算力+强算法”的人形机器人，能够实现连贯高效的人—机—环境智能交互，可服务特种领域需求，助力智能制造，成为人类生活助手和情感伴侣。尽管人形机器人存在功能安全、网络安全、个人信息安全、数据安全、国家安全、违法“代理”、侵权、伦理等多种风险，但如果过度追求安全，就会扼杀创新而阻碍发展。发展是安全的基础，安全是发展的条件，应实现人工智能发展和安全并重。通过理性实施包容审慎监管，推动人形机器人在发展中规范、在规范中发展。科学合理地开展安全风险评估，将人形机器人风险控制在可接受的水平。完善数据安全认证、个人信息保护认证等第三方声誉评价机制，并分级分类推动人形机器人标准制定。应合理配置相关主体的责任，避免人形机器人的过度拟人化，防止陷入“人形机器人陷阱”。通过完善的伦理规范约束人工智能研发者，并为人形机器人“加载”道德，使其对人和环境友好。

当前从法治角度对人工智能发展和安全并重的专门探究较少，有学者提出发展和安全并重是独具特色的中国人工智能治理之道，另有学者对实现生成式人工智能发展与安全并重的包容审慎监管进行了研究。对于人形机器人的发展和安全并重问题，部分学者探讨了人形机器人的隐私风险、操纵性风险、“信任控制”风险等具体风险，另有部分学者研究了人形机器人的法律治理基本架构、侵权责任、刑事责任等问题。现有研究已经取得了卓越的成效，但亟需从中观层面并结合人工智能的具体应用领域，系统深入探究人工智能发展和安全并重的法治问题。

科技的创新总是伴随着各种风险，智能时代科技更新迭代速度更快，发展和安全的矛盾变得更为突出。在未知大于已知的情境下，很难平衡发展和安全的关系。发展是安全的基础，过度追求安全会扼杀创新而阻碍发展。安全是发展的条件，罔顾安全而求发展会导致多种风险。《“十四五”机器人产业发展规划》《人形机器人创新发展指导意见》等文件均明确提出“统筹发展和安全”，《生成式人工智能服务管理暂行办法》第3条规定“国家坚持发展和安全并重、促进创新和依法治理相结合的原则”。2024年政府工作报告提出“开展‘人工智能+’行动，打造具有国际竞争力的数字产业集群”。2024年发布的《中共中央关于进一步全面深化改革、推进中国式现代化的决定》要求“实现高质量发展和高水平安全良性互动”“建立人工智能安全监管制度”。为了促进有效市场和有为政府更好结合，推动人工智能产业高质量发展，助力发展新质生产力，本文将以人形机器人为例，系统探讨人工智能发展和安全并重的法治之道。

发展和安全的冲突，在人工智能时代更为凸显。智能科技更新迭代迅速，监管机构的认知能力有限，在未知大于已知的情境下，处理好发展和安全的关系存在巨大的难度。发展和安全容易失衡，为了发展可能牺牲安全，为了安全可能罔顾发展。人形机器人在发展过程中会产生多种安全风险，但如果过度追求安全就会扼杀创新而阻碍发展。

一是功能安全风险。人工智能可能成为“人工智障”，无论是硬件有缺陷，还是软件有漏洞，都可能导致人形机器人功能失灵，从而引发安全事件。大量关于工业机器人造成灾难的数据都表明，即使在工业机器人的传统应用中，安全性仍然是一个未解决的问题。机器人伤人、杀人等事件屡见不鲜，如1978年日本一家工厂的切割机器人突然“转身”将工人抓住并切割。2015年，德国某汽车工厂一名工人被机器人按压在金属板上，最终因胸部遭受严重瘀伤而死亡。由于人形机器人具有高交互性，同人的身体接触更为密切，一旦出现功能失灵，将对人造成更大的伤害。如果大模型的数据有问题，高智能就无法实现，人形机器人的决策和行动就会出现失误。如果人形机器人没有及时辨明人的错误指令，那么由于人的失误也可能导致安全事件。人形机器人功能失灵不仅可能导致人类被伤害，而且由于无法实现既定功能可能造成重大损失。例如，在应急救援领域，如果人形机器人突然功能失灵，那么将造成更多的人员伤亡。二是网络安全风险。人形机器人离不开网络，但一旦接入互联网就存在网络安全风险。人形机器人的交互能力越强，承担的智能任务越多，面临的网络安全风险就越多。如果智能工厂中的人形机器人被实施网络攻击，不仅会对正常的工业生产造成不良影响，而且还可能威胁工人的安全。攻击者进行数据投毒，向模型的训练数据集中加入恶意样本或修改训练数据标签信息，从而影响模型在推理阶段的表现。恶意软件可能导致医用机器人在与人交互时执行不需要的操作，勒索软件可能劫持医用机器人为人质使其无法使用。黑客可能获取人形机器人所掌握的个人信息实施诈骗，或利用作为私人助手的人形机器人实施远程违法“代理”，也可能控制人形机器人实施入户盗窃、抢劫等犯罪行为。人形机器人的发展，可能大大增加恐怖犯罪活动的风险。如果加油（气）站、充电站、危险物品仓库、化工厂等危险目标遭到人形机器人的恐怖袭击，不仅可能造成人员、财产等重大损失，还可能造成极其恶劣的政治影响。三是个人信息安全风险。人工智能的运行离不开个人信息，个人信息如同“砧板上的肥肉”被无数主体所觊觎。人形机器人在同人类交互过程中，会掌握大量个人信息，如生物识别、身份证号、金融账户、医疗健康、特定身份、宗教信仰等信息，存在泄露的风险。大模型一方面可能会“记忆”并在特定输入诱导下泄露训练数据中的个人信息，另一方面可能推断出个人的宗教信仰、经济状况等个人信息而予以泄露。攻击者进行“撞库”攻击，通过收集互联网中已泄露的用户和密码信息生成对应的字典表，尝试批量登录其他网站。由于“耳聪目明”，人形机器人可能成为超强“窃听器”和“窃看器”。作为私人助手的人形机器人，不仅可能违法收集家庭谈话、电话通信等语音信息，还可能违法识别家庭财产、私密行为等图片、行为信息。作为情感伴侣的人形机器人，可能获取人类更愿意主动透露的个人隐私。在智能化社会中，如何有效保护个人信息，是人类面临的新的伦理、法律和社会问题。

四是数据安全风险。人形机器人不仅可能引发个人信息安全风险，还可能引发公共数据和企业数据泄露风险。人形机器人离不开生成式人工智能的运用，而生成式人工智能语料库的大规模流动、聚合和分析会带来前所未有的数据安全风险，其范围涵盖数据输入、运算、存储和输出的全过程，兼具瞬时性和破坏性。数据可能被人形机器人的开发者、相关软件运营者等主体违法处理，也可能被黑客窃取。现阶段的技术局限导致大模型应对训练数据提取攻击、数据投毒等数据攻击活动的稳定性不足。服务特种领域需求、助力智能制造等领域的人形机器人，收集存储的大量公共数据和企业数据可能会被泄露。企业数据属于商业生产资料，可能涉及商业秘密和核心数据资产，违法处理可能给企业带来巨大的经济损失。公共数据属于公共生产资料，但并非都应无条件开放，违法处理可能损害公共安全。五是国家安全风险。人形机器人可能直接被用于从事间谍活动，如窃取国家秘密、情报，或者针对国家机关、涉密单位或者关键信息基础设施等实施网络攻击。人工智能驱动的工具“一本正经地胡说八道”，极易生成诸多看似真实的虚假信息而形成“人工智能幻觉”。人形机器人如果基于政治目的进入社交媒体，就可能通过发言、转发、点赞、评论、添加好友等方式，影响公共决策的议程安排、传播假新闻、反映错误的社会群体分化、干扰竞争性选举、制造社会矛盾乃至群体对立，从而可能与国际政治领域的“信息战”相叠加引发国家安全问题。应用于国防、工业、金融、应急救援等领域的人形机器人，一旦出现大规模的网络安全、个人信息安全、数据安全等事件，就最终可能影响国家政治安全、经济安全和社会安全。六是违法“代理”风险。随着通用人工智能的不断发展，人类对人形机器人的依赖会越来越强，由人形机器人实施的智能法律行为引发的纠纷也将日益增多。智能法律行为存在于虚实融合的复杂系统，既可能涉及真实世界的人、物、基础设施等，也可能涉及虚拟空间的数字人、数据财产、虚拟生活或交易场景，并且双重空间在多元技术支撑下交互共生，扩张为“元宇宙”量级空间。作为私人助理的人形机器人，对外则可能被视为是主人的代理人。如果没有获得、超出或错误理解主人的指令，或基于深度学习，或被黑客操控，人形机器人对外实施的智能法律行为就可能构成无权代理，但在第三人看来则可能属于表见代理，由此可能引发行为的成立、效力、责任等纠纷。七是侵权风险。在发展和利用人形机器人的过程中，存在侵权风险。首先，高智能的人形机器人离不开大数据的喂养，而在数据的输入端，无论是数据“输入—收录”还是数据爬取，都可能侵犯数据产权。其次，在数据的输出端，基于大模型的人形机器人产生的作品可能存在知识产权争议。如何在人工智能衍生内容生成众多贡献者中进行抉择、取舍，确定某个或某几个主体作为知识产权归属者和相应侵权责任的承担者，成为棘手的新问题。在“AI文生图”著作权案中，北京互联网法院经审理后认为，自然人对其利用AI绘画大模型生成图片在符合一定条件下享有著作权，被告使用涉案图片作为配图并发布在自己的账号中，使公众可以在其选定的时间和地点获得涉案图片，侵害了原告就涉案图片享有的信息网络传播权。此外，被告将涉案图片进行去除署名水印的处理，侵害了原告的署名权。最后，使用者可能违法利用人形机器人实施侵犯人身权、财产权、名誉权、隐私权、个人信息权益等侵权行为，人形机器人也可能失控实施侵权行为。

八是伦理风险。无论具身智能技术如何先进，人形机器人的发展都可能产生伦理问题。性爱机器人率先攻入人类的私密生活领域，脱离了生殖目的的性行为受到了更多的宽容、默认乃至鼓励。“去中心化的性”对于传统的性观念造成冲击，而且随着性爱机器人自主思考能力的提升，人机间的主奴关系将发生颠覆。情侣机器人可能导致女性客体化、情感欺骗、社交弱化等问题。智能养老护理机器人的“计算式思维”远远大于关怀式思维，可能导致老年人对机器人产生“单向情感联系”或“单相思”，形成对机器人的过度依赖而减少真实的社交，由此又可能增加老年人认知功能下降和痴呆的风险。人工智能在伦理观念上存在很多局限，其决策结果是基于数据和算法的线性“思维”形成的，难以在各种场景尤其是突发场景中作出符合人类价值的伦理判断。算法可能加剧不平等，人类设计者隐藏的偏见、双重标准很容易嵌入算法。人形机器人的研发者为了追求商业利润最大化，可能违反基本的伦理规范。人工智能的失控，很可能是因为某位工程师的一念之差。

其二，绝对安全难以有效实现，应将人工智能的风险控制在可接受的程度。传统的绝对安全观念认为安全风险可以通过预测和计算予以完全控制，但数字时代人工智能的风险是由技术本身的特点和应用环境等多方面因素综合造成的，虽然可以通过法律治理、伦理治理等降低风险，但难以完全消除。除了风险本身具有不确定性，人类认知能力有限，也决定了难以实现绝对安全。数字时代科技发展的速度呈现指数级增加，专业性和门类性的特点越来越突出，但监管机构对创新的特点和技术趋势的把握往往并不十分精准，从而制约了风险规制的效果。追求零风险而确保绝对安全，是难以实现的，即使实现了也会耗费巨大的成本。《关于加强科技伦理治理的意见》要求“合理控制风险”。具身智能技术迭代更新迅速，人形机器人应用场景多元，监管机构认知能力有限，要想完全消除人形机器人的发展风险而确保绝对安全是不可能的。应当合理控制人形机器人的发展风险，以实现相对安全。

发展和安全二者相辅相成，发展是安全的基础，安全是发展的条件。首先，发展是安全的基础，只有发展才能促进安全。通过不断发展实现技术创新，提高人工智能治理的技术能力，可以更好地以技术防范人工智能风险。如果没有发展，技术就会不断落后，安全风险也会随之增多。“发展是硬道理，是解决中国所有问题的关键。我们用几十年的时间走完了发达国家几百年走过的历程，最终靠的是发展。”发展仍是解决我国一切问题的基础和关键，破解各种突出矛盾和问题，防范化解重大风险，归根到底要靠发展。《中共中央关于进一步全面深化改革、推进中国式现代化的决定》提出“高质量发展是全面建设社会主义现代化国家的首要任务”。当前我国人形机器人的制造技术还比较落后，只有不断发展才能更好解决其自身存在的诸多安全问题。其次，安全是发展的条件。安全不仅是一种价值理念，还是一种能够保障人们合理预期且客观存在的包含人格、财产与公共利益的复合型利益。如果安全性不足，无论多么先进的人工智能产品，都无法获得广泛的认同和接受，从而难以实现健康持续发展。人形机器人虽然应用场景广阔，能够满足人类的高品质需求，但如果频繁出现功能失灵、网络安全、个人信息泄露等重大安全事件，就会使市场逐渐失去信心而无法获得有效发展。

人工智能具有技术内核的不可知性、应用形式的拟人性、应用场景的多元化、利益主体的交融性、技术风险的未知性、社会影响的复杂性等特征，其发展过程伴随着多种风险，对人工智能的治理成为一项艰巨工程。《新一代人工智能发展规划》提出：“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。”大力发展人形机器人已成为不可阻挡的历史潮流，需要不断加强安全治理能力，保障人形机器人对人和环境友好。

包容审慎监管的价值目标是追求发展和安全的动态平衡，其既不主张完全放任也不支持过度预防，而是要求政府对新科技进行适时适度监管。对于正在发展中的人工智能，往往一时很难认清风险的有无和大小，如果抱着怀疑的眼光以“泛安全化”的思维仓促实施监管，一下子管得过严过死，就会将其扼杀在摇篮之中。人形机器人在发展初期难免经历混沌与混乱，出现一些安全事件是难免的，通过一定时间的试错发展或许就可能自己解决问题。包容要求“让子弹飞一会儿”，体现了通过发挥市场在资源配置中的决定性作用以实现效率最大化。然而，包容不是“撒手不管”“弱监管”的代名词，如果监管机构把包容当作“不作为”的“挡箭牌”，视为“甩包袱”的手段，不仅会使得个人、社会、国家处于巨大的风险之中，而且最终可能导致新科技“翻车”。一旦发现市场无法自我纠偏，就需要立即采取审慎监管措施“不让子弹乱飞”。对于人形机器人发展过程中的一些突出安全问题，监管机构应通过运用合比例性分析、成本收益分析等方法采取审慎的监管措施。包容和审慎二者之间是辩证统一的，无论是包容过度而审慎不足，还是包容不足而审慎过度，都会导致发展和安全的失衡。过度包容的监管可能积重难返且引发系统性风险，过于审慎苛刻的执法又可能损害新业态经济的宏观前景。应理性实施包容审慎监管，使人形机器人在发展中规范、在规范中发展，以实现发展和安全的动态平衡。

大力发展人工智能已成为全球培育新质生产力的关键，不能因为人工智能存在风险就予以过度限制甚至禁止，而应通过科学合理的风险评估将安全风险控制在可接受的水平。风险评估是风险规制的关键环节，风险规制的方法论可以提供有力的理论工具和切实可行的解决方案，从而有利于避免不必要的、可预防的损害，并有助于提高技术创新所带来的社会收益。突然性停电不总是一个安全的方法，设计安全性机器人的最重要的一个方面就是必须能定量评估风险，以比较不同的设计和控制策略，并进行优化。《人形机器人创新发展指导意见》提出：“强化整机、关键部组件、核心软件、算法等重点环节安全风险评估，促进安全能力提升。”《关于加强科技伦理治理的意见》要求“科技活动应客观评估和审慎对待不确定性和技术应用的风险，力求规避、防范可能引发的风险，防止科技成果误用、滥用，避免危及社会安全、公共安全、生物安全和生态安全”。《全球人工智能治理倡议》提出“推动建立风险等级测试评估体系，实施敏捷治理，分类分级管理，快速有效响应。”在人工智能的发展过程中，应通过科学合理的方法评估风险的大小，然后采取相应的风险管理措施。风险等级越高，采取的风险管理措施就应当越严格。对于人工智能的风险评估结果，可以分为无风险、低风险、中风险、高风险、不可接受风险五个等级。如果经评估后发现某类人形机器人将导致不可接受风险，就应当禁止研发此类人形机器人。

对于人形机器人的安全风险评估，至少应涉及算法影响评估、个人信息保护影响评估等类型。算法影响评估是指对智能系统的算法进行全面分析，以明确该系统的风险影响水平。通过对算法设计、部署、运行的全部流程予以动态评估，要求智能系统在应用于商业以及公共事业场景前就接受独立的专业分析，可以促使科技公司强化控制流程而实现更高效率的风险管理，有利于政府实施差异化、精准化的风险治理。我国在一些领域初步规定了算法影响评估，例如《互联网信息服务算法推荐管理规定》第27条要求“具有舆论属性或者社会动员能力的算法推荐服务提供者应当按照国家有关规定开展安全评估”，第28条要求“有关部门对算法推荐服务依法开展安全评估和监督检查工作”。《生成式人工智能服务管理暂行办法》第17条规定，“提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估”。人形机器人通过强算法与人类进行深入交互，应建立健全人形机器人算法影响评估制度。人形机器人同人类联系更紧密，必然涉及大量个人信息处理，应完善个人信息保护影响评估。个人信息保护影响评估是指对个人信息处理活动所造成的影响进行的评判，属于重要的风险评估方法。个人信息保护影响评估有利于及早发现相关行为可能存在的风险，从而可以有针对性地进行研发设计并采取防范措施。

人形机器人需要处理大量个人信息、企业数据、公共数据，有效保障个人信息安全、数据安全以及相关的国家安全，除了应当完善产品质量、服务、管理体系等传统认证制度，还需要建立健全适应数字时代的新型认证制度。应根据《数据安全管理认证实施规则》《个人信息保护认证实施规则》等规范性文件，结合人形机器人的新特点不断完善数据安全和个人信息保护认证制度。由于认证属于第三方规制，所以人形机器人认证机构应具有高度的独立性与专业性，应极力避免其成为政府的“附庸”或被人工智能企业“俘获”。在启动程序上，原则上应以自愿申请认证为主，对于事关重大安全的事项实施强制认证。认证程序应当公开透明，应防止“认证变认钱”等流于形式的认证。

为了使认证有据可依，保障认证质量，除了需要不断完善人工智能立法，还应当分级分类推动人形机器人标准制定。不同于传统的粗放式监管，分级分类监管是一种精细化监管。分级分类监管属于典型的风险牵引式的监管资源配置模式，主张以风险为尺度实行数据驱动、精准聚焦以及灵活权变的差异化监管资源配置。《人形机器人创新发展指导意见》要求“开展人形机器人标准化路线图研究，全面梳理产业链标准化需求，建立健全人形机器人产业标准体系，分级分类推动标准制定”。人形机器人种类多元，应用场景多样，存在的风险类型和大小存在很大的差异。如果“一刀切”地制定统一的标准，表面上看好像实现了平等，但实际上造成了实质不平等，最终不利于中小微人工智能企业的发展。而且，由于不区分风险类型和大小，粗放式监管无法合理分配有限的监管资源，从而难以有效保障总体安全。同样情况同等对待，不同情况区别对待，应分级分类治理人形机器人的安全风险。

为了使研发者更好地以人为本，审慎地设计相应的代码程序，并持续优化智能算法，应合理设置相应的主体责任。如果人形机器人设计本身没有缺陷，但由于其具备的深度学习能力而导致安全事故，研发者也应当承担责任。即使研发者当时没有过错，但因为其可以从新技术中获取巨大收益，可以通过定价等方式分散风险成本，由其承担相应的赔偿责任更为公平。然而，“任何新技术的开发都蕴含一定的技术风险，将其一概归于制造商会严重妨碍技术的创新与发展”。除了研发者以外，同人形机器人相关的生产者、硬件供应商、软件设计者、销售者、使用者等多主体，应当承担相应的责任。此外，应完善人形机器人保险责任制度，合理分配人工智能创新的风险。《“十四五”机器人产业发展规划》提出“优化首台（套）重大技术装备保险补偿机制试点工作”。保险责任制度能有效平衡人工智能应用中各方主体之间的利益，在为受害人提供及时有效的权利救济同时，又能推进人工智能技术革新。

应通过完善的伦理规范约束人工智能研发者，确保其设计出能真正造福人类的安全、可靠、可控的人形机器人。为人形机器人“加载”道德的目的并非是为了使其成为独立的物种，而是为了控制人工智能技术发展所导致的风险。应着眼于算法正义完善算法伦理规范，关注算法的商业道德导向，以公平、安全、透明、非歧视的伦理价值观指引算法应用，建构规范化的算法伦理审查制度。设立人本面向的人工智能伦理治理组织机构，完善伦理风险的预警机制，设置人工智能伦理治理的风险预警阈值，严格追究引发伦理危机相关主体的伦理责任。总而言之，伦理规范应成为预防人形机器人安全风险的重要准则，应将伦理规范融入人形机器人研发和应用的全生命周期，不断强调其实质性指引作用，避免成为空洞的表达。

史际春｜经济法的立法路径审视及其改革

赵万一｜医事伦理审查制度的法律实现

邢会强｜证券虚假陈述赔偿的巨额化与有限社会化分散机制

目录｜《东方法学》2024年第5期

孙佑海｜发展新质生产力专门立法研究

陈兵｜论新质生产力的经济法促进——以人形机器人创新发展为例

上海市法学会官网

http://www.sls.org.cn

特别声明：本文经上观新闻客户端的“上观号”入驻单位授权发布，仅代表该入驻单位观点，“上观新闻”仅为信息发布平台，如您认为发布内容侵犯您的相关权益，请联系删除!