中科院院士何积丰:应对大模型的安全问题,需设好“紧箍咒”

2023-09-08 11:15:41 来源: 国际金融报


(资料图片)

模型的通用能力让其能够应用到人类生产生活的各个场景中,可谓“无孔不入”。AI的发展因此带来了新的安全隐私问题,如何解决这一隐患,9月7日开幕的2023外滩大会上,中国科学院院士何积丰开出了他的“药方”:利用对齐技术为大模型念起“紧箍咒”。

何积丰院士认为,大模型的安全问题主要是在未经同意的情况下,收集、使用和泄露个人信息。隐私问题既可能发生在训练过程,也可能发生在使用过程中,而大模型的生成能力则让“隐私泄露”的方式变得多样化,造成隐私保护更加困难。

“为了应对这些问题,我们需要大模型对齐技术。”何积丰说,“对齐(alignment)”是指系统的目标和人类价值观一致,使其符合设计者的利益和预期,不会产生意外的有害后果。“如果把人工智能看作西游记里的孙悟空,‘对齐’就是唐僧的紧箍咒。有了紧箍咒,就可以保证技术不会任意使用能力胡作非为。”

不过,对齐技术同样面临挑战。首先,对齐的基础,人类的价值观是多元且动态变化的,需要保证大模型为人服务、与人为善;其次,大模型的有用性与无害性之间目标也不完全一致。如何对错误进行有效纠正,设好大模型的“紧箍咒”也是挑战。

因此,对齐技术已经成为了一项令人眼花缭乱的跨学科研究,不仅考验技术,也审视文化。何积丰介绍,反馈强化学习是实现对齐的技术途径,目前有两种方式:一种方式是通过人工反馈给模型不同的奖励信号,引导模型的高质量输出;另一种方式,事先给大模型提供明确的原则,系统自动训练模型对所有生成的输出结果提供初始排序。“这意味着不仅智能系统需要向人类价值观对齐,人类的训练方法也要向价值观对齐。”何积丰说。

标签:

中科院院士何积丰:应对大模型的安全问题,需设好“紧箍咒”

模型的通用能力让其能够应用到人类生产生活的各个场景中,可谓“无孔不

09-08 11:15:41

新华网9月8日盘中跌幅达5%

以下是新华网在北京时间9月8日10:51分盘口异动快照:  9月8

09-08 10:49:46

在哪考家庭教育指导师

在,教育部门认可的家庭教育指导师的认证考试是由教育学会主办的。 通

09-08 10:01:29

天奇股份9月1日快速反弹

以下是天奇股份在北京时间9月1日10:34分盘口异动快照:9月1日,天奇股

09-01 10:25:39

恩威医药(301331.SZ):持股5%以上股东成都泽洪部分股份被质押

2023年9月1日,恩威医药(301331 SZ)发布关于持股5%以上股东部分股份质

09-01 09:42:31

拨打110电话47次还骂民警

王某某被警方抓获。警方供图“我错了,都怪我酒后糊涂。”8月29日,听

09-01 07:46:05

8月31日基金净值:银华心怡灵活配置混合A最新净值2.4852,跌0.68%

8月31日,银华心怡灵活配置混合A最新单位净值为2 4852元,累计净值为2

09-01 05:46:20

8月31日基金净值:易方达价值成长混合最新净值1.3969,跌0.69%

8月31日,易方达价值成长混合最新单位净值为1 3969元,累计净值为2 130

09-01 00:53:29

迁安一镇中图片(迁安一镇中)

很多人对迁安一镇中图片,迁安一镇中不是很了解那具体是什么情况呢,现

08-31 21:53:52

广东华立职业技术学院代码 广东华立职业技术学院

1、华立不好的。2、不过职业学校都肯定存在着很多不良因素,但华立相对

08-31 20:02:11

如何在手机查询公积金?2023年公积金查明细怎么查?

如何在手机查询公积金?2023年公积金查明细怎么查?随社保网小编来看看

08-31 18:50:37

我乐家居4涨停

我乐家居4涨停

08-31 17:36:09

胆固醇

【胆固醇】是生化检查的另外一种,经常说的【三高】就是【血糖】【

08-31 16:51:40

浙江永宁大桥首节1100吨钢梁顺利顶推

近日,在浙江瑞安飞云江畔,公轨两用多塔刚性悬索桥——永宁大桥首节11

08-31 15:10:39

微软网页预览吧版Word不再支持保存“仅查看”文档

微软今天面向Beta频道的Office用户发布Version2309更新,其中最值得关

08-31 14:00:27

2023天津那山好喫咖啡节活动指南

➤➤2023天津那山好喫咖啡节活动指南9月北方人间好时节,我们当然要约

08-31 12:54:42

超强台风“苏拉”到哪了?对深圳有何影响?

深圳市气象台已于2023年08月30日20时00分发布全市台风白色预警信号预计

08-31 11:23:54

最新半年报出炉 同泰产业升级混合C持仓曝光!加仓减仓这些股…

最新半年报同泰产业升级混合C持仓曝光!加仓减仓这些股…

08-31 10:12:25

三维天地8月30日快速上涨

(相关资料图)(相关资料图)(相关资料图)8月30日,三维天地盘中快速上涨

08-31 09:35:10

中国人保上半年净赚198.8亿元,新能源车险保费收入增长超五成

界面新闻记者|吕文琦8月29日,中国人保发布2023年半年报。报告显示,今

08-31 08:29:13

君实生物(01877)发布中期业绩 归母净亏损9.97亿元 同比扩大9.32%

智通财经APP讯,君实生物(01877)发布2023年中期业绩,该集团期内取得营

08-31 06:48:15

女教师擅自离境失联,长期不在岗!高校通报

近日,中南财经政法大学发布除祝晶聘用合同并终止人事关系的公告。据中

08-31 03:33:34

中报观察|中国信达纾困路难

观点网8月30日早上,中国信达召开2023年上半年业绩会议。中报显示,中

08-30 22:32:06

山东省技师学院官网(山东省技师学院)

导读1、我个人感觉一般一般吧!!!不算强。2、据里面的学生讲教师水平

08-30 21:09:26

李楠锐评Mate60 Pro:没必要评测 意义超越了产品层面

李楠锐评Mate60Pro:没必要评测意义超越了产品层面8月30日消息,今天前

08-30 20:00:59

苏州漕湖街道卫生服务中心hpv疫苗预约指南

最新消息:9月漕湖街道社区卫生服务中心开启四价、九价预约【预约时间

08-30 18:42:48

国足亚运队名单:申花8人,朱辰杰、戴伟浚入选,刘洋、谭龙在列

直播吧08月30日讯国足亚运队公布新一期名单:上海申花8人入选,朱辰杰

08-30 17:36:51

我市“线上+线下”多点发力 助力大学生奔赴“星辰大海”

  “通过学校老师推荐,我开始关注新乡市公共就业服务中心微信公众号

08-30 16:06:27

女方怀孕期间被诉离婚 男方请求依法被驳回

【案情介绍】王某与李某于2021年8月16日登记结婚,双方系初婚。婚后双

08-30 14:53:05

关于醉驾不处理会怎么样?

醉驾是危险驾驶的行为,我国刑法中对于危险驾驶罪的规定就包含了醉驾行

08-30 13:49:49

关于“两病”医保,昆明市医保局发布重要消息

昆明市委市政府把提高高血压、糖尿病患者门诊用药保障水平列为“2023年

08-30 12:12:42

2590.8万 北京市朝阳区大气污染防治精细化管控服务项目发布中标公告

北京市公共资源交易服务平台发布2023年朝阳区大气污染防治精细化管控服

08-30 10:52:09

一图读懂 | 五部门布局建设现代流通战略支点城市

上证报中国证券网讯据国家发展改革委消息,为贯彻党的二十大报告有关部

08-30 09:53:00

周期反转叠加高成长,TCL科技悄然从底部启动

在A股市场众多周期股中,有这么一家公司,股价从2021年高位回调至今

08-30 09:07:22

单季净利超8亿 TCL科技Q2环比改善明显 大尺寸面板强势预期延续|财报解读

财联社8月29日讯(记者王碧微)今年以来,显示面板,尤其是大尺寸TV面

08-30 07:41:30

车辆多长时间自动解封

依据最高人民法院的相关规定,汽车是属于动产的一种,而法院对动产的查

08-30 05:52:22

胡歌半夜又发疯,胡言乱语称对不起太多人,精神状态令人担忧

胡歌半夜又发疯,胡言乱语称对不起太多人,精神状态令人担忧对于曾经的

08-30 01:04:59

聚光科技上半年亏1.37亿:剥离部分PPP项目,适当收缩长期布局业务

聚光科技上半年亏1 37亿:剥离部分PPP项目,适当收缩长期布局业务,科学

08-29 21:58:05

赣锋锂业:上半年归母净利润58.5亿元 同比降19.35%

赣锋锂业:上半年归母净利润58 5亿元同比降19 35%

08-29 20:25:57

财政部:1-7月国有企业营业总收入477160.7亿元

央视新闻客户端财政部今天(29日)发布今年1-7月全国国有及国有控股企

08-29 18:44:25

印尼马鲁古省附近海域发生6.1级地震

印度尼西亚马鲁古省附近海域29日发生6 1级地震,目前尚无人员伤亡和财

08-29 17:30:21

金海高科:汇投控股及其一致行动人累计质押公司股份4800万股

金海高科(SH603311,收盘价:10 96元)8月29日晚间发布公告称,截至本

08-29 16:00:00

富春染织8月29日盘中涨幅达5%

以下是富春染织在北京时间8月29日14:50分盘口异动快照:8月29日,富春

08-29 14:40:32

长沙地铁App上线“爱心预约”功能 让特殊群体乘客出行无忧

长沙晚报8月28日讯(全媒体记者吴鑫矾通讯员姜敏)记者从长沙地铁获悉,8

08-29 13:11:57

严查大战8月29日早上,海南有7人被查落马,触目惊心,看看有谁?

那一日所发生的一切,是那样的震撼,那样的震撼,那样的伤痛,那样的伤

08-29 11:27:46

上海博物馆推出“研色·良渚之夜”综合艺术秀

  8月25日晚,模特在上博“研色·良渚之夜”综合艺术秀上展

08-29 09:14:10

杜湖街道开展道德模范事迹宣讲会

8月23日,杜湖街道新时代文明实践所组织青干班成员、党员代表、居民代

08-29 08:33:21

准油股份:董事长罗音宇,董事李岩、樊华、高翔辞去相关职务

准油股份(SZ002207,收盘价:元)8月28日晚间发布公告称,2023年8月28

08-29 06:44:15

角蛙新手入门饲养(宠物角蛙的日常管理与饲养方法

hello大家好,我是城乡经济网小晟来为大家解答以上问题,角蛙新手入门

08-29 02:59:21

连续大比分输给塞尔维亚和南苏丹,中国男篮“直通奥运”还有希望吗?

没有惊喜,只有遗憾!8月28日,尽管李凯尔拿到全队最高的22分,尽管第

08-28 22:28:36

新华网9月8日盘中跌幅达5%
在哪考家庭教育指导师
天奇股份9月1日快速反弹
恩威医药(301331.SZ):持股5%以上股东成都泽洪部分股份被质押
拨打110电话47次还骂民警
8月31日基金净值:银华心怡灵活配置混合A最新净值2.4852,跌0.68%
8月31日基金净值:易方达价值成长混合最新净值1.3969,跌0.69%
迁安一镇中图片(迁安一镇中)
广东华立职业技术学院代码 广东华立职业技术学院
如何在手机查询公积金?2023年公积金查明细怎么查?
我乐家居4涨停
胆固醇
浙江永宁大桥首节1100吨钢梁顺利顶推
微软网页预览吧版Word不再支持保存“仅查看”文档
2023天津那山好喫咖啡节活动指南
超强台风“苏拉”到哪了?对深圳有何影响?
最新半年报出炉 同泰产业升级混合C持仓曝光!加仓减仓这些股…
三维天地8月30日快速上涨
中国人保上半年净赚198.8亿元,新能源车险保费收入增长超五成
君实生物(01877)发布中期业绩 归母净亏损9.97亿元 同比扩大9.32%
女教师擅自离境失联,长期不在岗!高校通报
中报观察|中国信达纾困路难
山东省技师学院官网(山东省技师学院)
李楠锐评Mate60 Pro:没必要评测 意义超越了产品层面
苏州漕湖街道卫生服务中心hpv疫苗预约指南
国足亚运队名单:申花8人,朱辰杰、戴伟浚入选,刘洋、谭龙在列
我市“线上+线下”多点发力 助力大学生奔赴“星辰大海”
女方怀孕期间被诉离婚 男方请求依法被驳回
关于醉驾不处理会怎么样?
关于“两病”医保,昆明市医保局发布重要消息
2590.8万 北京市朝阳区大气污染防治精细化管控服务项目发布中标公告
一图读懂 | 五部门布局建设现代流通战略支点城市
周期反转叠加高成长,TCL科技悄然从底部启动
单季净利超8亿 TCL科技Q2环比改善明显 大尺寸面板强势预期延续|财报解读
车辆多长时间自动解封
胡歌半夜又发疯,胡言乱语称对不起太多人,精神状态令人担忧
聚光科技上半年亏1.37亿:剥离部分PPP项目,适当收缩长期布局业务
赣锋锂业:上半年归母净利润58.5亿元 同比降19.35%
财政部:1-7月国有企业营业总收入477160.7亿元
印尼马鲁古省附近海域发生6.1级地震
金海高科:汇投控股及其一致行动人累计质押公司股份4800万股
富春染织8月29日盘中涨幅达5%
长沙地铁App上线“爱心预约”功能 让特殊群体乘客出行无忧
严查大战8月29日早上,海南有7人被查落马,触目惊心,看看有谁?
上海博物馆推出“研色·良渚之夜”综合艺术秀
杜湖街道开展道德模范事迹宣讲会
准油股份:董事长罗音宇,董事李岩、樊华、高翔辞去相关职务
角蛙新手入门饲养(宠物角蛙的日常管理与饲养方法
连续大比分输给塞尔维亚和南苏丹,中国男篮“直通奥运”还有希望吗?
早闻|证券交易印花税今起减半征收;2023绿色低碳高质量发展大会今起在山东烟台举行
X 广告
行业动态
X 广告

Copyright ©  2015-2022 北冰洋植物网版权所有  备案号:沪ICP备2020036824号-3   联系邮箱:562 66 29@qq.com