〇、前言

近日，由中国计算机学会计算机视觉专委会（CCF-CV）主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛顺利举行。论坛特邀来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的专家们，从立法、监管、前沿研究、技术实践等多个维度分享AI安全领域的最新进展，助力AI向善发展。

一、AI安全治理：产学研共话可信AI未来

随着以ChatGPT为代表的AI大语言模型技术的飞速发展，数据安全、知识产权、算法偏见和有害内容生成等大语言模型的内容安全问题日益凸显。如何确保AI大模型在生成内容的过程中遵循安全规范，成为业界关注的焦点。

论坛现场，嘉宾们纷纷就AI安全治理的热点话题发表了自己的见解。

上海交通大学人工智能研究院教授金耀辉指出，安全是一个抽象的概念，而安全对齐的过程则是一个从抽象到具体的模拟过程。通过这些手段，我们可以确保AI大模型在训练过程中就能够遵循安全规范，从而避免潜在的安全风险。

金耀辉教授提出“训练对齐、提示引导和文本过滤”三大安全保障手段，为AI安全治理这一问题的解决提供了新思路。

训练对齐是指在大模型训练过程中，通过引入安全相关的训练数据和优化算法，使模型能够学习到安全规范。
<