直击 2023 亚马逊云科技 re:Invent:生成式 AI 的技术普惠创新

作为17年前云计算的开创者,亚马逊云科技服务了超过80%的独角兽公司。到今天,亚马逊云科技的数据中心数量比第二大的云提供商多三倍,服务多60%,功能多40%。每年,亚马逊云科技都会在 re:Invent 活动上发布多项云产品服务或新功能,这一发布动作在全球范围内都备受关注。

然而今年,re:Invent 活动现场最受瞩目的关键词变成了“生成式 AI”。2023年11月28日,2023亚马逊云科技 re:Invent 在美国拉斯维加斯盛大开启,并于12月2日圆满落下帷幕。2023年12月12日起,2023亚马逊云科技 re:Invent 中国行城市巡展活动将在10大城市开启,覆盖北京、上海、广州、深圳、成都、青岛、南京、西安、杭州、长沙10个城市。

在2023亚马逊云科技 re:Invent 上,亚马逊云科技围绕生成式 AI 发布了多项产品与更新,其中就包括如何兼顾规模与成本,真正让业务收益,如何选择最适合业务场景的模型,如何用企业自己的数据定制并快速行动,当然还有如何充分保护数据的安全隐私的前提下负责的应用生成式AI。

用亚马逊云科技的话来说就是:“亚马逊云科技已经准备好像在其他复杂技术领域实现普惠一样,为千行百业应用生成式AI降低门槛,重塑每个产业,改变每个人的生活。”

亚马逊云科技大中华区解决方案架构部总经理代闻在12月13日2023亚马逊云科技re:Invent中国行深圳站主题演讲中表示:“我们的目标是让每一个企业都可以进行生成式 AI 创新,相比于制作各种视频在大家的朋友圈里面掀起波浪而言,我们更愿意踏踏实实地看怎么样能够让各个企业把生成式AI落到实处,能够进行真正的为业务服务的创新。”围绕这个目标,亚马逊云科技提供了三层架构:底层是基础设施和平台;中间是可以让大家快速使用大模型的工具;最上面是开箱即用的应用程序。

在底层,亚马逊云科技提供用于基础模型训练和推理的基础设施。自研芯片方面的创新包括新发布用于生成式 AI 和机器学习训练的Amazon Graviton4和Amazon Trainium2 处理器、新发布 Amazon SageMaker HyperPod 服务,可大规模加速基础模型训练。此外还和英伟达共同宣布了几项最新合作。

在中间层,提供使用基础模型进行构建的工具:包括全托管生成式AI服务 Amazon Bedrock重磅更新新发布Amazon Bedrock支持Anthropic Claude 2.1和Meta LLama 2 70B;持续丰富Amazon Bedrock独占的Amazon Titan 模型,支持多种用例。模型定制方面新发布Amazon Bedrock持续预训练、知识库的检索增强生成等功能预览版。模型集成方面新发布 Amazon Bedrock 代理功能Guardrails for Amazon Bedrock 预览版。此外,Amazon Bedrock 还增强了数据安全和隐私保护能力。

在顶层应用层,提供利用基础模型构建的应用程序,新发布Amazon Q预览版,专为企业业务量身定制的、生成式人工智能工作助手 Amazon Q,可以让用户通过自然语言交互快速获得答案。Amazon Q是亚马逊云科技的专家,由亚马逊云科技17年来积累的知识和经验训练而成,可以在多种界面回答客户提出的各种亚马逊云科技相关的专业问题。

为了进一步了解亚马逊云科技在生成式 AI 方面的动作,OSCHINA 参与采访了亚马逊云科技大中华区解决方案架构部总经理代闻,以下为部分采访实录。

记者:企业做生成式 AI 在实际落地的过程中,需要解决哪些障碍?亚马逊云科技又做了哪些方面的努力?

代闻:企业在生成式AI上落地的时候有三个阶段。

第一个阶段,选择一个合适的大模型。

第二个阶段,把一个标准的模型定制到我的场景里边去。我们有一个案例是在海尔的创新设计中心,你默认地把 Stable Diffusion 大模型跑起来,产生一个空调的渲染图,它的风格不是海尔的风格,你是需要给它做一些微调,让它能够变成海尔的风格以后,才能给设计师去用。所以真正能把模型定制是很重要的。

第三个阶段,模型落地以后怎么样能够跟业务的应用集成比如跟我的设计师的应用,或呼叫中心这些开发集成起来。企业落地的难点主要分这三个阶段。

这三个阶段里面,选型阶段,亚马逊云科技有Amazon Bedrock以及Amazon SageMaker都是可以的,我们推荐的是如果你在海外可以使用Amazon Bedrock,能够给你精选海外这些主流的模型,Claude是文生文的,Stability包括Amazon Titan都是有的,在模型选择上面就可以直接选这些已经精选过的领先的模型。同时,它在部署上面是比较安全的,因为企业在选型里边还有一个很困惑的点就是,我如果使用一个公开的聊天服务,那在它的协议里边可能你的数据传上去,有可能会泄露。企业怎么样选一个能够适合我的私有的环境的需求,Amazon Bedrock提供的就是第一,它在网络上面是隔离的,就是给你专门用的。第二,如果你想要定制的话,它给你的是一个单独的拷贝,这个拷贝就是给你的,不会跟其他人混用。所以你一切的数据如果在训练的时候出来的定制化结果也是你的。

同时,如果你觉得Amazon Bedrock这些选型不够用,你也可以用Amazon SageMaker,它给你提供更大的灵活度,但是它对操作的能力就要求高一些,我们也有使用Amazon SageMaker的客户,比如国内的西门子成都工厂,他们就是使用了Amazon SageMaker,上面跑了咱们国内的一些初创公司的模型,国内的模型跑起来以后给西门子成都工厂这边的财务和HR的一些问题做这样的大模型的即时回答。所以怎么样能辅助企业能够选择对的模型,能够安全地运行模型,就很重要。

第二阶段,定制。Amazon Bedrock第一是它可以提供针对于一些主流模型的二次微调。同时如果技能高一点的话,像海尔或者西门子成都工厂,他们就是对使用Amazon SageMaker给它做了一些定制化,确保一个标准模型在咱们上下文里边能落地。其实在定制的这个过程里边,很多的一些工具链目前是缺失的,或者目前还都是需要按项目每一个自己来做的。我们做的工作是尽量把大家都在自己做的看起来是定制化的东西,大家做得都是一样的工作,能把它标准化,作为一个功能拿出来。

比如这回的Amazon Bedrock的RAG for Knowledge Base(知识库增强检索功能),就是已经把向量数据库的接口提供出来了,这样的话,你可以轻易地来选择一个向量数据库点一点就起来了,不需要它自己再搭建这些工作流。

最后第三个阶段,就是集成了,无论是开箱即用的Amazon Q,或者是Amazon Bedrock的Agents,能够很好地把模型能力接入到前边的应用程序里边去,这个也是我们比较看重的。

所以这三个阶段是现在企业在落地生成式AI需要仔细考虑的。选择模型,然后做定制化,然后再跟已有的系统结合,这是真真正正地说把它能够落地的很关键的一些步骤。

记者:今年生成式AI跟大模型都是各个厂商竞争的一个焦点,同时也是拉动很多云厂商业务增长的关键点。亚马逊云科技在这方面有哪些竞争优势?大模型的发展对亚马逊云科技云业务贡献怎么样?

代闻:亚马逊云科技上面生成式AI的优势有几个方面。

我们首先是非常开放的,我们有Amazon Titan模型,同时会支持很多第三方的模型,这是我们非常非常重要的一点。

第二,我们所有这些服务,所有这些产品都是从用户的需求出发来做的您可以看到从底层的基础设施和Amazon SageMaker;还有从今年发布Amazon Bedrock,包括这次Amazon Bedrock的Guardrails功能和其他一些增强功能;再到开箱即用的应用。这些更新为模型的构建者、模型的使用者和应用的开发者提供了全方位的服务。

我们认为在企业里边落地生成式AI不只是关于模型的,而是说要给合适的用户合适的工具,同时在落地的过程里边,在不同的应用场景里边,要有不同的工具,才能做得出来。

同时,在落地方面,有很多的客户案例,包括WPS海外其实也已经是Amazon Bedrock的用户了。

综合来看,亚马逊云科技第一是比较开放,第二是针对于不同的用户群有不同的提供,这是我们非常强大的独特之处。

另外,关于生成式AI对于我们整个云上面的业务是不是有很强劲的推动。这有两个方面。

首先,用户可以直接使用。特别是初创公司开展业务最好就是在云平台上面,因为弹性也比较好,起步也比较快,所以对于云上面的机器学习芯片、GPU、ASIC芯片的使用是非常多的。

其次,我们看到越来越多的企业在使用不同的工具在企业里边落地,是全面开花的,大家都处在互相探索的一个过程中。我们也注意到这次生成式AI的爆发其实是因为有非常明确的业务的好处,所以很多的需求其实是从业务部门提过来给到技术部门的不管是我们,还是很多的用户都把生成式AI放在业务中去做。今天讲Amazon Q的那四个方面,也是我们总结出来的最常用、最能落地的一些场景,包括客服(Amazon Connect),包括BI(Amazon QuickSight),包括多数据集中(提供40多个数据源内置连接器),包括开发,方方面面它都有。

所以我想讲的是,做生成式AI已经变成一个新的应用的形态,这个的影响是全面的,是渗透到每个环节里面的,它不一定是落在某一个产品上的。生成式AI肯定能帮助到客户,对于我们来讲也是非常重要的一个战略的方向。

记者:数据其实是贯穿整个生成式AI落地的全过程,如果说从底层设施、上层的业务层面这两个层面来看,分别会遇到的技术难题可能是什么?亚马逊云科技是怎么解决的?

代闻:这个问题涉及的一个是业务数据,一个是底层的数据基础设施,底层的基础设施是为上面的业务数据来服务的。

上面的业务数据有几个方面是比较看重的。

第一.隐私是目前大家最看重的。你别训练个模型,最后发现哪怕是对内的,比如把一些身份证号等敏感信息或者公司内部的一些财务信息之类的泄露出去,所以对于隐私这些数据类的保护是非常非常关键的。在隐私保护里面,Amazon Bedrock有Guardrails,一定程度上面可以很好地支持到,比如你想问某某合同是多少,即便是我能回答,我也会看比如你这个人是不是有权限,然后它给你返回是不是可以。Guardrails其实就是一个输入限制和输出的过滤。这是隐私方面举的一个例子,其实还有很多其他的一些来支撑。

第二个业务数据方面的难点就是关于安全、权限方面,一个公司和合作伙伴之间或者一个公司的不同部门之间,其实也都是有数据管控方面的。这其实是对于数据治理有很高的要求。Amazon DataZone能够自动地找数据的编排,同时能够很好地来控制数据访问的权限、管理,这都是很重要的。

所以一个是隐私,一个是安全,这两个是大家在使用生成式AI的过程里边最需要的,或者加速了这个需求。以前的时候也很需要,但是现在生成式AI出来以后,一个大的模型训练就需要很多的数据进来,在数据的隐私和安全方面的要求就更多了。

还有一个数据方面的要求。很多大模型对输入数据的要求是不太一样的,大模型在调优过程里边对于你的这些输入的数据,无论是从格式还是数据质量方面都有非常多样化的要求。以前我建造一套数据平台,就可以放在那儿,每天出出报表,然后给内部的BI的分析师看看就行了。现在变成是前端对于数据平台输出的需求会很多变,那你怎么样能够比较灵活地应对这样的需求就很关键。这次Zero-ETL是很好的把这个事情做出来。

Zero-ETL我们是把数据库和数据分析以及存储之间全都打通了,要不然的话,你就需要把各个数据孤岛之间的数据串联起来,就需要来做ETL(提取、转换、装载),这其实是非常耗时耗力的。把这个线路打通了以后,既可以在不同的场景底下选用最合适的工具,在线选用在线的不同的数据库,离线选用不同的数仓或者分析服务。同时,为了生成GenAI需要的数据,能够很方便地搬迁各个数据源的数据,业务数据的灵活性也能得到支撑。

关于底层的数据基础设施:从业务数据来看,对于数据的基础设施有很多要求,第一是说底层的大规模处理能力得保障,这个很重要,无论是从存储上来讲,还是今天提到的底层上面能够很轻松地来做计算资源的扩展。因为处理敏感数据,保障安全和灵活性,是你业务上面的要求。都在底层的时候,处理一个GB级别、TB级别、PB级别是不一样的,集群的大小也是不一样的。亚马逊云科技目前在弹性、底层的扩展性、高可用方面可以提供很好的支撑。

第二个方面,关于运维方面。哪怕你有能力,我有很大的存储,我就用最基础的这些云资源搭一个集群出来支撑你,但是运维这些东西还得有很多的人或者专业的技能。最理想的是说,把这个做成不需要运维。我们一直以来的Serverless的推进其实就是在这个方面。Serverless就是没有Server,没有Server的意思就是你只需要来提出需求,让它底下自动地来帮你处理所有的这些调度、扩缩容。比如Amazon Aurora Limitless 数据库,就可以无缝地来做数据库的扩展,能够扩展到很大的集群,能扩展到PB级的集群,百万次的写入,而不需要做任何的运维。

这都是非常重要的在基础设施方面的难点,需要云平台做很多的投入才能把这个设施做好。这是在底层的数据设施,无论是你的规模是高可用,以及刚才说的低运维方面,这是在基础设施方面亚马逊云科技做的一些支撑。

记者:亚马逊云科技推出的这些软硬件产品和服务,包括生成式AI的增强,有哪些是用户可以无缝提升的、零成本提升的?有哪些是需要企业重新再投入,甚至架构再重整?

代闻:重塑的意思是说,这个堆栈不仅是说我们在把我们的产品在生成式AI的背景下做赋能,我们会把我们很多的大家看到的基础设施服务、数据服务和监控服务,都会做AI的赋能。是这个意义上的重塑,并不是说要重新写代码,并不是要把这个推翻重来,而是说把生成式AI的能力要赋能到我们所有的产品里面去。比如Amazon Redshift是一个数仓,它的扩展可以基于AI的能力来扩展。比如Amazon DataZone做数据的管理、编目的时候,它使用AI的方式能够自动地去发现有关联的数据。

还有一些ETL的服务,我们的数据分析服务,把一些生成式AI的能力赋能进去以后,可以让大家使用自然语言能够生成这些数据分析的语句,根据自然语言生成SQL指令,都是有的。

还包括再往底层一些,我们持续不断地做硬件,无论Amazon Graviton,还是训练、推理的芯片,也都是在生成式AI环境底下来加速的。

所以“重塑”的意思是说,它在新的时代背景下或者技术背景下,有了生成式AI的赋能。

针对于生成式AI构建,为了避免让大家从零开始开发,亚马逊云科技推出了三层堆栈。最底下这层刚才已经讲了,就是平台的能力,包括硬件能力。尤其值得注意的是上两层,像Amazon Bedrock已经给你做好了模型的优选,同时在刚才说的定制和集成里边,可以让大家很快的能够开发。而且在最上面那层的应用,你其实可以根本都不了解模型,就可以使用Amazon Q来做BI或者写代码、呼叫中心、多个来源数据中心集成。以此来降低大家在写、在做生成式AI应用的时候的难度。

所以无论是说从我们已有服务来把生成式AI的能力提上来,无论是监控之类的底层创新,还是说赋能客户,让客户做自己的生成式AI的应用,我们都有相关的提供。并不是说让大家要把这个东西推翻重来,而是应该在生成式AI的视角底下,你要想一想这个能力应该在哪些方面去实现。第一,能在哪些方面把它好好应用起来、落地。第二,怎么样能够最大化我们这些平台的能力,能够降低你在生成式AI应用时候的落地实践。

高中生自创开源编程语言作为成人礼——网友锐评:依托答辩 Apple 发布 M4 芯片 RustDesk 由于诈骗猖獗,暂停国内服务 云风从阿里离职,未来计划制作 Windows 平台的独立游戏 淘宝 (taobao.com) 重启网页版优化工作 程序员的归宿 Visual Studio Code 1.89 发布 Java 17 是最常用的 Java LTS 版本 Windows 10 市场份额达 70%,Windows 11 持续下滑 开源日报 | 谷歌扶持鸿蒙上位;开源Rabbit R1;Docker加持的安卓手机;微软的焦虑和野心;海尔电器把开放平台关了
{{o.name}}
{{m.name}}

猜你喜欢

转载自my.oschina.net/u/4489239/blog/10324164