手把手教你把coze扣子智能体接入大模型开发板实现听新闻自由

前言

大家都已经玩腻了单一的大模型语音回复了吧?这次给大家再带来一个新玩法:秒接扣子上的娱乐新闻工具等智能体。本篇以接入头条新闻为例,分享具体的接入步骤,大家按照文档步骤操作即可。

由上图可见,当前SDK方案是把开发套件当做输入端,文字或图片内容先上传到聆思的大模型平台(LSPlatform),然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能,我们如果要使用其他大模型,只需要从云端更改大模型接入节点,而无需去修改硬件端。

实操演示

cozi新闻

链路说明

示例中包含3条链路,分别为
  • 链路1: 可通过注入节点调用扣子智能体节点,并将结果输出到debug。
  • 链路2: 可通过web对话页调用扣子智能体节点,最终将大模型结果输出到对话页面上。
  • 链路3: 可通过开发板调用扣子智能体节点,最终将大模型输出的结果进行语音合成实现端侧播报。

云端服务接入扣子智能体

1、创建应用

登录LSplatform,创建新应用

创建成功后在弹出的界面进入应用编排服务。

2、导入工程

  1. 下载工程示例:扣子智能体示例···
  2. 导入工程示例:选择扣子智能体示例.json文件导入若提示“您要导入的某些节点已经存在于工作空间中。”,则选择“导入副本”即可。

3、配置参数

参数说明:

  • HOST: api.coze.cn
  • Path: /v3/chat
  • 访问令牌:输入扣子的个人访问令牌,获取与配置可参考扣子官方文档 扣子访问令牌说明
  • 智能体ID:输入自建的智能体ID (自建智能点击后网址“bot”后面的ID就是智能体ID,在扣子平台自建新闻智能体的步骤请参考本篇后半部)

4、部署验证

在完成参数配置,进入完整体验之前,我们可以简单测试验证,验证是否成功调用扣子智能体。

  • 部署成功后关闭当前编排服务

  • 重启应用

  • 测试接口

重启应用后,再次点开【编排应用】,点击注入,会触发一次扣子智能体子流程调用,标记2的红框中输出类似日志即代表成功建立链接。

  • 打开web验证页面

回到【我的应用】,双击聆思CSK6_扣子智能体应用,在弹出的应用详情页面点击右上角分享按钮打开web验证配置,该配置页包含测试地址和访问密码。

  • 访问web验证页面链接,在打开的web页即可与扣子智能体对话

可以看到在聆思平台返回的信息与扣子后台看到的内容一致。

大模型开发板接入扣子智能体

云端接入扣子智能体成功后,要想在聆思CSK6大模型开发板上进行语音交互,需要把对接了扣子智能体的云端服务跟指定开发板绑定。

1、创建产品

产品管理模块点击新建产品按钮,并按要求填写你的产品名称。

2、云端应用和云端产品信息绑定

配置你需要调用的大模型应用,完成配置后,用户即可体验文心一言与开发板交互。在此我们仅需在配置应用勾对文章第一步创建的应用即可。

3、云端应用设备列表加入硬件设备ID

读取设备id

设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互。

读取方式:

cskburn desktop是一款聆思推出的桌面烧录工具,下载地址(cskburn桌面烧录工具 | 聆思文档中心)打开软件后

1.点击串口下拉框,选择连接开发套件后识别到的串口编号;

2.点击获取信息

3.得到设备ID

加入设备列表

聆思平台只会对列表中的设备鉴权提供交互服务,因此需要将前面读取到的设备ID在设备管理页面进行导入才能实现设备正常交互。

4、CSK6开发板设备端写入云端产品服务配置

云端配置设备id后,还需将产品ID写入开发板固件中,才能让设备在运行时找到正确的云端产品服务完进行鉴权,鉴权完成就可以进行大模型语音交互了。

配置方式:

在应用首页下滑调出菜单,以此点击设置图标应用,进入应用信息查看页:

点击右下角扫码接入按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处检查product_idsecret_id是否已更新:

  • 语音交互

小美小美唤醒,并提问"我要听新闻",语音回复新闻内容即可确认接入成功。至此,可以确认扣子智能体接入成功。本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。套件简介 | 聆思文档中心

附:在扣子平台自建今日头条新闻智能体

1、登陆扣子创建智能体

2、创建工作流,自行命名即可

3、在工作流编辑界面点击“添加节点”,选择插件

4、在弹出的界面搜索“头条新闻”,然后添加

5、点击结束节点,注意打开【流式输出】

6、流程最终显示如下:

7、点击右上角的“发布”,会弹出试运行提示,输入“科技新闻”。

回答内容为对应信息即可进行发布。

8、发布后即可点击“添加”,加入到自建的智能体中

9、工作流添加完成后即可发布智能体

10、聆思平台是通过API方式对接扣子coze智能体,因此选择发布到【API】即可。

11、通过聆思平台调用扣子智能体还需要有自己账号的访问令牌,在扣子后台主界面按下图顺序点击【添加新令牌】,

12、新建令牌,选择【团队空间管理】和【个人空间】

13、点击确定后,会弹出令牌详情,复制令牌信息,然后填入聆思平台模板中调用。

【注意】令牌信息仅会显示这一次,可以请将令牌复制,另外保存。

14、至此自建头条新闻智能体完成,参考前文的配置说明在聆思平台把智能体的ID和令牌信息填入模板,即可在CSK6大模型开发板上听头条新闻。

相关学习资料

本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。https://docs2.listenai.com/x/nTn9kMMCU

上手大模型硬件开发可以参考:大模型+AI智能语音交互硬件开发上手建议路径和资料汇总-CSDN博客

猜你喜欢

转载自blog.csdn.net/2201_75889983/article/details/146849586
今日推荐