随着大模型以及 AIGC 的出圈，应用智慧化体验提升已成为用户用机的核心诉求之一。如何将 AI 下沉至终端并与系统深度融合解决用户痛点、挖掘创新场景成为开发者面临的挑战。
为满足开发者差异化的场景需求，OPPO 在 ColorOS 系统智能产品领域进行创新实践，通过自研端侧 AI 平台（AIUnit）帮助开发者一站式完成算法部署、测试和发布。
在【OTalk丨OPPO 开发者技术沙龙-端侧AI-智能产品专场】直播中，OPPO 软件工程系统-端侧AI研发团队为大家介绍了 OPPO 的端侧 AI 能力和应用场景、一站式端侧 AI 平台技术架构及创新实践，解答开发者对于端侧 AI 智能产品开发的疑问和诉求。
ColorOS AI 能力与具体应用场景有哪些？
目前，ColorOS 图像识别相关AI 产品包括文字提取、文本意图识别--OCR、文本意图识别--复制、图片识别、翻译和扫描等。OPPO 希望通过 OCR、图像分割等能力作为系统信息获取触点，通过 NLP、CV 等算法对信息的理解能力对获取信息进行内容分类和意图分析，串联各类服务，为用户提供智能高效用机体验的同时为开发者提供更有效的流量转化。
作为触点的 OCR 识别能力支持横竖文字、段落、方格、排版，生僻字的识别、中英文混合、基础文本的识别率超 80%，覆盖相册、复制、识屏、扫一扫、相机、便签、截屏等7大用机场景。
作为意图理解核心的文本 NLP 能力已支持抖音、腾讯会议等 10+ 文本类型识别。通过整合各类办公、生活应用服务，OPPO 还可为不同类型的内容提供对应的功能延伸，如为地址信息提供导航、打车等卡片选项，帮助各类型服务的开发者打造额外服务入口，为用户提供一键直达的服务体验。
ColorOS 系统为开发者提供统一 AI 能力的优势在哪里？
首先是成本低，ColorOS 已具备成熟图文识别能力，接入成本并不高；
其次是更安全，ColorOS 可以利用端侧算力完成计算，避免云侧AI信息泄露风险；
再者是数据全，ColorOS 掌握用户用机习惯数据，这些数据三方无法获取；
最后是跨平台，ColorOS 串联各类型服务，为用户带来更便捷智慧体验。
综上，对于开发者而言，无论是降低开发成本，还是为用户提供统一的服务体验，由ColorOS提供统一AI能力都将是有力支撑。
开发者如何解决算法在不同平台的差异化部署和运行？
目前，OPPO已经初步搭建端侧AI平台基础端云协同框架，并且预计在2024年发布全新升级的平台化体系1.0，将会包含以下内容：
AIBoost 端侧推理框架：支持模型轻量化部署，涉及剪枝量化、加密转换、算子融合、异构计算等，同时适配Android原生NNAPI及不同的芯片平台，兼容各种型号手机及IOT设备，还提供了配套的开发工具，以帮助开发者低代码、自动化地生成部署代码，降低开发成本；
AIUnit 端云融合运行服务：除了集成AIBoost满足常见的TFLite、ONNX等模型端侧推理运行外，还提供了全新的Android插件化资源框架Orange，可以帮助开发者将自身应用产品中的算法进行插件化改造剥离，以独立的形态实现云侧发布，并且覆盖范围将会涉及全球至少六个国家或地区。端侧运行时将充分融合ColorOS系统优势，实现算法的全生命周期管理，以场景为维度做端云算法的切换调度，保证设备稳定性和低功耗的同时提升用户用机体验；
Odin 端云协同部署平台：借助OPPO自研的安第斯智能云，端侧AI平台可以实现全球化发布和差异化部署，开发者可以将自己的算法模型或插件按照自定义条件发布到任意OPPO设备，同时平台还将统计和收集算法在端侧的内存、耗时、功耗等运行时数据，可视化展示其性能指标，辅助开发者快速迭代。未来还将在用户许可的条件下基于端侧训练及联邦学习生成用户标签，帮助开发者伙伴实现服务精准推荐，建立起ColorOS系统与三方应用的端侧AI生态互融的友好合作关系；
AI能力测试平台：开发者在部署过程中会遇到二次部署开发、测试脚本开发、演示工具开发和接口开发等问题，还需要对端侧推理的性能做验证，AI能力测试平台将面向这一痛点提供全套的插件化开发套件，开发者只需要少量的代码即可完成上述物料的开发工作，只需要将物料上传到AI能力测试平台，并且按需设定测试环境配置，即可在真机上完成端侧的测试工作，从而验证算法在端侧的客观表现和性能指标。
此外，在丰富的框架和开发工具加持下，非AI开发者也可以接入OPPO的AI能力快速实现AI场景。未来半年内，OPPO还将支持全球化部署，上线测试平台及开发套件，平台化的建设将助力开发者从开发、部署、测试、发布全链路实现算法的端到端落地。
OPPO基于端侧AI平台能力进行了哪些创新实践？
OPPO 推出全能扫码算法，目前已应用于Reno10 Pro+超级扫一扫功能，实现35米超远距离扫码和10度超倾斜扫码，全能扫码检测能力更快。
1）基于传统图像处理方法设计预检测模块，减少不必要的定位和检测算法调用；
2）基于AIBoost实现检测模型端侧部署，减少码类检测耗时；通过小目标检测和变焦逻辑实现超远检测功能；
3）针对远距离、小角度解码问题，使用码类矫正、码类等去模糊算法来增强成像质量，提升极限场景下解码能力；
开发者Q &A 问答
1、OPPO端侧AI平台在能力支持上有哪些优势？
OPPO 端侧AI平台的优势在于：支持算法类型更多，支持云侧部署，端侧推理支持的芯片平台更丰富且支持异构。
2、如何快速接入OPPO端侧AI能力？
开发者可以登录OPPO开放平台官网，在产品列表中「端侧AI」入口进行申请接入。
观看直播回放，了解详细内容⬇️⬇️