AV夜话#22:AI图片编码在路上,Khronos与多媒体

上周,与中科大的刘东交流了AI编码的现状。AI编码可以分为两大类,第一种是AI与传统编码结合,第二种是端到端的AI编码。前者已经广泛应用在各个场景,巨头都有自己的相关产品,主要在前后处理部分通过AI做优化。后者可以分为图片编码和视频编码。

端到端AI图片编码的国际标准将很快定稿,包括JPEG-AI和IEEE 1857.11。刘东介绍,在标准会议上有公司展示了在手机上运行的端到端AI图片解码和编码,从一个侧面上证明了端到端AI图片编解码落地的可行性。刘东还介绍了一款体验端到端AI图片编码的app——图小小相册,目前只有iOS平台上可以下载。我简单体验了图小小相册,它可以把1-2M的原图压缩到100多KB,主观差异不大,体验还是不错的。刘东认为,端到端AI图片编码会很快普及。这主要因为图片不需要像视频那样流式处理,时延要求不高,对算力的要求也不高,容易在移动设备上实现。刘东预计,端到端AI图片编码将首先在闭环场景下应用,比如安防监控、医学影像、遥感等,还包括那些控制着全链路的巨头们的产品。

端到端AI图片编码依赖移动端的硬件加速才可以实现,苹果、Google、华为等都有各自的实现。尽管硬件、软件和标准都可用,但仍然要面临许多挑战。首先,刘东认为最大的问题是如何平衡算力与编码效率。其次,互联互通,这主要因为AI加速芯片没有统一,上层的软件生态也没有统一,即便标准制定过程中做了最大限度的兼容考虑,不得不损失一定的图片解码的一致性。第三,端到端AI编码,可能存在安全漏洞导致被恶意攻击。如此看来,端到端AI图片编码在工程实践中就要解决这些棘手的问题。

谈到未来,随着模型不断优化,逐步固化下来,就为专有的AI编解码芯片创造了机会,专有ASIC芯片是可以期待的。

关于端到端AI图片编码的质量评估,刘东认为这是值得投入的方向。

最后,刘东谈到了端到端AI视频编码。端到端AI视频编码有MPAI组织(原MEPG主席Leonardo Chiariglione主持)在研究。他认为这条路还很远。但也许在特定的场景下,比如视频会议、安防监控、桌面分享等可以得到更快的应用。

更多对话精华,可以通过LiveVideoStack视频号中的“直播回放”标签重温。

98a0963860b58c78588e3e475261e0c6.jpeg

8月11日晚7点,我们会邀请Khronos Group负责大中华区的傅世雄,聊聊Khronos Group与多媒体,以及在中国的业务和计划。

猜你喜欢

转载自blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/132241832
今日推荐