图 历史影像素材修复和增强流程
昇腾多层次算法优化,CANN以基础软件创新释放平台算力
可以看到,上述AI视频增强技术在创新之外都强调了对计算性能的需求,既要保证处理效果,又要提升处理效率,对AI平台是重大的考验,而昇腾AI很好地完成了应有的支撑任务。
这背后,尤为关键的是昇腾全栈AI体系下的异构计算架构CANN,作为基础软件创新成果,CANN高性能平台推动实现着一系列AI视频增强能力的落地。
CANN,全称Compute Architecture for Neural Networks,是昇腾处理器的异构计算架构,支持业界多种主流的AI框架,提供开放易用的ACL(Ascend Computing Language)编程接口、实现对网络模型进行图级和算子级的编译优化、自动调优等功能。用户不仅能在上层算法层面对性能进行优化,也可以通过CANN开发和优化算子。
要理解CANN的价值,要先从AI视频增强的原理谈起。
每个基于AI的视频修复和增强算法是由一个个小的计算单元组成的,专业术语为“算子”,算子有不同的处理顺序,不同算子之间也可能存在依赖关系。
通俗地理解,其处理过程我们可以用厨师做菜来打个比方:
做菜工序可分为切菜、洗菜、调料准备、烧制、调味、摆盘等,不同的工序之间有依赖关系,摆盘前必须烧制,烧制前必须洗菜;或者可以并行操作,比如切菜洗菜的时候可以一并准备调料。经验丰富的厨师都能以最大化的效率完成一道菜的制作,并且通过对原材料、配料和调味料的充分理解、搭配和融合,提升菜品质量。昇腾AI就是这样包含了许多专门用AI来“做菜”的“厨师”的平台,上面的硬件就是一位位“厨师”,异构计算架构CANN则是协调各位厨师的主厨。
这其中,而无论上文提到的去噪模型、超分辨率模型、人脸增强模型等,都包含到大量的计算过程,涉及到许多算子,整个计算复杂度非常大,如果平台能自动根据每个具体的算子情况进行调优,所谓积跬步致千里,就能显著提升各个算法的性能。
CANN对超分算法进行了自动调优,根据硬件特性和算子的输入来优化各算子的计算过程,就像让每个厨师清楚了解各种原材料的特性,并合理规划原材料的处理步骤,将材料的美味发挥到极致。
而值得一提的是,由于超分辨率算法中存在可变卷积,包含多个不同类型的小算子,需要在不同硬件上进行处理,中间会有硬件之间的数据和信息传递,这增加了处理的耗时,这就相当于是同一个工序由两个技术各有偏重的师傅一起交替处理,两者还需要配合和沟通,不如让一个技术更成熟更全面的师傅来进行处理,减小沟通成本,加快处理速度。
而CANN能够将可变卷积内包含的算子进行优化,让统一的硬件来整合和处理这一计算过程,使可变卷积的性能大幅提升,进一步提升了超分辨率算法的性能。
通过CANN的特性,昇腾AI大幅提升了这些算法的处理速度:
去噪模型在昇腾平台上的处理速度能达到其他同类平台的3倍,在保证前后帧一致的前提下,能去除画面中起落的随机噪声和小面积斑块划痕;
超分辨率算法优化后的速度比优化前最大提升了30倍,处理后画面整体和背景文字等变得更加精细;
人脸增强模型对1080P画面的处理速度仅需0.5秒,处理后人脸精细度和画面观感得到了显著提升。
可以看到,昇腾AI的这些改进都是基础软硬件层面的根技术创新,它对视频影像资料几乎是普适的,可以拓展到所有片源,在应用价值基础之上具备广泛的产业落地能力。
未来,更多珍贵影像资料将在AI的守护下历久弥新,帮助我们珍藏历史和记忆,而这样的AI,才算得上是走近了每一个人的身边。
*本文图片均来源于网络
*此内容为[科技向令说]原创,未经授权,任何人不得以任何方式使用,包括转载、摘编、复制或建立镜像。
[完]
曾响铃
1钛媒体、品途、人人都是产品经理等多家创投、科技网站年度十大作者;
2虎啸奖评委;
3作家:[移动互联网+ 新常态下的商业机会]等畅销书作者;
4《中国经营报》《商界》《商界评论》《销售与市场》等近十家报刊、杂志特约评论员;
5钛媒体、36kr、虎嗅、界面、澎湃新闻等近80家专栏作者;
6“脑艺人”(脑力手艺人)概念提出者,现演变为“自媒体”,成为一个行业;
7腾讯全媒派荣誉导师、多家科技智能公司传播顾问。