论文部分内容阅读
最近有一位叫作“乔碧萝殿下”的神秘女子入侵了多个平台的热搜榜，只因为这位粉丝心目中声音甜美的颜值主播在一次连麦PK大赛中，平时用于遮挡脸的GIF图戏剧性地没了，这一事件迅速成了关注的焦点。你是否想过，如果乔碧萝殿下用的是当下热门的变脸软件，结果会如何？如今，基于AI技术，具备一键变明星、一键男变女、一键步入老年功能的变脸APP非常火爆。比如Snapchat的性别交换滤镜，不仅能在滤镜开启后变换性别，而且滤镜在不同角度以及各种光线下的表现都十分不错。不过，Snapchat的实时视频变脸并非所有手机都支持，因为这一功能的实现一方面需要手机有较强的硬件性能；另一方面，对于网络的要求也很高，要依靠云端训练和效果实施。这不仅带来了隐私问题，还限制了有趣AI应用的普及。但情况正在改变，随着手机处理器性能的提高，特别是AI性能的增强，手机AI不仅能拯救拍照手残党，改变购物方式，还会改变你的生活方式。
AI通话降噪及超级夜景功能
手机最重要也是最基础的功能无疑是通信，随着通信技术的发展，手机通话质量越来越高，但嘈杂环境下打电话听不清楚的问题一直没有被解决。目前，部分手机增加了通话降噪功能，比如中兴、努比亚等。据了解，这些手机中的通话降噪的算法来自大象声科（ELEVOC），算法基于计算听觉场景分析理论，应用深度学习技术。而其中很重要的一点是，通话降噪的算法有了高通人工智能引擎AI Engine的支持，能够实时分离手机通话中的人声和背景噪声，使用者不论身处多么嘈杂的环境打电话，对方听到的始终是你清晰自然的声音。通话降噪的应用当然不局限于语音通话，高通与大象声科合作，在Skype视频和语音通话中可以从呼叫方噪声的背景中精确地提取使用者的声音，并且这个功能只用一个麦克风就能实现比多个麦克风更加精确地噪声抑制。有了AI通话降噪功能，以后无论是在体育赛事现场、音乐节还是家庭聚会，都可以获得高质量的通话，再也无惧嘈杂的环境。
对于部分人而言，语音和视频通话是低频使用功能，手机的拍照却极为重要。但是，不少人因为手机硬件本身或拍照技术等问题，总会拍出一些模糊甚至扭曲的照片。比如拍食物的时候，很多人都遇到过把寿司拍模糊的情况，想拍一张满意的照片需要耗费不少时间。现在，AI可以拯救拍照手残党。SensePhoto超分辨率功能可以对标光学（物理）变焦镜头，用AI算法实现比肩光学变焦镜头的画质清晰度，这个功能来自高通的合作伙伴商汤科技。要拍出高清晰度的照片，夜晚的难度显然更大，AI也可以让夜间拍出好照片更加容易。AI超级夜景功能能够进行智能降噪以及防抖，结合传统的计算机视觉和深度神经网络算法，可以让用户通过手持手机的方式或脚架模式（脚架效果更佳）以较长的曝光模式拍摄出细节更多、更极致的超级夜景影像，这个技术来自高通的AI合作伙伴虹软。高通的另一个AI合作伙伴旷视也有超画质功能，通过对原始图像进行处理，全新的超画质（Super IQ）技术能够更好地降低图片噪声、保留画面细节，优化拍摄和影像处理的时间。手机拍照不仅追求更高画质，还在追求接近单反相机的效果。因此，如今手机摄像头都是2个甚至5个，再匹配强劲的AI处理器能力和不错的AI算法，能够实现接近单反的效果。比如NALBI的图像AI深度技术，能将数码单反相机的虚化效果应用于任何图片，即使是来源于网络甚至其他设备的照片。需要明白，以上这些功能的实现都是AI算法与AI硬件深度融合的结果。不同公司的AI算法各有特色，但它们都能在灵活且高性能的高通AI Engine的支持下，实现令人满意的效果，特别是针对AI Engine优化的算法。AI算法和AI Engine的深度融合不仅能拯救拍照手残党，让手机拍照的质量更好，还能让拍照变得更加有趣。虹软也推出了AI 智能双摄视频虚化功能，针对多摄像头手机，可以在拍摄视频时即时更改焦点区域，产生出色的景深效果与前后景虚化体验。
AI软硬实力的展现
除此之外AI手游也广受欢迎。报告显示，2018年中国移动游戏用户规模为6.05亿人，同比增长9.2%。2018年中国移动游戏市场实际销售收入占全球移动游戏市场比例约为30.8%。那AI和手机游戏能碰撞出什么火花？8月初，在2019 ChinaJoy的高通骁龙主题馆开馆仪式上，《王者荣耀》的顶尖选手与AI 电竞战队——“SUPEX”进行了一场1v1对战，最终，AI 电竞战队一举赢得比赛。这是SUPEX的移动AI电竞首秀，也是iQOO联合王者荣耀、腾讯 AI Lab 、高通骁龙为探索终端侧AI性能而创建的“想象力工程”项目首次尝试将移动游戏的AI推理能力首次大规模从云端迁移至终端iQOO 产品上。四方的合作充分利用了第四代高通人工智能引擎AI Engine的强大异构计算能力，为手机端带来了不一样的游戏体验。AI不仅能与玩家进行游戏对战，还带来了新游戏。比如SensePosture的人体骨架检测（3D）技术，通过RGB和深度数据的输入，可以检测到3D的人体骨骼关键点和人体轮廓深度图，并支持实时跟踪，可以进行体感游戏、体感交互等。同样是高通AI合作伙伴的华捷艾米推出3D玩偶功能，在高通人工智能引擎AI Engine的支持下，用户可以操控虚拟人偶、明星模型或卡通玩偶和被拍摄者做同樣的动作，并录制短视频或者拍照。
无论是拍照、游戏、购物在AI时代的新玩法，还是因为终端AI性能的提升带来的新奇应用，最为重要的还是软件和硬件的结合。AI算法多样，并且在不断迭代，只有算力强、且兼具灵活性和功耗优势的手机SoC才能支撑AI应用的普及和创新。AI近几年备受关注，但高通在AI的基础科技研发早在十多年前就已经开始，特别是在深度学习、神经计算和丰富的AI算法等领域。从4年前的骁龙820开始，高通就已经在骁龙移动平台上实现了第一代人工智能引擎AI Engine的商用。最新的旗舰移动平台骁龙855集成了高通第四代多核人工智能引擎AI Engine。与前几代AI Engine的理念相同，第四代AI Engine充分利用骁龙的异构多核可编程架构，对每个内核进行大幅优化和提升，强调整体芯片面向AI计算的高效率和灵活性。值得注意的是，在骁龙855上，Hexagon进化为更通用、更加强大的系统。不仅 DSP的功能得到了扩展，更是新增了独立的AI硬件核心HTA （Hexagon张量加速器），以综合实现可编程的AI加速。此外，第四代高通人工智能引擎AI Engine软件套件可以为高通神经处理SDK、Google Android NN-API以及Hexagon NN和Qualcomm Math Library带来一系列的提升。如今，利用第四代高通人工智能引擎AI Engine的AI软件合作伙伴正在多个领域不断拓展，为OEM厂商提供了支持下一代终端侧AI特性的更多预优化算法。AI Engine还能让AI带来更多的变革，比如汽车行业、工业、物流和零售等。
AI通话降噪及超级夜景功能
手机最重要也是最基础的功能无疑是通信，随着通信技术的发展，手机通话质量越来越高，但嘈杂环境下打电话听不清楚的问题一直没有被解决。目前，部分手机增加了通话降噪功能，比如中兴、努比亚等。据了解，这些手机中的通话降噪的算法来自大象声科（ELEVOC），算法基于计算听觉场景分析理论，应用深度学习技术。而其中很重要的一点是，通话降噪的算法有了高通人工智能引擎AI Engine的支持，能够实时分离手机通话中的人声和背景噪声，使用者不论身处多么嘈杂的环境打电话，对方听到的始终是你清晰自然的声音。通话降噪的应用当然不局限于语音通话，高通与大象声科合作，在Skype视频和语音通话中可以从呼叫方噪声的背景中精确地提取使用者的声音，并且这个功能只用一个麦克风就能实现比多个麦克风更加精确地噪声抑制。有了AI通话降噪功能，以后无论是在体育赛事现场、音乐节还是家庭聚会，都可以获得高质量的通话，再也无惧嘈杂的环境。
对于部分人而言，语音和视频通话是低频使用功能，手机的拍照却极为重要。但是，不少人因为手机硬件本身或拍照技术等问题，总会拍出一些模糊甚至扭曲的照片。比如拍食物的时候，很多人都遇到过把寿司拍模糊的情况，想拍一张满意的照片需要耗费不少时间。现在，AI可以拯救拍照手残党。SensePhoto超分辨率功能可以对标光学（物理）变焦镜头，用AI算法实现比肩光学变焦镜头的画质清晰度，这个功能来自高通的合作伙伴商汤科技。要拍出高清晰度的照片，夜晚的难度显然更大，AI也可以让夜间拍出好照片更加容易。AI超级夜景功能能够进行智能降噪以及防抖，结合传统的计算机视觉和深度神经网络算法，可以让用户通过手持手机的方式或脚架模式（脚架效果更佳）以较长的曝光模式拍摄出细节更多、更极致的超级夜景影像，这个技术来自高通的AI合作伙伴虹软。高通的另一个AI合作伙伴旷视也有超画质功能，通过对原始图像进行处理，全新的超画质（Super IQ）技术能够更好地降低图片噪声、保留画面细节，优化拍摄和影像处理的时间。手机拍照不仅追求更高画质，还在追求接近单反相机的效果。因此，如今手机摄像头都是2个甚至5个，再匹配强劲的AI处理器能力和不错的AI算法，能够实现接近单反的效果。比如NALBI的图像AI深度技术，能将数码单反相机的虚化效果应用于任何图片，即使是来源于网络甚至其他设备的照片。需要明白，以上这些功能的实现都是AI算法与AI硬件深度融合的结果。不同公司的AI算法各有特色，但它们都能在灵活且高性能的高通AI Engine的支持下，实现令人满意的效果，特别是针对AI Engine优化的算法。AI算法和AI Engine的深度融合不仅能拯救拍照手残党，让手机拍照的质量更好，还能让拍照变得更加有趣。虹软也推出了AI 智能双摄视频虚化功能，针对多摄像头手机，可以在拍摄视频时即时更改焦点区域，产生出色的景深效果与前后景虚化体验。
AI软硬实力的展现
除此之外AI手游也广受欢迎。报告显示，2018年中国移动游戏用户规模为6.05亿人，同比增长9.2%。2018年中国移动游戏市场实际销售收入占全球移动游戏市场比例约为30.8%。那AI和手机游戏能碰撞出什么火花？8月初，在2019 ChinaJoy的高通骁龙主题馆开馆仪式上，《王者荣耀》的顶尖选手与AI 电竞战队——“SUPEX”进行了一场1v1对战，最终，AI 电竞战队一举赢得比赛。这是SUPEX的移动AI电竞首秀，也是iQOO联合王者荣耀、腾讯 AI Lab 、高通骁龙为探索终端侧AI性能而创建的“想象力工程”项目首次尝试将移动游戏的AI推理能力首次大规模从云端迁移至终端iQOO 产品上。四方的合作充分利用了第四代高通人工智能引擎AI Engine的强大异构计算能力，为手机端带来了不一样的游戏体验。AI不仅能与玩家进行游戏对战，还带来了新游戏。比如SensePosture的人体骨架检测（3D）技术，通过RGB和深度数据的输入，可以检测到3D的人体骨骼关键点和人体轮廓深度图，并支持实时跟踪，可以进行体感游戏、体感交互等。同样是高通AI合作伙伴的华捷艾米推出3D玩偶功能，在高通人工智能引擎AI Engine的支持下，用户可以操控虚拟人偶、明星模型或卡通玩偶和被拍摄者做同樣的动作，并录制短视频或者拍照。
无论是拍照、游戏、购物在AI时代的新玩法，还是因为终端AI性能的提升带来的新奇应用，最为重要的还是软件和硬件的结合。AI算法多样，并且在不断迭代，只有算力强、且兼具灵活性和功耗优势的手机SoC才能支撑AI应用的普及和创新。AI近几年备受关注，但高通在AI的基础科技研发早在十多年前就已经开始，特别是在深度学习、神经计算和丰富的AI算法等领域。从4年前的骁龙820开始，高通就已经在骁龙移动平台上实现了第一代人工智能引擎AI Engine的商用。最新的旗舰移动平台骁龙855集成了高通第四代多核人工智能引擎AI Engine。与前几代AI Engine的理念相同，第四代AI Engine充分利用骁龙的异构多核可编程架构，对每个内核进行大幅优化和提升，强调整体芯片面向AI计算的高效率和灵活性。值得注意的是，在骁龙855上，Hexagon进化为更通用、更加强大的系统。不仅 DSP的功能得到了扩展，更是新增了独立的AI硬件核心HTA （Hexagon张量加速器），以综合实现可编程的AI加速。此外，第四代高通人工智能引擎AI Engine软件套件可以为高通神经处理SDK、Google Android NN-API以及Hexagon NN和Qualcomm Math Library带来一系列的提升。如今，利用第四代高通人工智能引擎AI Engine的AI软件合作伙伴正在多个领域不断拓展，为OEM厂商提供了支持下一代终端侧AI特性的更多预优化算法。AI Engine还能让AI带来更多的变革，比如汽车行业、工业、物流和零售等。