大模型+影像:智能手机“上春山”

250f7f37d8cbf31199e0577e0aecf99d.jpeg

这个春节假期,一首《上春山》火了。吃瓜群众热热闹闹学了一个假期的“春山学”,了解了抢占C位的各种技巧。

假期过去,开工大吉,手机行业开始抢占今年的C位。那么问题来了,今年智能手机最大的机会点在哪里?答案呼之欲出,当然是AI大模型。去年下半年,手机厂商陆续推出端侧大模型。春节刚过,OPPO发布了全新的AI战略,宣布进入AI时代。魅族宣布不再生产“传统智能机”,全面拥抱AI时代。显然,大模型就是手机行业的那座“春山”。

但根据“春山学”相关知识,跟着大家一起上山是不够的,必须更上一层才能稳站C位。在大模型+手机的众多结合点中,有一项能力是C位中的C位,妥妥的“真·春山无双”——大模型+手机影像。

ce245db1dd2eab8921b5701597c39d7e.png

据说在这个春节,一线城市的写真店纷纷转变了商业模式。原本大家都是去拍写真,店家负责拍摄和修图。现在都是去拍AIGC照片,店家摇身一变为AI提示工程师,用各种AIGC平台来实现用户种种匪夷所思的需求。

回来对比照片,也不是比你这张光打得不错,你这张P得更自然,而是你这张照片用的什么提示词,你这张一看就模型泛化性比较强……

bec4c5d7be89b1e7136c4173d0855b69.png

总之,AI之风正经由照相馆、写真店、小程序、APP,强烈地吹拂着我们的影像生活。

但是问题来了,这些强烈的AIGC影像需求,真的必须去线下店才能完成吗?为什么不能在手机端一键搞定?最近手机新品动辄搭载几十亿参数的端侧大模型,它们闲着干嘛呢?

事实上,手机里的大模型肯定是闲不住的。目前拥抱AI大模型的手机,基本情况是大模型是大模型,影像是影像,但这种分裂局面必然会很快得到改变。

“大模型与移动影像”的融合赛道,是2024年智能手机行业最为清晰的风口,也是手机厂商急切想要上,也必须上了就不能下来的,具有战略意义的那座“春山”。

大模型+手机影像,这座春山怎么上?我们来弄清其中的“春山学”问题吧。

六年之后

AI影像再上山

b3b7d55fc7c2cab0724c1f68436cb998.png

首先我们需要明确一点,那就是AI+影像绝不是什么新鲜事物,甚至很多人都已经习惯了AI与影像的结合。

这个概念开始受到业界重视,是早在2018年的时候。那一年4月,华为发布了P20手机。这款手机利用麒麟芯片的NPU端侧算力,首次在拍照中搭载了AI功能,能够识别包括宠物、人像、风景、美食等19种场景,覆盖500多个识别目标。在AI识别这些目标物后,会自动调整摄影模式和参数设置。

随后,这种AI摄影模式一度爆火,成为当时最具热度的手机技术升级,并且逐渐为全行业所接受。随着几年发展,AI影像变得越来越复杂,可识别物越来越多,并且加入了动态抓取、去除反光等AI能力,还与此后流行的计算摄影概念结合,成为手机影像系统中的基础能力之一。

但到这个层面,AI摄影的能力依旧有显著的局限性。它对图片的作用集中于“美化”,而不是“修改”和“生成”。我们也探访过一些AI摄影相关赛道的开发者,他们很希望能够利用手机的AI能力做出更具创意的应用,但端侧算力和模型能力是主要的限制。

523ac53f4f19d7c9c9bd205821b12474.png

而伴随着AI大模型的爆火,模型能力的关隘被突破了。在大模型的加持下,用户可以对影像系统提出复杂的指令,影像系统也能够更完整理解用户交互逻辑与意图指向。在能力上,大模型可以帮助完成高精度的图像元素替换,甚至加入AI生成的影像。

或许可以这样说,最初用户听闻AI影像概念的时候,脑海中设想的影像能力,其实是在今天才有可能实现的大模型影像。

伴随着大模型能力落地手机,AI影像终于可以完成关键一跃,实现那些早就许下的诺言。

大模型,就是AI影像的必须上的那座山。

8144847872d918e534682f9c54983bdc.png

春山上,风景如何?

春节还没过去,世界就感受到了来自Sora的视觉震撼。AI行业有句话,叫语言模型为打榜,视觉模型能赚钱。机器视觉能力是让用户感受到AI魅力最快速也最有效的方案。

长期以来,手机影像可谓一卷再卷,卷无可卷,但用户始终能做的只是拍摄图片。AI大模型能力的加入,可以让用户获得无门槛修改图片,以及将AIGC影像与手机拍摄影像结合的能力。AI大模型+手机AI计算能力+手机影像系统的组合,极大拓展了手机影像的边界,既继承了手机厂商多年来的技术与供应链布局,同时还获得了新的增长空间。

目前阶段,这条赛道已经迅速铺开。比如三星就通过图片助手功能,让用户实现了移动图片中目标,自动填充空缺,生成新图片的能力,从而让手机影像具备更大的构图自由。

6633f7dd2e4a35321f05964a9df21584.png

而OPPO Find X7系列则实现了通过AI大模型来提供AIGC消除功能。就像我们最近在广告里看到的那样,用户可以把春节聚会时不想看到的人从合影中消除,同时依靠AIGC补齐背景。目前,Find X7已经可以支持最多6个主体单独提取。除此之外,OPPO还更新了AI超清合影功能,可以智能识别并增强合影中人脸的清晰度。

26b79d4bb18cb0ddd01094c6255498dd.png

可以预见的是,接下来我们会看到大量基于AI大模型实现的影像功能,比如AI抠图,AI替换,AI扩图等。整体而言,大模型+手机影像会呈现三大发展趋势:

1.AIGC内容与拍摄内容结合。AIGC的文生图平台,在过去一年快速赢得了用户青睐,将这种能力与手机本身影像能力融合,是AI手机赛道上最关键的争夺战。

2.AI能力从应用侧上移,与手机本身的影像系统结合。目前,AI大模型带来的视觉能力,更多还是单独的软件应用。接下来,手机厂商会将这些能力上移到系统侧,成为产品本身的差异化卖点。

3.手机影像能力可以OTA。AI大模型的加入,一定程度上让手机自身的影像能力成为可升级,可迭代的软件。让手机自身的系统级能力也可以持续更新,持续运营,是AI大模型带给手机的一种新变化。

总体来看,大模型与手机影像的结合,有着非常充沛的创意发挥空间,有源源不断的可能性。想要抓住这个机会,客观上将带来手机厂商之间新一轮的技术竞赛。

6ff7db2f2b22489e609fe0b23746ea92.png

那座山

就是下一个战略高地

目前阶段,还没有厂商将“大模型+影像”这个概念旗帜鲜明地提出来,但这个概念以各种不同的名称落地,应该已经为期不远。

需要注意的是,在端侧部署大模型,以及发展出一些创意性的AI影像玩法都很容易,但要将AI大模型+影像真正发展为长期赛道,构成品牌的用户心智支点,那还需要厂商投入巨大的精力,来展开一场全新的智能手机行业竞赛。

其原因在于,大模型+手机影像是一场名副其实的综合考验。它需要硬件侧的算力配合,需要影像系统的支撑,同时也需要模型侧的算法加持,更需要应用开发创意以及AIGC专属的视觉审美。从务实到务虚,从底层硬件到顶层应用,大模型+手机影像的竞赛近乎覆盖了手机行业的每个层级。

3ecd97b15c3d7767a3a13e66250c2584.png

而重点来看,抢占大模型+影像的战略高地,需要手机厂商在三个方面集结重兵:

1.AI基础设施更新。这个基础设施包括了AI算力与AI算法两个部分。涉及芯片能力,端云协同能力,以及基础算法能力。手机的AI基础设施更新需求,也将带动产业链展开新一轮洗牌。

2.AI应用的准确把握。AI大模型能够手机影像带来的可能性不是太少,而是太多了。如何在有限的算力条件下,给用户最准确,最吸引人的AI影像应用,将成为手机厂商面对的头一道考题。

3.AI审美能力的建设。最近很多人注意到Sora团队有专门的艺术人才加入。艺术与审美能力在AIGC时代非常重要。随着产业发展,算法能力会趋同,审美能力的差异化则会暴露出来。手机厂商过去更重视的是设计能力,这与艺术表达、审美判断等能力是存在一定差异的。构建属于AI手机的新审美能力,是一项全新的赛事。

最后,说一个有点反常识的判断:大模型+手机影像这座“春山”,其实还是很容易上的。其门槛远没有手机厂商宣传得那么夸张,但如果你最近用心学习了“春山学”教材,就会知道真正困难的不是上山,而是赖在山上不下来。

如何把大模型+手机影像从一个年度噱头,变成可以多年发展的长期赛道,甚至变成改写产业格局的锚点,那才是真正的考验。

不过好消息是,有春山可上至少证明了一件事:包裹手机行业的坚冰正在技术暖风的吹拂下开裂、消融。能否就此别冬入春,选择权在从业者手中。

66b72d11d38cf32b9b91f72c19d9a723.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2804890.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

Video generation models as world simulators-视频生成模型作为世界模拟器

原文地址:Video generation models as world simulators 我们探索在视频数据上进行大规模生成模型的训练。具体来说,我们联合训练文本条件扩散模型,同时处理不同持续时间、分辨率和长宽比的视频和图像。我们利用一个在视频和图像潜在编码的时…

Fiddler工具 — 21.Fiddler常用插件

Fiddler已有的功能已经够我们日常工作中使用了,为了更好的扩展Fiddler,Fiddler也是支持一些插件的安装,也支持用户自己开发插件并安装。 Fiddler插件下载地址:https://www.telerik.com/fiddler/add-ons 1、Traffic Differ Traf…

2023年的AI模型学习/部署/优化

可以的话,github上给点一个小心心,感谢观看。 LDC边缘检测的轻量级密集卷积神经网络: meiqisheng/LDC (github.com)https://github.com/meiqisheng/LDC segment-anything分割一切的图像分割算法模型: meiqisheng/segment-anyt…

pclpy KD-Tree K近邻搜索

pclpy KD-Tree K近邻搜索 一、算法原理1.KD-Tree 介绍2.原理 二、代码三、结果1.原点云2.k近邻点搜索后的点云 四、相关数据 一、算法原理 1.KD-Tree 介绍 kd 树或 k 维树是计算机科学中使用的一种数据结构,用于在具有 k 维的空间中组织一定数量的点。它是一个二叉…

SpringBoot-2.7.6基于SLF4J日志门面的日志框架切换

SpringBoot 没有强制性的日志记录依赖项,但 Commons Logging API 除外,它通常由 Spring Framework 的模块提供。 要使用 Logback,您需要将其包含在类路径中。 推荐的方法是您只需要通过启动器,这都取决于 . 对于 Web 应用程序 ,因为它可传递地依赖于日志记录启动器。 如果…

基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的犬种识别系统(附完整代码资源+UI界面+PyTorch代码)

摘要:本文介绍了一种基于深度学习的犬种识别系统系统的代码,采用最先进的YOLOv8算法并对比YOLOv7、YOLOv6、YOLOv5等算法的结果,能够准确识别图像、视频、实时视频流以及批量文件中的犬种。文章详细解释了YOLOv8算法的原理,并提供…

【RT-DETR有效改进】利用YOLOv9的GELAN模块替换RepC3结构(附轻量化版本 + 高效涨点版本 + 手撕结构图)

一、本文介绍 本文给大家带来的改进机制是利用2024/02/21号最新发布的YOLOv9其中提出的GELAN模块来改进RT-DETR的RepC3结构,GELAN融合了CSPNet和ELAN机制同时其中利用到了RepConv在获取更多有效特征的同时在推理时专用单分支结构从而不影响推理速度,同时…

(九)springmvc+mybatis+dubbo+zookeeper分布式架构 整合 - maven构建ant-framework核心代码Base封装

今天重点讲解的是ant-framework核心代码Base封装过程。 因为涉及到springmvc、mybatis的集成,为了使项目编码更简洁易用,这边将基础的BASE进行封装,其中包括:BaseBean、BaseDao、BaseService、CRUD的基础封装、分页组件的封装、m…

c++ qt五子棋联网对战游戏

C qt 五子棋联网对战游戏运行环境 Qt 6.6.0 (MSVC 2019 64-bit) 代码文件编码格式 ANSI txt文件编码格式 ANSI 测试用例 服务端端口被占用 通过客户端端口被占用 通过客户端连接服务端 服务端中途断开 通过客户端连接服务端 客户端中途断开 通过服务端没有启动 客户端启动…

【电子书】云计算_大数据

资料 wx:1945423050,备注来源和目的 个人整理了一些互联网电子书 云计算_大数据 34招精通商业智能数据分析:Power BI和Tableau进阶实战.epubCloudera Hadoop大数据平台实战指南.epubDocker实战.epubDocker技术入门与实战 第2版.epubDocker技…

华为HCIP Datacom H12-831 卷23

单选题 1、某园区部署IS-IS实现网络互通,在所有IS-IS路由器的进程中配置命令flash-flood 6 max-timer-interval 100 Leve1-2,则以下关于该场景的描述,正确的是哪—项? A、若某IS-IS路由器LSDB内更新的LSP数量为5,则在100毫秒内且路由计算完成前&#…

yarn install:unable to get local issuer certificate

一、问题描述 今天在Jenkins上发布项目时,遇到一个报错: error Error: unable to get local issuer certificateat TLSSocket.onConnectSecure (node:_tls_wrap:1535:34)at TLSSocket.emit (node:events:513:28)at TLSSocket._finishInit (node:_tls_w…

Conmi的正确答案——将JAVA中maven的.m2文件夹放到D盘

系统:WIN11 1、将.m2文件夹移动到D盘 移动后: 2、创建目录链接 mklink /j "C:\Users\Administrator\.m2" "D:\.m2"至此,maven默认的jar包会加载到D盘的.m2文件夹

RisingWave最佳实践-利用Dynamic filters 和 Temporal filters 实现监控告警

心得的体会 刚过了年刚开工,闲暇之余调研了分布式SQL流处理数据库–RisingWave,本人是Flink(包括FlinkSQL和Flink DataStream API)的资深用户,但接触到RisingWave令我眼前一亮,并且拿我们生产上的监控告警…

【Docker】免费使用的腾讯云容器镜像服务

需要云服务器等云产品来学习Linux可以移步/-->腾讯云<--/官网&#xff0c;轻量型云服务器低至112元/年&#xff0c;新用户首次下单享超低折扣。 目录 1、设置密码 2、登录实例&#xff08;sudo docker login xxxxxx&#xff09; 3、新建命名空间&#xff08;每个命名空…

C# 1.消息队列MQ使用场景--图文解析

为什么使用消息队列MQ&#xff08;Message Queue&#xff09;&#xff1f; 消息队列有什么优点和缺点&#xff1f; Kafka(大数据日志采集)、ActiveMQ(最早的MQ--目前使用较少)、RabbitMQ(开源&#xff0c;中小型企业使用足够)、RocketMQ(阿里开发&#xff0c;大型企业适用) 都…

【Linux网络】网络编程套接字(TCP)

目录 地址转换函数 字符串IP转整数IP 整数IP转字符串IP 关于inet_ntoa 简单的单执行流TCP网络程序 TCP socket API 详解及封装TCP socket 服务端创建套接字 服务端绑定 服务端监听 服务端获取连接 服务端处理请求 客户端创建套接字 客户端连接服务器 客户端…

Translumo:基于.NET开发的开源的屏幕实时翻译工具

推荐一个高级实时屏幕翻译器&#xff0c;可用于游戏、视频实时翻译。 01 项目简介 Translumo是基于.Net开发的、开源屏幕翻译器软件&#xff0c;它可以实时检测并翻译屏幕上所选区域中出现的文本&#xff0c;如视频的字幕和图片中的文字等。 项目架构如下&#xff1a; 02 项…

QT问题 打开Qt Creator发现没有菜单栏

之前不知道按了什么快捷键,当我再次打开Qt Creator时发现菜单栏消失啦 找了许多原因发现:安装有道词典的快捷键Ctrl Alt m 与Qt Creator里的快捷键冲突导致菜单栏被莫名其妙的隐藏 解决方法: 1找到有道词典快捷键 2再次按快捷键 Ctrl Alt m就可以重新显示菜单栏

JavaScript原型继承与面向对象编程思想

原型继承与面向对象编程思想 在JavaScript中&#xff0c;原型(prototype)、构造函数(constructor)和实例对象(instance)是面向对象编程中的重要概念&#xff0c;并且它们之间存在着紧密的关系。 原型(prototype)&#xff1a;原型是JavaScript中对象之间关联的一种机制。每个Ja…