苹果机器学习研究团队近日发布博文,展示了全新的生成式 AI 技术-- HUGS,能够在 30 分钟内分析短视频,然后映射创建新的动作和角度。
苹果研究员 Anurag Ranjan 发布推文,表示 HUGS 的全称叫作 Human Gaussian Splats,使用机器学习和计算机视觉,在原始输入数据较少的情况下,创建出逼真的人像元素。
苹果官方介绍中表示神经渲染技术目前已经有了长足的进步,但最适合的场景依然是静态场景的摄影测量,还无法推广到环境中自由移动的人类。HUGS 使用 3D Gaussian Splatting 的技术,在场景中创建可移动的人类。该方法本身需要少量的主体视频,通常在场景中运动,并显示尽可能多的表面供系统工作。
在某些情况下,该技术对源输入数据的要求很低,最少可以低至 50 到 100 帧的单目视频,相当于 2 到 4 秒的 24fps 视频。苹果声称,该系统已经过训练,可以“在 30 分钟内解开静态场景和完全可动画化的人类化身”。
苹果表示 SMPL 体模型虽然用于初始化人类高斯模型,但无法捕获每个细节。对于未建模的元素(如布料和头发),该过程可以偏离 SMPL 模型,来填补模型捕获中的空白。苹果官方表示从训练视频到以 60fps 的渲染速度输出,能够在半小时完成人体建模和“最先进的渲染质量”动画,这比 NeuMan 和 Vid2Avatar 等其它方法快 100 倍。
单打独斗很难落地大模型
想要占领生成式AI时代的先机,即便是业界领先的公司,靠单打独斗还不够,和生态伙伴合作成了必选项。
“蚂蚁集团和业界一样,对于研发效率的提升都有非常大的诉求,这是我们研发CodeFuse的初衷。”李建国对雷峰网说,“去年开始,我们就开始用插件的方式来提升研发效率,后来ChatGPT让我们意识到我们不仅可以通过插件的方式提升效率,还可以借助大模型让CodeFuse有更多的功能。”
有探索精神的蚂蚁集团去年开始自研的代码生成专属大模型,要实现根据开发者的输入,帮助开发者自动生成代码、自动增加注释、自动生成测试用例、自动修复和优化代码、自动翻译代码等,达到提升研发效率的终极目标。
简单说,CodeFuse的目的是重新定义下一代AI研发,提供全生命周期AI辅助工具。
上半年,蚂蚁从0训练了多个十亿和百亿级参数的CodeFuse代码大模型训练,CodeFuse又适配加训了一系列开源模型,比如LLaMA、LLaMA-2、StarCoder、Baichuan、Qwen、CodeLLaMA等。
训练好的模型到了推理落地阶段,出现了不一样的难题。
“模型的推理部署分很多层,有最底层的软件优化,往上还有算法优化和服务优化。”李建国知道,“算法和服务优化是自己团队擅长的,底层的软件优化我们也能做,但最好的选择还是NVIDIA。”
之所以说NVIDIA是最好的选择,有两方面的原因,一方面是因为李建国和他的团队在通过插件提升研发效率的时候,经过综合评估,选择了最适合他们的NVIDIA开源项目FasterTransformer。“为了实现一些定制化功能,我们为开源端口贡献了上千行代码。”李建国团队超前的需求没得到完全的满足,需要和NVIDIA有更深度的合作。
另一方面,作为GPU加速硬件提供方,NVIDIA更加擅长结合底层的硬件和软件优化,强强联合能更快速探索出AI推理的路径。
这个合作其实是典型的双向奔赴,CodeFuse遇到落地难题的时候,NVIDIA也非常需要蚂蚁集团一起协同设计出好产品。
成本是另一个难题
经历过年初大模型风口的狂热之后,越来越多从业者意识到,生成式AI的商业化落地并不如预期中顺利。
在工业、金融、医疗、教育等行业,生成式AI都拥有足够的想象空间,但很多企业在面对新技术时的第一反应却是保持观望。尤其在传统行业,一些企业主在面对生成式AI和专业人员的选择题时,他们更愿意选择人工。
技术门槛是企业用户对生成式AI保持谨慎的主要因素之一。这些垂直行业的企业对本行业的理解非常深刻,但从0到1开发AI应用并不是他们擅长的,这个过程中还存在数据安全和隐私等问题,背后的挑战和风险都让他们难以放开手脚。
成本是企业用户保持谨慎的另外一个因素。大多数企业每年的IT支出都是根据企业已有业务规划好的,而企业固有的IT基础设施,在大模型时代,很难支持需要大算力、大存储的生成式AI应用,自然也就无法应对突然增加的生成式AI业务需求。再加上全球缺“芯”潮的影响,训练、推理的算力成本不断上涨,企业使用生成式AI的成本难以控制,他们只能观望。
在多重不利因素影响下,生成式AI在垂直行业的商业化落地比较缓慢,一些从业者甚至开始质疑当下生成式AI技术是否具备赚钱的能力。
其实大可不必。困难和挑战都是暂时的,生成式AI只要突破技术和成本的瓶颈就会获得快速落地的机遇期。
文章来源: IT之家,虎嗅APP,雷峰网
参与评论
登录后参与讨论 0/1000