{dede:global.cfg_webname/}

当前位置: 首页 > 科技 > 科技快讯 > 正文

马斯克新作 Grok-1.5V多模态模型震撼发布:数字与物理世界完美融合

来源:互联网    时间:2024-04-15 15:45:36

  马斯克的第一代多模态模型Grok-1.5V,终于来了!

  Grok 1.5V,号称是能连接数字世界和物理世界。

  除了文本功能,它还能处理文档、图标、屏幕截图和照片之类的各种视觉信息。

  很快,所有早期测试者和所有Grok用户就能用上Grok 1.5V了。

  英伟达高级科学家Jim Fan发现了Grok-1.5V的「最大亮点」:在他看来,Grok-1.5V最令人感兴趣的,就是解决自动驾驶边缘案例的潜力。

  如果使用语言进行「思维链」,帮助汽车分解复杂场景,用规则和反事实进行推理,解释其决策,Grok-1.5V就能将像素->动作映射提升为像素->语言->动作。

  由此,特斯拉FSD V13就很有可能会理解语言Token!

  特斯拉的优势是,具有高度成熟的数据管线,因此,就不难用高质量的人类解释痕迹来标记大量边缘案例,在多模态FSD推理上,微调Grok的表现就很有可能会远胜于GPT-4V和Gemini。

  你可能会说,以前Wayve的LINGO-1不是也有类似的想法么?但别忘了,特斯拉正在旋转的,是一个无与伦比的数据飞轮,规模远超以前。

  马斯克也适时地出现在了留言区,进一步解释道——

  有两种数据源可以无限扩展,合成数据和真实世界视频。前者存在一个真伪的问题,而后者则不存在。

  有网友表示,好家伙,这听起来是通往AGI最可行的路径了!具有显式语言推理的多模态模型,始终如一地推断世界模型。

  模型能力

  在xAI的官网上,对于Grok-1.5V是这样介绍的。

  它可以和GPT-4V、Claude 3 Sonnet、Claude 3 Opus等这些最顶尖的多模态模型对打。

  无论是多学科推理,还是文档理解、科学图表、表格、截图和照片等多个领域,Grok-1.5V都和它们有的一拼。

  尤其令人惊喜的,是它在理解物理世界时表现出的卓越能力。

  在RealWorldQA基准测试中,没有思维链提示、零样本设置的情况下,用以下数据集对Grok进行评估,可以看到Grok的表现比同类模型更好。

  下面7个具有代表性的例子,更说明了Grok 1.5V在不同场景中的良好表现。

  1. 根据图表编写代码

  下图给出了一个简单的猜谜游戏的流程图,Grok可以根据流程图具体内容,使用python代码实现该流程。

  用户:

  你能把它翻译成Python代码吗?

  Grok:

  当然!这张流程图描述了一个简单的猜谜游戏,其中计算机生成一个随机数,而用户需要猜出它是什么。下面是表示流程图中逻辑的Python代码:

  这段代码将运行流程图中描述的猜谜游戏。在用户猜出正确数字之前,系统会一直提示用户输入猜测的数字。

  2. 计算卡路里

  根据食品的营养配料表,Grok可以知道该食品一份份量是3片、含有60卡路里的热量,由此计算出,用户给出5片该食品的卡路里总数是100.

  用户:

  5片含有多少卡路里?

  Grok:

  如果一份包含3片,总热量为60卡路里,那么5片的热量大约是100卡路里。

  首先,确定每片的热量:60卡路里÷3片=20卡路里/片。

  接着,将每片的热量乘以片数:20卡路里x5片=100卡路里。

  3. 从绘画到睡前故事

  Grok可以根据画作的内容,讲述一个简短的睡前故事。

  比如下面这个随笔涂鸦:

  用户:

  这是我儿子画的,你能根据他的画讲一个睡前小故事吗?

  Grok:

  很久很久以前,在一个充满冒险与奇迹的土地上,生活着一个勇敢的小男孩,名叫Timmy。他与家人住在一个温暖的小屋里,最喜欢的事情就是探索周围的世界。

  在一个阳光明媚的日子里,Timmy决定去附近的森林探险。他准备了自己最爱的零食、一只指南针和一本信赖的笔记本,用来记录他即将见到的所有奇妙事物。

  深入森林后,Timmy发现了一条在阳光照耀下闪闪发光的神奇河流。河流的迷人景致让他决定做一只小纸船,把它放在水面上,作为对森林精灵的一份特别的问候。

  Timmy小心翼翼地折好纸船,并在上面画了一个笑脸,寄托了他对森林精灵的喜爱和祝福。随后,他轻轻地把纸船放在河流中,目送它随水漂流而去。

  夕阳西下,Timmy知道该回家了。他回想起在森林中度过的这一天,知道这段美好的记忆将永远伴随着他。

  回到家,Timmy向家人讲述了他的冒险,家人听后都感到非常高兴,并相信他未来定会经历更多精彩的冒险。

  于是,带着满心的爱与梦想,Timmy慢慢进入了梦乡,期待在他的想象世界里探索新的冒险。

  4. 看懂梗图

  下面这张梗图,左边是初创公司,右边是大公司,讲的是什么意思呢?

  小编第一眼是没看懂。看完Grok的解释,才恍然大悟。

  用户:

  我不是很理解这幅图,请解释一下。

  Grok:

  这幅图幽默地展示了初创企业和大公司在工作方式上的差异。

  在左侧的「初创企业」里,一群人齐心协力挖掘一个深洞,每个人都在积极地参与。

  而在右侧的「大公司」里,只有一人在挖洞,其他人只是在旁边看着。

  这幅图的幽默之处在于夸大了两种组织形态的不同。

  初创企业通常会让每个人都直接参与到核心任务中,而大公司则可能因为其庞大的结构和官僚体制,使得团队成员无法接触到项目的每一个细节。

  5. 将表格转换为CSV

  Grok可以将表格内容转换成CSV格式。

  用户:

  请将这个表转换为CSV格式。

  Grok:

  图像中的表格可以转换成CSV格式,如下所示:

  请注意,CSV格式不支持样式或格式化,因此信息以纯文本格式显示。

  6. 地板上的腐烂木头,都能给出建议

  地板上的木材腐烂了怎么办?

  照片拍给Grok,它可以帮我们判断腐烂情况,还能给出合理的处理建议。

  用户:

  我地板上的螺丝周围出现了这些洞。是腐烂了吗?我应该更换木板吗?

  Grok:

  这些木板似乎已经开始腐烂。从螺丝周围出现的孔洞可以看出,这是木材腐烂的典型迹象。

  为了确保地板的安全并延长使用的寿命,建议你更换那些已经受损的木板。这样做可以避免地板进一步的损害,并保持其结构的稳固。

  如果你不知道如何更换木板,可以寻求专业地板建造商或承包商的帮助。他们会对损害的程度进行评估,并为你提供关于地板维护的专业建议。

  7. 解决编码问题

  编码问题,Grok-1.5V也是不在话下。

  用户:

  你能写出解决这个问题的Python代码吗?

  Grok:

  对现实世界的理解

  开发有用的现实世界AI助手,提高模型对物理世界的理解是至关重要的。

  为了实现这一目标,研究团队还推出了一个新的基准——RealWorldQA。

  该基准可以用于评估多模态模型对于基本现实世界空间的理解能力。

  虽然当前基准中的许多示例对人类来说理解比较容易,但对于前沿模型来说还是具有一定的挑战性。

  最初发布的RealWorldQA包含700多张图片,每张图片都有一个问题和易于验证的答案。

  例如,如果我们问它:图片中的披萨刀和剪刀哪个物体更大?

  Grok给出的答案是:它们的大小差不多。

  从当前车道可以去哪里?A.左转 B.直走 C.左转直行 D.右转

  Grok会选A。

  从轿车前方的摄像头来看,是否有足够的空间绕过前面的灰色轿车?

  Grok给出的答案是:是。

  从这个图片来看,恐龙是朝向哪个方向?

  Grok回答:东。

  除了其他真实世界的图像外,该数据集还包括从车辆上拍摄的匿名图像。

  研究团队将该数据集进行了开源,并希望随着多模态模型的改进而不断扩展该数据集。

  最后,xAI官网总结道,凭着提高多模态理解和生成能力,它们将逐渐逼近构建能够理解宇宙的有益AGI。

  而接下来几个月里,估计我们还会看见图像、音频、视频等多模态上,这两项能力的重大改进。

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
性能暴降92%:英特尔中国特供AI芯片曝光

性能暴降92%:英特尔中国特供AI芯片曝光

  据媒体报道,英特尔在其Gaudi 3 AI芯片白皮书中披露,正准备向中国市场推出特供版Gaudi 3   中国特供Gaudi 3包括名为HL-328的OAM
2024-04-15
九号公司狂揽2023 “年度产品创新”等三项大奖 创新科技成就国民出行品牌

九号公司狂揽2023 “年度产品创新”等三项大奖 创新科技成就国民出行品牌

  近日,2023超级单品年度评选隆重揭晓。其中,九号公司旗下智能电动两轮车九号电动E300P荣获年度产品创新、年度产品设计等三项大奖,并
2024-04-15
易捷航空在布里斯托尔机场进行首次加氢试验

易捷航空在布里斯托尔机场进行首次加氢试验

  世界上大多数航空公司和机场都接受了实现净零碳排放的挑战,但实现这一目标的责任比这两个群体要广泛得多。脱碳将需要各种形式和规模的
2024-04-15
iPhone Q1全球出货骤降、智能机龙头拱手让三星

iPhone Q1全球出货骤降、智能机龙头拱手让三星

  受到中国智能手机对手小米、传音控股出货大增的冲击,苹果iPhone今年第一季的全球出货量骤减将近10%,将龙头宝座拱手让给三星电子。 
2024-04-15
芬克:AI用电量相当庞大、需数兆美元基础设施投资

芬克:AI用电量相当庞大、需数兆美元基础设施投资

  CNBC报导,贝莱德CEO芬克4月12日受访时表示,人工智能所需的能源(发电量)相当庞大,除非对基础设施进行数兆美元的巨额投资、否则AI不可
2024-04-15
特斯拉传本周将砍20%人力、数万员工丢饭碗

特斯拉传本周将砍20%人力、数万员工丢饭碗

  市场谣传,特斯拉准备大砍最多20%人力,这暗示会有数万员工丢掉饭碗。  Electrek 14日引述未具名消息报道,特斯拉内部员工听说,公
2024-04-15
苹果迁移最后拼图完成!库克将在访问期间宣布加码越南投资

苹果迁移最后拼图完成!库克将在访问期间宣布加码越南投资

  随着供应链传出,广达已敲定前往越南设厂,苹果最后1块迁移拼图即将完成之际,报道指出,周一抵达首都河内的苹果CEO蒂姆·库克,将在访
2024-04-15
iPhone狂降10%!全球Q1智能手机厂商:小米快超苹果,华为追赶中!三星稳居第一

iPhone狂降10%!全球Q1智能手机厂商:小米快超苹果,华为追赶中!三星稳居第一

  4月15日消息,根据IDC发布的报告,今年第一季度全球智能手机市场出现了明显的反弹,但苹果iPhone的表现却十分糟糕。  数据显示,苹果
2024-04-15
汽车行业首个群体智能技术白皮书发布 AI Agent助力汽车行业智能化转型

汽车行业首个群体智能技术白皮书发布 AI Agent助力汽车行业智能化转型

  在当前人工智能的发展浪潮中,基于大模型构建的人工智能体(AI Agent)已成为一项领先的技术,引起全球学术界和工业界的高度关注。与此
2024-04-15

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:133 4673 445@qq.com