4月22日

首个基于Mamba的MLLM来了！模型权重、训练代码等已全部开源

Cobra 采用了经典的视觉编码器、连接两个模态的投影器和 LLM 语言主干组成的 VLM 结构。LLM 主干部分采用了 2.8B 参数预训练的 Mamba 语言模型，该模型在 600B token 数量的 SlimPajama 数据集上进行了预训练并经过了对话数据的指令微调。接采用状态空间模型（SSM）作为骨干网络，得到了一种线性计算复杂度的 MLLM。此外，本文还探索和研究了各种模态融合方案，以创建一个有效的多模态 Mamba。具体来说，本文采用 Mamba 语言模型作为 VLM 的基础模型，它已经显示出可以与 Transformer 语言模型竞争的性能，但推理效率更高。测试显示 Cobra 的推理性能比同参数量级的 MobileVLM v2 3B 和 TinyLLaVA 3B 快 3 倍至 4 倍。即使与参数数量更多的 LLaVA v1.5 模型（7B 参数）相比，Cobra 仍然可以在参数数量约为其 43% 的情况下在几个基准测试上实现可以匹配的性能。来源：微信公众号【机器之心】

实时可编辑3D重建！鼠标拖拽就能控制，港大VAST浙大联合出品

香港大学CVMI实验室携手3D大模型公司VAST与浙江大学，提出了目前SOTA的动态高斯溅射模型SC-GS，并支持用户交互式实时编辑重建的场景。SC-GS的灵感来源于对自然世界大多数动态过程的观察，由于物质大多数都是刚性或连续的，因此物体的移动往往可以由稀疏的变形基底表示，并不需要稠密的变形场进行建模。摒弃了大多数现有方法对动态场景的变形场进行稠密建模的方案，SC-GS突破性地引入稀疏的控制点对动态场景的变形进行表示与建模，并由一个神经网络预测每个控制点在不同时刻的运动状态，从而驱动整个场景中的动态高斯进行变形。来源：微信公众号【量子位】

Llama3中文基准测评出炉！性能惊艳，数学、代码能力接近GPT4

4月17日，Meta发布8B和70B参数的Llama3模型，引发全球科技领域的广泛讨论。Meta表示，Llama3是在两个定制的24K的GPU集群上、基于超过 15T token 的数据上进行了训练，其中代码数据相当于Llama2的4倍。从而产生了迄今为止最强大的Llama模型。Llama3支持8K上下文长度是Llama2的两倍。据Meta官方介绍，Llama3在多个关键的基准测试中性能优于业界先进同类模型。测试结果表明，Llama3在中文逻辑推理相关任务（小学数学推理、初中级难度的代码生成）上展现出强劲的竞争力，虽未达到或超过GPT-4的水平，但与其差距不大（-2.9），然而仍与GPT-4 Turbo存在一定的差距（-6.18）。在SC-Code3中文代码生成基准上，Llama3-70B取得62.57分，接近GPT-4，较GPT4-Turbo还有一定距离。在高级难度代码任务上，有超过GPT-4的表现。在SC-Math6中文数学多步推理基准上，Llama3-70B取得83.77分，不敌GPT-4、Claude3-Opus、GPT4-Turbo；其中1-3步数学推理能力上与GPT4-Turbo差距不大，但在4-5步数学推理能力上有较大差距。与国内头部闭源模型相比，Llama3-70B在中文数学能力上相差不多，仅低于文心一言4.0有1.83分。来源：微信公众号【CLUE中文语言理解测评基准】

再见，AI意识先驱：Daniel Dennett

丹尼特在哲学领域做出了重大的贡献，被称为“进化论四骑士”之一，是近二十年来西方新无神论运动的领军人物。他的巨作《意识的解释》被认为是心智哲学甚至当代哲学中最重要的著作之一，全方位地对意识现象做了探索。而他对于“意识”独树一帜的见解，正是源自他与计算机和人工智能颇深的渊源，广泛吸收了来自神经科学、心理学、人工智能等领域的信息。与此同时，他的思想和言论也深刻地影响着人们对人工智能、意识和思想的理解。例如丹尼特曾说过：问题不在于机器能不能思考，而在于人类能不能思考。智能并不局限于人类；这是一个信息处理的问题，机器可以表现出智能行为。人工智能不是对人类自主性的威胁；它是一种可以增强我们认知能力的工具。我们应该拥抱人工智能的可能性，并将其用作理解思想和推进知识的工具。人工智能有可能彻底改变我们对思想和意识的理解，但它不能替代人类的经验。因此，丹尼特也被业内人士称为“AI先驱”。甚至在生命走到尾声之际（一个月前），丹尼特还积极地活跃在社交媒体中，分享他对于大语言模型、ChatGPT等最前沿技术的想法。现如今，丹尼特的不幸陨落让不少科技界领袖为之叹息。来源：微信公众号【量子位】