4月15日

刷爆多模态任务榜单！贾佳亚团队Mini-Gemini登热榜，代码、模型、数据全部开源

香港中文大学终身教授贾佳亚团队提出的这款多模态模型 Mini-Gemini 供了 2B 小杯到 34B 的超大杯，最强模型在多个指标上相比 Google Gemini Pro 甚至 GPT-4V 都不遑多让。目前，Mini-Gemini 从代码、模型、到数据已全部开源，还登上了 PaperWithCode 热榜。Mini-Gemini 的图像理解和生成能力已经出了 Demo，可以在线跟自定义图像对话的那种。Mini-Gemini 不仅能够根据图片对做面包的过程进行手把手教学，也能够准确将不同电脑根据图片中的各种参数进行对比。Mini-Gemini 在保留超强的图像理解和推理能力的同时，还解锁了图像的生成能力，就如同 ChatGPT 和生成模型的结合。来源：微信公众号【机器之心】

陶哲轩力荐、亲自把关：AI for Math照这个清单学就对了

刚刚，著名数学家陶哲轩的个人博客又更新了，这次他们整理了一份有用的资源列表，该资源专注于 AI for Math，专为那些希望进入数学 AI 领域的人提供帮助。这份清单发起时间最早可追溯到去年，发起机构由美国国家科学院、工程院和医学院组织的研讨会「人工智能辅助数学推理」提出，陶哲轩担任研讨会主持人。在关于清单的介绍中我们看出，这是一个初步的资源列表，最初由 UIUC 教授 Talia Ringer 整理，供那些希望进入 AI 数学领域的人使用，不过这份文档还没有完全截稿，陶哲轩及其他研究者还在不断的进行完善（我们还能看到各种修改痕迹）。关于教育，清单推荐了一些可用的教科书和调查报告、维基和词汇表、教程、数据集和基准、课程教材等。由于 AI for Math 是一个高度协作的交叉领域，因此和那些具有互补专业知识以及有经验的人交流非常有益，基于此，列表推荐了一些社区论坛，方便大家讨论。研究 AI 与数学，当然离不开工具和代码库，推荐列表中列出了机器学习框架、证明助手、数学工具、数学库等。来源：微信公众号【机器之心】

「音乐界Sora」Udio来了：前DeepMind员工创业，比Suno可定制性更强

近日，音乐生成领域再次迎来新玩家「Udio」。与前段时间大火的 Suno V3 相似，Udio 仅通过一些人工输入的文本提示（包括用户提供的歌词），就可以创建高保真音乐音频。但它拥有比 Suno 更多的自定义能力，风格涵盖乡村音乐、理发店四重唱（Barbershop）、德国流行乐（German pop）、古典音乐、硬摇滚、嘻哈、演唱曲调等。在测试阶段，用户可以免费使用，每人每月可以免费生成 1200 首音乐。Udio 分两个阶段完成任务：首先利用类似于 ChatGPT 的大语言模型，根据所提供的提示生成歌词。接下来，利用一种 Udio 没有透露的方法合成音乐，但这很可能是一种扩散模型，类似于 Stability AI 的 Stable Audio。此外，Udio 团队没有透露其模型或训练数据的具体细节（其中很可能充斥着受版权保护的材料）。来源：微信公众号【机器之心】

集成11种越狱攻击方法，复旦团队开发越狱攻击框架，揭示大模型参数量和安全性的新规律

近日，复旦大学博士生王枭和所在团队开发了首个统一的越狱攻击框架 EasyJailbreak，这是一个集成了 11 种经典越狱攻击方法的统一架构。它能帮助用户一键式地构建越狱攻击。基于 EasyJailbreak，课题组还开展了大规模的越狱安全测评。对于科研从业者来说，EasyJailbreak 采取模块化设计，可以帮助他们更有效地探索新颖的越狱方法，继而设计更好的改进方案。对于业界从业者而言，EasyJailbreak 是一个实用型工具，能在产品上线之前帮助发现和解决安全漏洞，比如用于教育软件、自动客服和智能助手等应用的越狱安全检测等。来源：微信公众号【DeepTech深科技】