AI新闻动态（2024-06-16到2024-06-22)

[ikaijua]

AI新闻动态（2024-06-16到2024-06-22)

目录

AI产品

1. Anthropic推出了新一代模型Claude 3.5 Sonnet
2. Runway版Sora发布，视频生成模型Gen-3 Alpha
3. Hedra：输入音频和人物图片，生成嘴型匹配的角色视频
4. ElevenLabs发布视频生成音效功能
5. Google DeepMind 发布 V2A 技术，能够为无声视频片段添加匹配场景的音效和音乐

AI研究

1. 苹果和EPFL联合开源的多模态模型训练框架4M（Massively Multimodal Masked Modeling）
2. Meta的基础人工智能研究（FAIR）团队公开发布了多项新的研究工具
3. 微软开源能处理多种视觉人物的模型Florence-2
4. 中科大和上海AI实验室等组成的ShareGPT4V团队发布一个百万级高质量视频数据集
5. 复旦发布视觉合成方法Hallo，可生成逼真、动态的人像图像动画
6. Andrej Karpathy推出的大模型培训课程LLM101n，从头创建一个能讲故事的LLM
7. B站开源了轻量级Index-1.9B系列模型

AI洞察

1. 历史性的一刻！英伟达超越微软成为全球市值第一公司
2. OpenAI前首席科学家Ilya Sutskever宣布成立新公司“安全超级智能”（SSI）
3. 黄仁勋加州理工学院毕业典礼演讲
4. 斯坦福大学教授李飞飞在2024年数据与人工智能峰会上的人工智能历史与未来演讲
5. 环球音乐集团（UMG）与AI音乐技术初创公司SoundLabs宣布建立合作关系，将向旗下艺人创建声音模型
6. 微软宣布即将停止Copilot GPTs服务
7. CCTV13《法治在线》报道，北京一男子白某某提供使用电脑 AI" 一键去衣 " 服务，警方已将其抓捕

AI投资

1. OpenAI 5亿美元收购数据库初创公司Rockset
2. HeyGen公司完成了6000万美元A轮融资

[ikaijua]

2024-06-19 历史性的一刻！英伟达超越微软成为全球市值第一公司

英伟达市值昨天登顶全球第一，超过3万亿美元！值得一提的是仅在一年前，英伟达市值还未触及1万亿美元大关。

美国时间6月18日，英伟达股价涨3.51%至135.58美元/股，市值3.34万亿美元，超过微软3.32万亿美元市值，成为全球第一大科技公司。

从全球市值亚军走到冠军，英伟达用了不到两个星期。美国时间6月5日，英伟达股价涨5.16%至1224.4美元，市值站上3.01万亿美元高位，超过苹果的3万亿美元市值，仅次于微软的3.15万亿美元市值。

[ikaijua]

2024-06-19 Runway版Sora发布，视频生成模型Gen-3 Alpha

1. Runway推出Gen-3 Alpha视频生成基础模型。
2. 模型能产生复杂场景、多种风格和详细指导的视频。
3. Gen-3 Alpha保真度、一致性和运动性提升显著，视频清晰度、细节、角色一致性匹敌现有模型。

Gen3-Alapha-ab64k-1M.mp4

官方博客：https://runwayml.com/blog/introducing-gen-3-alpha/

媒体文章：

• 机器之心：Runway版Sora发布：高保真、超强一致性，Gen-3 Alpha震撼到网友了

[ikaijua]

2024-06-16 微软宣布即将停止Copilot GPTs服务

1. 微软宣布将于2024年7月10日停止Copilot GPTs服务，并删除所有用户创建的Copilot GPT及相关数据。
2. 用户在社交平台上表达了对此举的强烈不满和失望。
3. 微软解释称，公司正在进行战略调整，将重点转向商业和企业场景。
4. 用户质疑背后真正原因是缺乏商业回报，需要用户支付费用。
5. 微软曾推出Copilot GPT Builder作为Copilot Pro订阅服务的一部分，用户可创建定制版本的Copilot GPT。
6. 所有定制构建的GPTs将在2024年7月14日后无法访问。

媒体文章：

• 机器之心：仅存活三个月的Copilot GPTs，因无盈利希望，被微软强制「退休」

[ikaijua]

2024-06-20 OpenAI前首席科学家Ilya Sutskever宣布成立新公司“安全超级智能”（SSI）

1. SSI的目标是追求安全的超级智能，通过小团队实现革命性成果。
2. 公司已启动专注于SSI的实验室“Safe Superintelligence Inc”。
3. SSI将安全性和能力视为技术难题，计划在提升能力的同时确保安全性优先。
4. SSI是一家美国公司，在帕洛阿尔托和特拉维夫设有办事处，正在组建顶尖团队。
5. 联合创始人包括前苹果AI高管Daniel Gross和前OpenAI技术团队成员Daniel Levy。
6. Ilya Sutskever在AI领域有丰富的研究和工作经验，包括在Google Brain和OpenAI的贡献。

媒体文章：

• 机器之心：突发！Ilya Sutskever成立新公司SSI，安全超级智能是唯一目标与产品

[ikaijua]

2024-06-16 黄仁勋加州理工学院毕业典礼演讲

1. 英伟达创始人黄仁勋在加州理工学院毕业典礼上鼓励年轻人抓住AI革命的机会，并分享了英伟达转型AI公司的历程。
2. 英伟达通过其AI处理器的高性能，满足了全球大模型和AI技术发展的需求，被视为AI发展浪潮中的最大赢家。
3. 黄仁勋强调计算机行业正在经历从基础设施到应用的全面转型，AI技术是这一转型的关键驱动力。
4. 黄仁勋认为AI的下一个浪潮将是机器人技术，并分享了英伟达在面对市场挑战和转型过程中的经验和教训。

youtube视频：【独家中英全文字幕】黄仁勋加州理工演讲

媒体文章：

• 机器之心：英伟达成全球市值最高公司，黄仁勋加州理工演讲：年轻人抓住机会，要跑不要走

[ikaijua]

2024-06-21 Anthropic推出了新一代模型Claude 3.5 Sonnet

1. Claude 3.5 Sonnet，具备更自然的书写语气和更强的视觉模型能力。
2. Claude 3.5 Sonnet在多个评估基准中表现出色，包括推理、阅读理解、数学、科学和编码。
3. 在高情商应对尴尬场面的测试中，Claude 3.5 Sonnet给出了5个示例，但部分表述不当。
4. 在根据图片生成菜谱的测试中，Claude 3.5 Sonnet和GPT-4o表现相当，都理解了中国菜的精髓。
5. 在数学题目的测试中，Claude 3.5 Sonnet和GPT-4o均给出了错误答案，但解题过程相似。
6. 在解读网络热梗的测试中，GPT-4o理解梗图的内涵更准确，表现优于Claude 3.5 Sonnet。
7. 在识别并赏析世界名画的测试中，两个模型均认出画作并进行了赏析，但GPT-4o对画作价值的估计可能偏低。

官方新闻：https://www.anthropic.com/news/claude-3-5-sonnet

媒体文章：

• 机器之心：一手测评Claude 3.5：玩梗、看病、耍心眼 、做数学题，它真比GPT-4o强吗？
• 量子位：Claude3.5突然发布！GPT-4o不香了

[ikaijua]

2024-06-17 Google DeepMind 发布 V2A 技术，能够为无声视频片段添加匹配场景的音效和音乐

1. 这一功能还未向公众开放，不过从官方放出的视频 Demo 展示了 V2A 技术与 DeepMind 的视频模型 Veo 结合使用的效果，包括为恐怖片场景添加紧张刺激的音效。
2. V2A 技术能够与视频生成模型结合，创造出具有戏剧性配乐、逼真音效或与视频角色及风格相匹配的对话。
3. V2A 技术允许用户通过「正向提示」和「负向提示」来引导或避免特定声音的生成，提供音频输出的控制。
4. V2A 系统通过编码视频输入、迭代细化音频，并由视觉输入和自然语言提示指导生成同步、逼真的音频。
5. Google DeepMind 承诺将负责任地开发和部署 AI 技术，包括在 V2A 技术公开前进行安全评估、测试，并整合 SynthID 工具包添加水印防止滥用。

官方博客：Generating audio for video

媒体文章：

• 机器之心：杀疯了！谷歌卷视频到语音，逼真音效让AI视频告别无声！

[ikaijua]

2024-06-22 OpenAI 5亿美元收购数据库初创公司Rockset

1. Rockset 这是一家领先的实时分析数据库公司，可实现毫秒级延迟。
2. Rockset 使用户、开发人员和企业能够在使用 AI 产品和构建更智能的应用程序时更好地利用自己的数据并访问实时信息。
3. OpenAI计划将Rockset的技术集成到其产品中，以增强其检索基础设施，使AI能够更好地利用和访问实时数据。

官方文章：

• https://openai.com/index/openai-acquires-rockset/
• https://rockset.com/blog/openai-acquires-rockset/

媒体文章：

• 量子位：OpenAI 36亿收购数据库初创公司，CTO剧透GPT-5

[ikaijua]

2024-06-22 中科大和上海AI实验室等组成的ShareGPT4V团队发布一个百万级高质量视频数据集

1. 数据集包含3000小时的高质量视频和相应的文字描述，提升了视频生成质量。
2. 利用GPT-4v的视觉能力，团队生成了4万条带有标注的视频数据，描述包含丰富的世界知识。
3. 团队开发了能自动生成视频描述的模型，将数据规模扩展到480万条、近3000小时。
4. 数据集和相关研究登上了抱抱脸Daily Papers榜首，数据集也登顶VQA类数据集榜单。
5. 研究团队通过差分滑窗视频描述策略（DiffSW）为视频生成高质量描述。
6. ShareCaptioner-Video是一个多功能多模态大模型，能为任意视频生成高质量描述。

Github地址：https://github.com/ShareGPT4Omni/ShareGPT4Video
项目地址：https://sharegpt4video.github.io/

媒体文章：

• 量子位：百万级高质量视频数据集发布，登顶抱抱脸数据集排行榜，中科大&上海AI Lab等出品

[ikaijua]

2024-06-16 复旦发布视觉合成方法Hallo，可生成逼真、动态的人像图像动画

1. 通过结合静态图像和相应的语音音频生成说话的人像，在视频游戏、虚拟现实、影视制作、社交媒体、在线教育、人机交互和虚拟助手等多个领域具有重要价值。
2. Hallo可以实现一是音频输入驱动的唇部运动、面部表情和头部姿势的同步和协调；生成视频具有时间一致性的高保真性。
3. 与传统的基于参数模型的中间面部表示方法不同，Hallo采用端到端的扩散模型框架，引入了一个层次化的音频驱动视觉合成模块，通过交叉注意力机制建立音频和视觉特征（如唇部、表情和姿势）之间的对应关系。

Github地址：https://github.com/fudan-generative-vision/hallo
项目地址：https://fudan-generative-vision.github.io/hallo

[ikaijua]

2024-06-18 ElevenLabs发布视频生成音效功能

上传视频，可以自动生成匹配视频的音频。

使用地址：https://www.videotosoundeffects.com/

[ikaijua]

2024-06-18 Hedra：输入音频和人物图片，生成嘴型匹配的角色视频

生成的人物视频带有表情和头部动作。模型支持生成无限长度的视频，目前只允许生成30秒内的视频。

使用地址：https://www.hedra.com/

[ikaijua]

2024-06-23 微软开源能处理多种视觉人物的模型Florence-2

通过文字提示，即可处理图片描述（类似LLaVA）、对象检测（类似DINO、Yolo）、图像分割（类似SAM）等任务，基于1.26亿图片数据和54亿条注释数据训练。

• 模型地址：https://huggingface.co/collections/microsoft/florence-6669f44df0d87d9c3bfb76de
• 非官方ComfyUI节点：ComfyUI-Florence2

[ikaijua]

2024-06-20 HeyGen公司完成了6000万美元A轮融资

1. 由Benchmark领投，融资使公司估值超过5亿美元。
2. 公司在一年多的时间里，年循环收入从100万美元增长到超过3500万美元，并自2023年第二季度起实现盈利。
3. HeyGen是一个AI视频生成平台，旨在帮助企业通过视频讲述故事，无需传统视频制作的复杂流程和高昂成本。
4. HeyGen允许用户通过打字输入脚本来创建、本地化和个性化工作室质量的视频，同时支持将现有视频使用AI声音和唇部同步技术翻译成175种语言和地区方言。
5. HeyGen已经为全球超过40000家付费企业客户提供服务，这些客户包括从欧洲制造商到小型企业，再到全球非营利组织和财富500强公司。

官方博客：https://www.heygen.com/article/announcing-our-series-a

[ikaijua]

2024-06-18 苹果和EPFL联合开源的多模态模型训练框架4M（Massively Multimodal Masked Modeling）

支持数十种模态和任务，读图能力支持表面法线、深度图、图片分割、物体检测、图片描述。画图能力支持线框补图、画深度图和表面法线、基于深度图和区域修改图片。支持微调来适配新类型的任务。

Github地址：https://github.com/apple/ml-4m
在线体验：https://huggingface.co/spaces/EPFL-VILAB/4M
项目地址：https://4m.epfl.ch/
论文：https://arxiv.org/abs/2406.09406

[ikaijua]

2024-06-21 Andrej Karpathy推出的大模型培训课程LLM101n，从头创建一个能讲故事的LLM

1. LLM101n的课程项目，目的是构建一个能够创作、提炼和阐释小故事的大语言模型。
2. 课程从语言建模和机器学习的基础知识开始，逐步深入到多模态、RLHF（强化学习人类反馈）、模型部署等高级主题。
3. LLM101n旨在教学生从头开始构建类似ChatGPT的模型，使学生对AI、LLM和深度学习有深入的了解。
4. 课程包含17章，覆盖从Bigram语言模型到多模态和部署的广泛内容。

教学大纲如下：

• 第 01 章 Bigram 语言模型（语言建模）
• 第 02 章 Micrograd（机器学习、反向传播）
• 第 03 章 N-gram 模型（多层感知器、matmul、gelu）
• 第 04 章 Attention（attention、softmax、位置编码器）
• 第 05 章 Transformer（transformer、residue、layernorm、GPT-2）
• 第 06 章 Tokenization（minBPE、字节对编码）
• 第 07 章 优化（初始化、优化、AdamW）
• 第 08 章 Deepspeed I：设备（设备，CPU，GPU，...）
• 第 09 章 DS II：精度（混合精度训练，fp16，bf16，fp8，......）
• 第 10 章 DS III：分布式（分布式优化、DDP、ZeRO）
• 第 11 章 数据集（数据集、数据加载、合成数据生成）
• 第 12 章 推理 I：kv-cache（kv-cache）
• 第 13 章 推理 II：量化（quantization）
• 第 14 章 微调 I：SFT（监督微调 SFT、PEFT、LoRA、聊天（chat））
• 第 15 章 微调 II：RL（强化学习，RLHF，PPO，DPO）
• 第 16 章 部署（API、Web 应用程序）
• 第 17 章 多模态（VQVAE、扩散 transformer）

Github地址：https://github.com/karpathy/LLM101n

媒体文章：

• 机器之心：墙裂推荐！Karpathy大模型培训课LLM101n上线了，非常基础

[ikaijua]

2024-06-20 B站开源了轻量级Index-1.9B系列模型

1. Index-1.9B系列模型包含不同版本，如基座模型、对照组、对话模型和角色扮演模型。
2. Index-1.9B base是基座模型，具有19亿非词嵌入参数量，在2.8T的中英文语料上预训练，性能领先。
3. Index-1.9B pure是对照组，与base参数相同，但过滤了所有指令相关数据，用以验证指令对基准测试的影响。
4. Index-1.9B chat是基于base模型的对话模型，通过SFT和DPO对齐，引入互联网社区语料，增强了聊天趣味性。
5. Index-1.9B character模型在SFT和DPO基础上引入RAG技术，实现角色扮演定制。
6. 模型预训练使用了2.8T规模的数据，中英比例为4:5，代码占比6%。
7. 角色扮演模型内置了角色“三三”，用户可以创建自定义角色。

项目地址：https://github.com/bilibili/Index-1.9B

[ikaijua]

2024-06-23 CCTV13《法治在线》报道，北京一男子白某某提供使用电脑 AI" 一键去衣 " 服务，警方已将其抓捕

犯罪嫌疑人白某某，原本是一家互联网公司的技术员。他用AI“一键去衣”技术，深度伪造淫秽图片近7000张，再每张1.5元卖出。图片涉及女性人数多，包括学生、教师、同事。目前白某某已被提起公诉。

B站视频：新华网/一键去衣！男子用AI伪造学生同事近7000张裸照

[ikaijua]

2024-06-16 斯坦福大学教授李飞飞在2024年数据与人工智能峰会上的人工智能历史与未来演讲

1. 李飞飞教授将寒武纪三叶虫的出现与现代AI的突破相提并论，认为三叶虫的视觉感知开启了智能的发展，而计算机视觉的突破开启了现代AI的新世纪。
2. 演讲中提到了三大力量的结合：神经网络算法、图形处理单元（GPU）和大数据，这些推动了计算机视觉能力的巨大进步。
3. 李飞飞教授强调了生成式AI和扩散模型的发展，使得AI程序能够根据人类的描述创造出全新的照片或视频。
4. 她讨论了空间智能的重要性，认为AI的未来需要超越视觉感知，能够进行空间理解和行动。
5. 演讲中还提到了AI在医疗健康领域的应用，包括智能传感器和机器人技术，以及它们如何帮助改善病人护理和手术过程。
6. 最后，李飞飞教授展望了AI的未来，期望AI能够更具洞察力、空间感知能力，并与人类一同创造更美好的世界。

youtube视频：Fei Fei Li, Professor, Stanford University on the History and Future of AI at Data + AI Summit 2024

[ikaijua]

2024-06-18 Meta的基础人工智能研究（FAIR）团队公开发布了多项新的研究工具

1. 公开了六项研究工具，集中在创新、创造力、效率和责任主题上，包括图像到文本和文本到音乐生成模型，以及检测AI生成语音的技术。
2. Meta Chameleon模型：这是一系列可以将文本和图像结合作为输入和输出的模型，使用统一的架构进行编码和解码，Chameleon 7B和34B模型的关键组件在研究许可下发布。
3. 多token预测：一种新的训练语言模型的方法，通过一次性预测多个未来单词来提高效率，代码补全的预训练模型在非商业/仅限研究许可下发布。
4. JASCO模型：一种文本到音乐生成模型，能够接受各种条件输入以改善对生成音乐输出的控制，计划在特定许可下发布推理代码和预训练模型。
5. AudioSeal和PRISM数据集：Meta发布了AudioSeal，一种专门设计用于检测AI生成语音的音频水印技术，并支持发布了PRISM数据集，该数据集提供了来自75个国家1500名不同参与者的社会人口统计和偏好数据，以改进大型语言模型。
6. 改善地理差异：Meta FAIR详细介绍了衡量和改善文本到图像生成系统中地理差异的努力，包括开发自动指标和进行大规模注释研究。

官方博客文章：https://ai.meta.com/blog/meta-fair-research-new-releases/

[ikaijua]

2024-06-18 环球音乐集团（UMG）与AI音乐技术初创公司SoundLabs宣布建立合作关系，将向旗下艺人创建声音模型

1. SoundLabs将推出名为MicDrop的新功能，允许艺人使用自己提供的数据创建声音模型，该功能预计在当夏末推出。
2. 艺人将拥有声音模型的所有权和使用权，并且这些声音克隆不会被公开给大众。
3. MicDrop还提供语音到乐器的功能和语言转换功能，有助于艺人跨越语言障碍发布歌曲。
4. AI声音克隆在音乐行业中是一个知名且常引起争议的应用，已有立法保护艺人的虚拟形象和公开权。
5. 音乐行业的主要利益相关者对AI音乐工具持谨慎态度，但也表示只要AI工具的使用符合伦理，尊重艺术家的版权和虚拟形象，他们对这些工具感兴趣。
6. UMG和SoundLabs都强调了在合作中伦理使用AI的重要性，UMG的一位高级副总裁表示，他们致力于让技术服务于艺术，而不是相反。

官方新闻：https://www.rollingstone.com/music/music-news/umg-startsai-voice-clone-partnership-with-soundlabs-1235041808/