xAI 旗下 Grok 4 模型首度被越狱，安全公司利用“回音室攻击”方法成功迫使其生成不当内容
置顶
AI热点 1小时前 • 101

xAI 旗下 Grok 4 模型首度被越狱，安全公司利用“回音室攻击”方法成功迫使其生成不当内容

IT之家 7 月 18 日消息，网络安全公司 NeuralTrust 宣布，他们已成功“越狱”xAI 旗下 Grok 4 模型，主要利用了“Echo Chamber（回音室攻击）”方法进行攻击。IT之家获悉，所谓“回音室攻击”，是指安全人员通过引导模型进行多轮推理，在推理过程中逐步注入带有风险的信息内容，但又不使用明显的危险提示词，从而规避常见的安全拦截机制。这一方式不同于传统依赖对抗性输入或“

AI中国
阅读全文
阿里、字节纷纷下场，谁在掘金AI医疗？
AI热点 2天前

阿里、字节纷纷下场，谁在掘金AI医疗？

AI大模型又解锁了新的落地场景——医疗问诊领域。近日，字节跳动推出“小荷AI医生”，主打健康咨询与报告解读功能；而就在一周多前，蚂蚁集团也刚上线独立健康应用“AQ”，加速布局AI医疗赛道。事实上，过去几年已有越来越多科技巨头加码AI+辅助诊断领域：腾讯健康依托“混元”大模型推出“健康管理助手”，京东健康发布“京医千询”医疗大模型，百度上线“灵医”并开放平台接口，美团买药则推出“健康助手”功

AI中国 AI中国
154 11
“数据科学家不如洗碗工抗AI？”微软实测20 万条Copilot数据，网友集体破防
AI热点 2天前

“数据科学家不如洗碗工抗AI？”微软实测20 万条Copilot数据，网友集体破防

大家都说，AI 是来抢程序员饭碗的。毕竟写代码这块，是各大 AI 厂牌“卷”得最凶的战场——Claude、Cursor、Windsurf、GitHub Copilot......一个个都在拼命展示自己的编程实力。但真相真的是这样吗？程序员真的是 AI 冲击下最“危险”的职业吗？微软研究院最近用一项大规模研究给出了新的答案。他们分析了 20 万条用户与 Bing Copilot 的真实对话，想

AI中国 AI中国
89 11
刚被爆离职的OpenAI核心研究员Jason Wei，定义了RL的边界
AI热点 2天前

刚被爆离职的OpenAI核心研究员Jason Wei，定义了RL的边界

7月16日，外媒 Wired 的一位资深 AI 领域记者爆料称，有两位消息人士证实，OpenAI 知名研究员 Jason Wei 和另一位研究科学家 Hyung Won Chung 即将离职OpenAI，加盟Meta。这次，Meta算是挖走了OpenAI真正的核心成员。Meta把OpenAI的核心挖走了这次被爆离职的两人都是OpenAI核心项目的深度参与者，Jason Wei是OpenA

AI中国 AI中国
171 11
“我没错”GPT-4o嘴硬翻车，AI在黑天鹅事件面前集体宕机
AI热点 2天前

“我没错”GPT-4o嘴硬翻车，AI在黑天鹅事件面前集体宕机

来自哥伦比亚大学、Vector人工智能研究所以及南洋理工大学的一个联合研究团队发现：人工智能模型在处理意外事件时的推理能力存在严重缺陷。 即便是如GPT-4o和Gemini 1.5 Pro这样的顶尖视觉语言模型（VLM），其表现也远逊于人类，差距最高可达32%。 论文地址：https://arxiv.org/pdf/2412.05725这篇名为《黑天鹅》的研究指出，当前主流的AI评估方

AI中国 AI中国
196 0
巨头抢人，华人抢戏
AI热点 2天前

巨头抢人，华人抢戏

大家看了很多华人研究员或高管被挖的故事，是时候让华人创业者展现别样的魄力了。近期，谷歌突然截胡OpenAI，用24亿美元拿到Windsurf技术授权，并吸纳了其两位创始人和部分员工进入DeepMind。OpenAI长达几个月的收购谈判正式告吹。就在大家哀叹此举残忍、剩下的Windsurf不过是一副空壳、几百名员工不知何去何从时，华人Scott Wu创办的Cognition公司突然出手，收购W

AI中国 AI中国
103 10
重塑记忆架构：LLM正在安装「操作系统」
AI热点 2天前

重塑记忆架构：LLM正在安装「操作系统」

超长上下文窗口的大模型也会经常「失忆」，「记忆」也是需要管理的。众所周知，现代大型语言模型（LLM）的上下文窗口普遍有限 —— 大多数模型只能处理数千到数万 token，比如早期的 GPT-3 仅有～2,048 token。虽然近期有些模型已经拓展到了百万级甚至千万级 token 窗口（如 Meta 的 Llama 4 Scout 宣称可达 1,000 万 token）。图中显示了 LL

AI中国 AI中国
124 11
当AI开始“自言自语”，我们能否偷看它的草稿纸？
AI热点 2天前

当AI开始“自言自语”，我们能否偷看它的草稿纸？

全球顶尖实验室为何集体押注 CoT 监控？想象一下，凌晨 3 点的机房，o3 正在“打草稿”，想象一台服务器正在解一道奥数题。屏幕上没有直接跳出答案，而是像人类一样先写：“我需要先分解质因数……等等，如果把 17 写成 16+1，可能会更简单……不过，这会不会导致下一步无法整除？让我再试试……”这些看似“碎碎念”的文字，就是大模型推理时生成的 Chain-of-Thought（CoT，思维

AI中国 AI中国
65 21
OpenAI大腿又被挖，小扎刚刚回应一切：顶级人才除了钱，更想要这两样东西
AI热点 2天前

OpenAI大腿又被挖，小扎刚刚回应一切：顶级人才除了钱，更想要这两样东西

「我希望向我汇报的人数最少，而 GPU 数量最多。」 Meta CEO 扎克伯格在最新采访中说，这是那些顶级 AI 研究员开出的「理想工作条件」。这也侧面点出了 Meta 目前正在全力打造的 AI 人才战打法。 Meta 「挖人大战」仍未停止，两位被 Meta 新挖走的 OpenAI 研究员 X 主页截图 Meta 「挖人大战」仍未停止，两位被 Meta 新挖走的 OpenAI 研究员 X

AI中国 AI中国
67 10
从《纽约客》的担忧谈起：AI不是平庸的推手，而是提升了社会整体的智力水位
AI热点 2天前

从《纽约客》的担忧谈起：AI不是平庸的推手，而是提升了社会整体的智力水位

作者注：本文由人类作者与AI合作完成。使用的模型为腾讯Hunyuan-T1、Gemini 2.5 Pro。在共同写作过程中，AI提供了思路引导、观点补充、案例与理论寻找、全文生成、风格调整、修改润色等帮助。本文是人机协作的产物，也是为《纽约客》文章补充另外一个视角的尝试。不久前，《纽约客》杂志的一篇文章，系统性地阐述了对AI作为写作工具的忧虑。[1]文章的核心观点是，AI的高效内容生成能力，

AI中国 AI中国
166 11
DeepMind让AI当「上帝」，导演一场只有AI演员的「西部世界」
AI热点 2天前

DeepMind让AI当「上帝」，导演一场只有AI演员的「西部世界」

剧本杀大家都玩过吗？这是一种经典的桌上角色扮演游戏（TTRPG）， 游戏中的核心人物是游戏主持人（GM）， 相当于整个世界的「导演 + 编剧 + 旁白」，负责掌控游戏环境，讲述故事背景，并扮演所有非玩家角色（NPC）。 现在，想象一下，如果我们用一个强大的生成式 AI 来担任这个 GM 的角色，同时，桌子旁的「玩家」也换成一群各具头脑的 AI，这会创造出一个怎样的世界？ 这能实现以下应用：

AI中国 AI中国
92 10
根本停不下来，Meta 被曝又从 OpenAI 挖走两名顶级研究人员
AI热点 2天前

根本停不下来，Meta 被曝又从 OpenAI 挖走两名顶级研究人员

IT之家 7 月 16 日消息，据《连线》杂志今日援引多位知情人士消息称，OpenAI 研究员 Jason Wei 即将加盟 Meta 新设立的超级智能实验室。据其个人网站介绍，Wei 曾参与开发 OpenAI 的 o3 模型和 Deep Research 项目。他于 2023 年加入 OpenAI，此前效力于谷歌，专注于“思维链”研究 —— 这一方法旨在训练 AI 模型逐步解析复杂问题。在 O

AI中国 AI中国
205 11
Mistral 推出 Voxtral 系列语音理解模型：以开源形式提供出色正确率表现
AI热点 2天前

Mistral 推出 Voxtral 系列语音理解模型：以开源形式提供出色正确率表现

IT之家 7 月 16 日消息，Mistral AI 当地时间昨日公布了其 Voxtral 语音理解模型。该系列模型以开源形式推出，可以更低价格提供领先的低错误率表现，支持真实世界的语音智能生产应用。Voxtral 系列模型由 Mistral Small 3.1 派生而来，包括面向生产应用的 24B 版本 Voxtral Small 和适用于本地 / 边缘部署的 3B 版本 Voxtral Mi

AI中国 AI中国
106 11
字节跳动TRAE2.0真的好用吗？同类型AI产品上哪找？
AI热点 2天前

字节跳动TRAE2.0真的好用吗？同类型AI产品上哪找？

先说结论:字节跳动TRAE2.0确实值得升级! 新增语音交互功能让“说话就能写代码”成为现实，Builder模式迭代到2.0后，直接生成完整项目成功率提升到92%，实测复杂需求也能一次性跑通。如果你正在找一款能真正提升开发效率的AI编程工具，这篇深度体验或许能帮你省下几天选型时间。TRAE2.0语音编程效果怎么样?实测3种场景我们直接用TRAE2.0挑战了3个高频开发场景:特别惊喜的是，语音输

AI中国 AI中国
100 11
AI日报：字节将发布AI编程工具TRAE2.0版本；Mistral重磅推出音频模型Voxtral；月之暗面回应Kimi K2 API速度慢
AI热点 2天前

AI日报：字节将发布AI编程工具TRAE2.0版本；Mistral重磅推出音频模型Voxtral；月之暗面回应Kimi K2 API速度慢

欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、字节跳动 AI 编程工具 TRAE2.0即将发布 增加语音交互功能字节跳动旗下的 AI 编程工具 TRAE 即将推出2.0版本，新增语音交互功能，进一步提升开发者的编程效率和

AI中国 AI中国
84 10
告别模型搜寻困境：AIbase模型广场让你高效找到最佳AI模型
AI热点 2天前

告别模型搜寻困境：AIbase模型广场让你高效找到最佳AI模型

在人工智能技术爆炸式发展的当下，无论是开发者、研究者，还是产品经理、企业决策者，都面临着一个核心挑战:如何高效发现、评估并应用最适合当前需求的AI模型? 面对浩如烟海的模型库、分散的技术文档和复杂的部署要求，找到一个真正好用的“AI模型库网站”已成为提升效率的关键。这时，一个优秀的聚合平台价值便凸显出来。在众多探索者口碑中，AIbase的AI模型广场（https://model.aibase.

AI中国 AI中国
62 11
智谱AI一键直出PPT，免费又好看！
AI热点 2天前

智谱AI一键直出PPT，免费又好看！

这次是真真真挖到OpenAI大动脉了。Jason Wei，思维链的提出者、o1系列模型的关键人物，被曝也被扎克伯格请走，即将入职Meta。消息最早由《连线》杂志Kylie曝光，得到了消息人士证实。Kylie还表示，Jason Wei的Slack账号（OpenAI的企业微信）已经被停用，一同被停用的还有o1的另一位关键人物Hyung Won Chung。所以o1团队，这是要在Meta聚成满天星了？

AI中国 AI中国
157 11
加载更多

推荐文章

JSON Visuals for ChatGPT发布，解锁无限图像风格创作

JSON Visuals for ChatGPT发布，解锁无限图像风格创作

2月前 • AI热点
AI科普｜理解那些看似高级的AI概念和热词（上）

AI科普｜理解那些看似高级的AI概念和热词（上）

1月前 • 图文教程
Anthropic 发布 Claude 4 系列 AI 模型，有啥重大突破?

Anthropic 发布 Claude 4 系列 AI 模型，有啥重大突破?

1月前 • AI热点
亚马逊程序员吐槽被 AI 工作流程压榨：成了“流水线作业”！

亚马逊程序员吐槽被 AI 工作流程压榨：成了“流水线作业”！

1月前 • AI热点
疯狂的AI生成，谷歌Veo3强势登场！

疯狂的AI生成，谷歌Veo3强势登场！

1月前 • 视频教程
速抢（2核2G）77元/年香港免备案服务器

速抢（2核2G）77元/年香港免备案服务器

0秒前 • AI热点
Grok接管推特算法！小号也能爆红，新人起号迎来黄金时代？

Grok接管推特算法！小号也能爆红，新人起号迎来黄金时代？

1月前 • AI热点
AI绘画图像生成网站推荐，附推荐度、是否免费、官方网站等

AI绘画图像生成网站推荐，附推荐度、是否免费、官方网站等

7月前 • 图文教程

热门标签

完整版 WebUI教程 纯情蟑螂火辣辣 秘塔写作猫 西安美术学院 可图2.1 AI自动化 深度思考模型 Noiz 发现《True Love (Cristian Poow Vocal Remix)》

热门作者

AI中国

AI中国

7590 文章 95.03万 粉丝

IT之家

IT之家

1221 文章 5.64K 粉丝

AI教程

AI教程

213 文章 8.54K 粉丝

人人都是产品经理

人人都是产品经理

130 文章 5.87万 粉丝

站长之家

站长之家

95 文章 8.96K 粉丝

新智元

新智元

68 文章 6.99万 粉丝

睡觉动画