一文看懂AI大模型的并行训练方式(DP、PP、TP、EP)
来源:鲜枣课堂公众号 爱 好奇 1周前(12-01) 70浏览 0评论
大家都知道,AI计算(尤其是模型训练和推理),主要以并行计算为主。 AI计算中涉及到的很多具体算法(例如矩阵相乘、卷积、循环层、梯度运算等),都需要基于成千上万的GPU,以并行任务的方式去完成。这样才能有效缩短计算时间。 搭建并行计算框架,一般会用到...
来源:鲜枣课堂公众号 爱 好奇 1周前(12-01) 70浏览 0评论
大家都知道,AI计算(尤其是模型训练和推理),主要以并行计算为主。 AI计算中涉及到的很多具体算法(例如矩阵相乘、卷积、循环层、梯度运算等),都需要基于成千上万的GPU,以并行任务的方式去完成。这样才能有效缩短计算时间。 搭建并行计算框架,一般会用到...
来源:腾讯科技公众号 爱 好奇 1周前(11-29) 89浏览 0评论
《AI未来指北》论文解读专栏,以一线视角和最易懂的语言拆解顶会顶刊精华。 文|博阳 编辑|郑可君 站在2025年的尾巴上回望,这绝对是 AI 历史上最具割裂感的一年。 一方面,Google 刚刚发布的 Gemini 3 再次以一种近乎暴力美学的方式验...
来源:腾讯科技公众号 爱 好奇 2周前(11-27) 121浏览 0评论
Alphabet兼谷歌首席执行官桑达尔·皮查伊 文丨无忌 编辑丨苏扬 股价“跌跌不休”,英伟达都不得不站出来表态,“我们领先了全行业一代”。 事情要从巴菲特“谢幕之作”说起——伯克希尔·哈撒韦公司首次建仓谷歌母公司Alphabet股票,随后更劲爆的是...
来源:腾讯云开发者公众号 爱 好奇 2周前(11-26) 81浏览 0评论
现在几乎所有人都在使用大模型,连村口的老头都会说让你帮他在手机上装一个,那大模型到底是个啥东西呢?本文带你一探究竟。 作者|张印 目录 1 从函数到神经网络 2 计算神经网络的参数 3 调教神经网络 4 矩阵运算 5 从词嵌入到RNN 6 Trans...
来源:新智元公众号 爱 好奇 2周前(11-25) 73浏览 0评论
新智元报道 编辑:peter东 【新智元导读】当整个科技界还在为「AGI何时到来」激烈争辩时,前特斯拉AI负责人Andrej Karpathy悄然抛出一枚思想炸弹:「软件1.0自动化你能指定的任务;软件2.0自动化你能验证的任务。」 如果说PC时代的...
来源:新智元公众号 爱 好奇 3周前(11-20) 133浏览 0评论
新智元报道 编辑:元宇 【新智元导读】11年前,谷歌收购DeepMind,花巨资买来一个「诺贝尔奖 + 顶级科学家 + 世界级实验室」,没想到却被OpenAI抢先推出ChatGPT,几乎动摇谷歌核心搜索业务,这一切背后的核心人物正是谷歌的AI掌门人哈...
来源:漫步的图灵公众号 爱 好奇 3周前(11-18) 135浏览 0评论
忘记你听过的一切,关于AI“涌现”的童话。 那种认为你只要不断堆叠数据、不断扩大参数,模型就会在某个神秘的时刻,突然“叮”的一声,自动获得推理、幽默、甚至意识的“魔法”。 这个故事,很迷人。它支撑了过去几年千亿美金的狂热。 但现在,这个神话的根基,正...
来源:新智元公众号 爱 好奇 3周前(11-17) 133浏览 0评论
新智元报道 编辑:定慧 【新智元导读】英伟达在聚光灯下狂飙,谷歌却在幕后悄悄造出自己的AI基建帝国系统。当别人还在抢GPU时,它早已自给自足、闭环生长——闷声干大事,从未如此谷歌。 英伟达明修栈道,谷歌暗渡陈仓。 当你回头一看,谷歌在AI基础设施的优...
来源:追问nextquestion公众号 爱 好奇 3周前(11-15) 133浏览 0评论
近年来,AI的迅猛发展也使科研范式发生了根本性变革。谷歌基于Gemini 2.0的多智能体系统“co-scientist”在48小时内便独立复现并扩展了人类研究者历时十年才确立的超级细菌耐药机制假设,甚至提出了额外且合理的全新理论;而DeepMind...
来源:New Economist 公众号 爱 好奇 3周前(11-14) 121浏览 0评论
LLM只是“黑暗中的文字匠”?李飞飞:AI的下一个战场是“空间智能” 美国当地时间11月10日,“AI教母”李飞飞亲自撰文,生成AI的下一个战场是“空间智能”(Spatial Intelligence)。她首次系统性地解释了什么是空间智能?它为什么如...
来源:腾讯研究院公众号 爱 好奇 4周前(11-11) 150浏览 0评论
艾伦·麦克法兰 英国国家学术院院士、剑桥大学人类学教授、国王学院终身院士 本文根据英国国家学术院院士、剑桥大学人类学教授、国王学院终身院士艾伦·麦克法兰(Alan Macfarlane)在腾讯研究院 AI&Society 海外专家面对面系列对...
来源:不懂经公众号 爱 好奇 4周前(11-10) 166浏览 0评论
在人类权力的演进史上,有过三次关于“存在”定义的重大相变。 第一次发生在16世纪。西班牙国王菲利二世,这位曾经统治半个地球的海上霸主,有一句挂在嘴边的名言:“任何人或物,只要没有被文献记录下来,就相当于不存在。” 为了维持帝国的运转,他建立了一个庞大...
来源:轩辕商业评论公众号 爱 好奇 4周前(11-09) 220浏览 0评论
王思易 | 撰文 张 南 | 编辑 荆 芥 | 设计 2025 年 11 月 3 日,AI交易大赛“Alpha Arena ”第一季正式收官。 主办方、Nof1.ai创始人在 X上公布结果,并向来自阿里巴巴的通义千问团队表示祝贺:千问3(Qwen3)...
来源:腾讯科技公众号 爱 好奇 1个月前(11-07) 140浏览 0评论
文|博阳 编辑|可君 2025年6月,Shopify CEO Tobi Lütke 和 AI 大神 Andrej Karpathy 在 X 上提出了一个新概念——上下文工程。Karpathy 将其定义为”一门微妙的艺术与科学,旨在填入恰到...
来源:杨几安公众号 爱 好奇 1个月前(11-04) 185浏览 0评论
这篇文章是我早就想写的,因为作为常年投资亏钱的菜鸡,又了解一点点LLM,所以从这个比赛出来第一天我就在潜水关注,但是因为最近太忙了实在抽不出时间。今天下定决心肝完。 Alpha Arena:六大AI实盘炒币 在过去的几周里,一场名为 Alpha Ar...
来源:大问题Dialectic公众号 爱 好奇 1个月前(10-25) 245浏览 0评论
本期要探讨的大问题是:如何让AI具有意识? 别以为这个选题是个科幻选题,这还的确是个科学选题。现在在学术界,确实有门学科叫做机器意识(Machine Consciousness),就是来研究怎么样让机器有意识的。现代人工智能发展的一个底层的动力或者目...
来源:DeepTech深科技公众号 爱 好奇 2个月前(10-22) 157浏览 0评论
在“AGI 近在咫尺”的热潮中,这位 AI 领域的核心人物选择踩下了刹车。Andrej Karpathy,曾任特斯拉 AI 总监、OpenAI 创始成员的硅谷顶尖技术专家,近日在 Dwarkesh Patel 的播客中发表了一场长达两个多小时的深度对...
来源:腾讯科技公众号 爱 好奇 2个月前(10-18) 192浏览 0评论
文|博阳 编辑|郑可君 最近一段时间,AI界掀起了一场关于LLM能否通向AGI的激烈争论。 一边是以OpenAI、Google等为代表的企业界,他们坚信当前的模式和Scaling Law(扩展定律)能够实现人工通用智能(AGI);另一边是以强化学习之...
来源:AI数据胡公众号 爱 好奇 2个月前(10-15) 438浏览 0评论
如果把人工智能的研究比作一场探寻“智慧”源泉的远征,那么在这条漫长的道路上,先后出现了三条风格迥异的探索路径。它们代表着人类对“智能”本质的不同理解,也深刻地塑造了今天AI发展的面貌。 这就是我们今天要谈的——人工智能的三大流派:符号主义、连接主义和...
来源:数字生命卡兹克公众号 爱 好奇 4个月前(08-17) 317浏览 0评论
GPT-5和“还我GPT-4o”的风波,闹得沸沸扬扬。 今天,奥特曼还有一次认怂了,不仅调了UI,还把o3这些老模型还了回来。 这些其实都是产品层面的,但是我自己的心中,其实一直好奇另一个问题。 为什么GPT-5在变可靠幻觉率变得极低了之后,他的情商...