一文看懂AI大模型的并行训练方式(DP、PP、TP、EP)
大家都知道,AI计算(尤其是模型训练和推理),主要以并行计算为主。 AI计算中涉及到的很多具体算法(例如矩阵相乘、卷积、循环层、梯度运算等),都需要基于成千上万的GPU,以并行任务的方式去完成。这样才能有效缩短计算时间。 搭建并行计算框架,一般会用到...
大家都知道,AI计算(尤其是模型训练和推理),主要以并行计算为主。 AI计算中涉及到的很多具体算法(例如矩阵相乘、卷积、循环层、梯度运算等),都需要基于成千上万的GPU,以并行任务的方式去完成。这样才能有效缩短计算时间。 搭建并行计算框架,一般会用到...
来源:腾讯云开发者公众号 爱 好奇 7天前 50浏览 0评论
现在几乎所有人都在使用大模型,连村口的老头都会说让你帮他在手机上装一个,那大模型到底是个啥东西呢?本文带你一探究竟。 作者|张印 目录 1 从函数到神经网络 2 计算神经网络的参数 3 调教神经网络 4 矩阵运算 5 从词嵌入到RNN 6 Trans...
来源:人民网 爱 好奇 1个月前(10-26) 151浏览 0评论
从祖先钻木取火到现代航天科技,人类对机器的幻想从未停歇。远古时期我们幻想“御风而行”,明朝万户用火箭实现飞天实验,富兰克林借风筝探索雷电奥秘。这些创造背后都暗藏着一个终极理想:能否创造机械生命体,代替我们负重前行,让人类得以享受生活? 这种执念在当代...
来源:AI数据胡公众号 爱 好奇 2个月前(10-15) 158浏览 0评论
从认猫到创造猫,一场静默的技术革命已然发生。 还记得我们上次聊的机器学习吗?它像一个能从数据中总结规律的“学霸”。今天,我们要介绍的是这个学霸家族里的一位“超级大脑”——深度学习。 如果说传统机器学习还在用简单的公式解题,那么深度学习已经学会了“抽象...
来源:腾讯研究院公众号 爱 好奇 9个月前(03-08) 592浏览 0评论
丁元竹 中共中央党校(国家行政学院)督学专家、教授、博士生导师,十三届全国政协委员、全国政协文化文史和学习委员会委员 2025年春节看到朋友在微信里说AI出现了意识,为之一振。恰巧自己读书读到英国学者马库斯·乔恩的《第一性原理》有关人脑的内容和《费孝...
来源:老胡说科学公众号 爱 好奇 10个月前(02-17) 678浏览 0评论
2017年,深度学习领域迎来了一个划时代的突破——《Attention is All You Need》这篇论文的发表,几乎一夜之间改变了人工智能的发展轨迹。这篇论文的核心贡献是提出了一种全新的模型架构——Transformer,彻底摒弃了传统的递归...
来源:心智观察所公众号 爱 好奇 11个月前(01-06) 571浏览 0评论
深度学习,这个在科技圈的热门词汇,究竟为何让人如此着迷?它就像一个数据的探险家,借助深层神经网络(DNN)在信息的海洋中探寻奥秘。而这里的“深度”就意味着一个层层深入的学习过程,能从复杂的数据中自动提取有价值的特征,无需人类费劲心力去设计。 不论是图...
来源:科学杂志1915公众号 爱 好奇 1年前(2024-11-25) 709浏览 0评论
本文从基本概念出发,介绍和解释ChatGPT用到的一系列关键技术,如机器学习、神经网络、大模型、预训练+微调范式、Scaling Law……并对ChatGPT未来可能应用领域的多模态智能体(agent)进行展望。希望帮助读者更为深入地了解和使用以Ch...
爱 好奇 1年前(2024-06-17) 976浏览 0评论
陈永伟/文 神经网络的诞生 1935年的一天,英国哲学家伯特兰·罗素(Bertrand Russel)收到了一封来自美国底特律的信。写信人自称叫沃尔特·皮茨(Walter Pitts),在阅读罗素和其老师怀特海(Alfred North Whiteh...
爱 好奇 10年前(2016-03-13) 3454浏览 0评论
本文作者木遥,就职于 Google 纽约。文章首发于其微信公众号“木遥”,你也可以关注他的个人博客 “木遥的窗子”。 2016 年 1 月 28 日,Deepmind 公司在 Nature 杂志发表论文 Mastering the game of G...
爱 好奇 11年前(2015-05-07) 4823浏览 0评论
Reza Zadeh是斯坦福大学工程计算和数学研究所顾问教授,也是Databricks公司技术顾问,他主要专注于机器学习理论和应用,分布式计算,以及离散应用数学。近日,他接受了oreilly网站的采访,尝试谈论了人工智能的各方面。 神经网络已卷土重来...
爱 好奇 11年前(2015-02-26) 4097浏览 0评论
本文原载IEEE<Spetrum>,作者Lee Gomes,由机器之心独家翻译出品,参与成员:电子羊、翬、泥泥刘、赤龙飞、郑劳蕾、流明。 人工智能经历了几次低潮时期,这些灰暗时光被称作「AI寒冬」。这里说的不是那段时期,事实上,人工智能如...
爱 好奇 11年前(2015-02-10) 5117浏览 0评论
本文原载Medium <BLACKCHANNEL>,作者Steven Levy,由机器之心独家翻译出品,参与人员:赤龙飞、lossalmoner、补、电子羊、泥泥刘、小勺、赵云峰。 Geoffrey Hiton说:“我需要了解一下你的背景...
爱 好奇 11年前(2015-01-18) 4421浏览 0评论
赵云峰推荐 卡尔纳普想看看皮茨到底有多聪明,就把自己的《语言的逻辑句法》一书送给皮茨,没过一个月,皮茨就看完了,把写满笔记的原书还给卡尔纳普。老卡惊为天人,于是给他在芝加哥大学安排了份打扫卫生的工作。 1971年,罗森布拉特四十三岁生日那天,在划船时...