摘要:盘古的训练以「昇腾 AI 处理器」为基座,同时借助了「CANN 异构计算架构」,让硬件算力得以充分释放,大大缩短了训练时间!

本文分享自华为云社区《训练千亿参数模型的法宝,昇腾CANN异构计算架构来了~》,作者:技术火炬手 。

2021 年 4 月,“华为云盘古大模型”一炮走红 AI 人工智能领域。

如果你问:明明明明明白白白喜欢他,但他就是不说,白白喜欢谁?

你的同伴可能还要犹豫 3 秒钟,而盘古却能轻松地回答出:明明!

诸如此类的「中文同词不同义」的快速语义识别也仅仅是它的雕虫小技而已。

领先的语言理解和模型生成能力,这个大网红瞬间被贴上了“最接近人类中文理解能力”、“全球最大中文语言(NLP)预训练模型”各类标签。

标签不是白帖的,在 AI 领域,大智慧就意味着大模型,他背后的“千亿参数”、“TB 级内存模型”绝对是他成功的法宝!

模型大,意味着数据也大,你想到如何训练出这样大的模型了么?

盘古的训练以「昇腾 AI 处理器」为基座,同时借助了「CANN 异构计算架构」,让硬件算力得以充分释放,大大缩短了训练时间!

什么是 CANN?

以提升用户开发效率和释放昇腾 AI 处理器极致算力为目标,昇腾 CANN(Compute Architecture for Neural Networks)是华为针对 AI 场景推出的异构计算架构。它对上支持业界主流前端框架,向下对用户屏蔽系列化芯片的硬件差异,以丰富的软件栈功能满足用户全场景的人工智能应用诉求。

训练千亿参数模型的法宝,昇腾CANN异构计算架构来了~_千亿参数模型

更多文章请关注《万象专栏》