大模型的风，还需要一个底层 AI 框架来落地

深度学习发展至今,语言、视觉、推荐、代码生成等多个领域相继出现一些“大模型”成果,不断刷新着人们对 AI 的认知与想象。深度学习依赖对大量数据的训练,而“大模型”的参数更多、函数更复杂,这样的特征使得模型所演算出来的结果更精准。随着万物互联世界的进一步发展,数据量的扩展与数据收集已不再是难题,随之而来的新命题是如何处理海量数据,并且做出更好地训练。

早在 2017 年,Transformer 结构被提出,使得深度学习模型参数突破了1亿;2018 年,BERT 网络模型的提出,使得参数量首次超过 3 亿规模;2020 年,拥有 1750 亿个参数的 GPT-3 横空出世;2021 年推出的 ZionEX 系统,其所支持的推荐模型大小已超过 10万亿规模……

随着数据规模的指数级增长,大模型已经逐渐被认为是通过深度学习认知智能的桥梁。

然而,数据量的暴增提出了新的命题——如何跨越通信等瓶颈,提升大模型的训练效率?为了支持大模型的训练,往往需要一套大规模分布式训练框架来训练大模型。

对此,华为交出的答卷便是昇思 MindSpore AI 框架,原生支持大模型训练。昇思 MindSpore 拥有业界*的全自动并行能力,提供 6 维混合并行算法,即数据并行、模型并行、流水并行、优化器并行等能力;*的全局内存复用能力,在开发者无感知的情况下,自动实现 NPU 内存 / CPU 内存 / NVMe 硬盘存储的多级存储优化,极大降低模型训练成本;极简的断点续训能力,可解决大集群训练故障导致的任务中断问题……通过这些特性,可以很好地解决大模型开发时遇到的内存占用、通信瓶颈、调试复杂、部署难等问题。

专注底层能力,昇思 MindSpore 携手伙伴打造四大创新模型

值得注意的是,昇思 MindSpore AI 框架专注底层能力建设,为业界提供大模型的搭建基础。至今,昇思 MindSpore AI 已经携手业内*的研究机构,推出覆盖自然语言处理、遥感影像、生物医药、多模态的的四大模型,并广泛应用在金融、医疗、农林业、制造等各个行业。

2021 年 5 月,在华为生态大会 2021「昇腾万里 共赢智能新时代」上,鹏城实验室基于昇思 MindSpore 推出了全球* 2000 亿参数中文 NLP 大模型鹏程.盘古,是接近人类中文理解能力的 AI 大模型。鹏程.盘古大模型具备广泛的运用场景,在知识问答、知识检索、知识推理、阅读理解等文本生成领域表现突出。

2 个月后,中科院自动化所联合华为基于昇腾AI和昇思MindSporeAI框架打造的全球*三模态大模型——“紫东.太初”正式推出。紫东.太初能够实现视觉、文本、语音三个模态间的高效协同,性能全球*,是探索通用人工智能道路上的重要成果,将在工业质检、影视创作、互联网推荐、智能驾驶等领域广泛应用。同时,依托其技术创新性和行业影响力,紫东.太初获得今年WAIC的最 高奖项——*人工智能引领者奖(Super AI Leader,简称SAIL奖)

除了基础大模型之外,昇思 MindSporeAI 框架还已支撑两个行业大模型上线——鹏程.神农和武汉.LuoJia。

鹏城实验室联合华为基于昇腾 AI 和昇思 MindSporeAI 框架打造了面向生物医学领域的人工智能平台“鹏程.神农”。制药企业和医学研究机构使用“鹏程.神农”提供的AI能力,将大大加速新型药物的筛选与研制,让人工智能为人类的健康保驾护航。

武汉大学与华为昇腾AI团队一起,共同打造了嵌入昇思MindSpore先进技术特性的全球*遥感影像智能解译专用框架武汉.LuoJiaNet和业界最 大遥感样本库武汉.LuoJiaSET,助力遥感智能解译,为数字乡村建设、粮食安全保护、城市规划建设国计民生应用赋能

构筑体验平台,开放大模型能力

通常,训练一个大模型的人力和资源成本都非常之高,这也就导致了普通开发者入门无道。为了让更多开发者可以体验到大模型的魅力,昇思 MindSpore 社区打造了一站式大模型体验平台,已在 7 月 30 日正式上线。

●昇思大模型体验平台

昇思大模型体验平台不仅集模型选型、在线推理、在线训练为一体,还支持了 Gradio 项目可视化推理、在线进行迁移学习。开发者可以在线查询基于昇思 MindSpore 构建的模型和数据集,并选择自己感兴趣的大模型及相关任务,如鹏城.盘古大模型的知识问答、检索和推理等、紫东.太初多模态大模型的以音搜图、以图生音和以音生图等。

实战造英雄,昇思 AI 挑战赛现已开幕!

Get 一项新技能,最 好的办法就是立个小目标,自己动手实操。

在开发者领域,底层理论的掌握程度很难代表实际开发效果。为了能让更多开发者有机会学习昇思 MindSpore,探索模型算法并提升算法能力,进而为行业储备人才,推动人工智能软硬件应用生态繁荣发展,昇思 MindSpore 特举办昇思 AI 挑战赛。

昇思 MindSpore 还为参赛者准备了丰厚的奖品:

●一等奖1名,奖金5K元并颁发官方荣誉证书

●二等奖2名,奖金3K元并颁发官方荣誉证书;

●三等奖3名,奖金 2 K元并颁发官方荣誉证书;

●入围复赛且通过代码审查且成功在线推理的队伍可获得证书、定制大礼包等奖品;

●凡是提供推理模块的队伍,均可获得参与奖;

本次 AI 挑战赛是面向全球 AI 开发者打造的赛事,开设多类别图像分类、文本分类、艺术家风格迁移三大赛道,涵盖 AI 基础领域。

其中图像分类是计算机视觉中基础的任务,目前图像分类的算法仍然在飞速发展。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像分类预处理、图像分类的能力。同时为了考察参赛者应对大量数据的处理能力,本赛题采用Celtech多类别图像数据集。

文本分类研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。文本分类在AI领域承担了重要角色。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行NLP的文本处理、文本分类的能力。 本赛题采用Amazon Review数据集,参赛者需要根据用户评论文本,对用户的评分进行预测(1-5分的整数)。

艺术家风格迁移赛道 图像风格迁移技术的发展在图像处理、计算机视觉、影视制作等领域均发挥着不可估量的作用。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像风格迁移的能力。本赛题采用梵高画作作为风格迁移的目标风格。

通过三大赛道的设置,开发者可以自由挑选感兴趣的赛道,实现从理论到实践的跨越,了解行业最 新的人才需求,提升自身技能。