“紫东太初”平台打造的虚拟人“小初”竟然能吟诗作赋
发布时间:2021-07-12 09:13:08 文章来源:科技日报
小初,请以天宫为主题作首诗吧?天宫生殿开成,万花垂露照初。稠云不掩国志,飞天当触明霞。你能看懂这个视频吗?视频中,火箭正在发射。小初...

“小初,请以天宫为主题作首诗吧?”

“天宫生殿开成,万花垂露照初。稠云不掩国志,飞天当触明霞。”

“你能看懂这个视频吗?”

“视频中,火箭正在发射。”

“小初,图片中航天员正在干什么?”

“航天员正穿着航天服站在机械臂上遨游太空。”

……

7月9日,在2021世界人工智能大会(WAIC2021)上,中国科学院自动化研究所所长徐波发布了自动化所研发的跨模态通用人工智能台——“紫东太初”。基于“紫东太初”台打造的虚拟人“小初”在大会现场赚足了眼球。它不仅能读懂图片、看懂视频、中文续写、双语翻译,而且能吟诗作赋,生动证明了通过图片、文字、语音三种模态的关联与协同,可以有效地提升机器的理解和生成能力,让AI接人类想象力。

“紫东太初”台是跨模态通用人工智能台,以多模态大模型为核心,基于全栈国产化基础软硬件台,可支撑全场景AI应用。“所谓跨模态是指它可以理解语音、文字和图片等多种模态信息;所谓全栈国产化是指这个台的底层算力、模型、框架等都是自主研发的。”徐波解释道。

多种模态预训练模型被广泛认为是从限定领域的弱人工智能迈向通用人工智能路径的探索。依托面向超大规模的高效分布式训练框架,自动化所构建了具有业界领先能的中文预训练模型、语音预训练模型、视觉预训练模型,并开拓地通过跨模态语义关联实现了视觉、文本、语音三种模态统一表示,构建了三模态预训练大模型,赋予跨模态通用人工智能台多种核心能力。

徐波介绍,“紫东太初”兼具跨模态理解和生成能力。与单模态和图片、文字两种模态相比,“紫东太初”采用一个大模型就可以灵活支撑图片、文字以及语音的全场景AI应用,具有了在无监督情况下多任务联合学、并快速迁移到不同领域数据的强大能力。

“引入语音模态后的多模态预训练模型,可实现共图片、语音和文字的空间表征和利用,并突破地直接实现三模态的统一表示。”徐波说,特别值得强调的是,该台首次让“以图生音”和“以音生图”成为现实,对更广泛、更多样的下游任务提供模型基础支撑,让AI能够在视频配音、语音播报、标题摘要、海报创作等更多场景实现应用。

同时,研发团队还提出了弱关联三模态数据的语义统一表达,可同时支持三种或任两种模态弱关联数据进行预训练,有效降低了多模态数据收集与清洗成本。

“‘紫东太初’跨模态通用人工智能台包括三大关键技术和六大核心能力。”徐波说,三大关键技术分别是多模态理解与生成多任务统一建模、面向国产化软硬件的高效训练与部署、多模态预训练模型架构设计与优化。六大核心能力则体现为多模态统一表示与语义关联、跨模态内容转化与生成、预训练模型网络架构设计、标注受限自监督模型学、模型适配与分布式训练、模型轻量化与推理加速。

徐波表示,“大数据+大模型+多模态”将改变当前单一模型对应单一任务的人工智能研发范式,多模态大模型将成为不同领域的共台技术,是迈向通用人工智能路径的探索,具有广阔的应用前景。

同时,全栈国产化通用人工智能台的实践将使人工智能研发的规则发生重大变革并逐渐形成壁垒,对我国实现AI领域科技创新、占领核心技术高地具有重要的战略意义。(记者 陆成宽)

资讯播报

乐活HOT

  • 新乡南太行旅游度假区多景区暂时闭园 恢复时间等通知
    新乡南太行旅游度假区多景区暂时

    7月11日,河南省气象台发布暴雨黄色预警,提醒公众要密切关注天气,出行注意安全。11日下午,映象网记者从新乡南太行旅游度假区获悉,自7月

  • 延黄高速正式并网通车 车程由原来4小时缩短至2小时
    延黄高速正式并网通车 车程由原

    6月30日,由中国能建葛洲坝集团等投资建设的延黄高速正式并网通车,延长县至黄龙县车程由原来4小时缩短至2小时。延黄高速位于陕西省延安市

  • 武汉动物园3只丹顶鹤宝宝降生 金黄色毛发甚是可爱
    武汉动物园3只丹顶鹤宝宝降生

    你看,它们才50天左右,一口就能吞下一条小泥鳅了。昨日,望着3只丹顶鹤小宝宝,武汉动物园饲养员熊家炳喜上眉梢,到90天就可以给它们上户

  • 2021年上半年全国夜游目的地排名武汉位列第六
    2021年上半年全国夜游目的地排名

    7月6日,携程发布2021上半年旅游夜经济报告,2021年上半年全国夜游目的地排名中,武汉位列第六,成为名副其实的夜游之都,《知音号》演出排

  • 2021淮阳龙湖赏荷旅游月期间将开展多种系列活动
    2021淮阳龙湖赏荷旅游月期间将开

    近日,记者从淮阳区赏荷旅游月活动推进会获悉,2021年淮阳龙湖赏荷旅游月将于7月9日盛大启幕。此次龙湖赏荷旅游月活动以荷花和谐合作为主题

  • 河南省首家供销社乡愁博物馆在陆浑故城建成开放
    河南省首家供销社乡愁博物馆在陆

    近日,河南省首家供销社(乡愁)博物馆在陆浑镇陆浑故城建成开放。近十万件保存完好的百姓生活用品整齐排列,再次把人们的记忆拉到了那个难忘

  • 郑州、开封同期举办美食节活动 还将发放消费券
    郑州、开封同期举办美食节活动

    郑州顺城街的美食、农科路酒吧街的欢腾,古城开封的黄家包子、小宋城里的齐氏大刀面……这个夏季,逛吃逛喝逛玩,还有500万元+100万元的消

  • 郑州黄河文化公园恢复开放 景区票价及各项优惠政策不变
    郑州黄河文化公园恢复开放 景区

    记者从郑州黄河文化公园管理委员会了解到,按照郑州市防汛抗旱指挥部通知,黄河下游大流量过程已经结束。7月6日起,该公园恢复开放,景区票

  • 太原多条公交线路进行临时调整 具体路线公布
    太原多条公交线路进行临时调整

    记者6月29日从太原公交集团公司获悉,由于省城庆云街、七府园路道路封闭施工,太原公交集团公司对途经该地区的多条公交线路进行临时调整。

  • 山西省推出了4条精品旅游线路满足游客多样化体验
    山西省推出了4条精品旅游线路满

    为打造省会级旅游目的地城市,叫响锦绣太原西山·府城·汾河三大文旅品牌,日前,山西省文化和旅游厅联合太原市文化和旅游局推出了4条精品

娱乐LOVE

精彩推送