首页 | 热点 | 滚动 | 国内 | 乐活 | 关注 | 教育 | 体育 | 时尚 | 汽车 | 新闻 | 行业 | 都市 |

 

“紫东太初”平台打造的虚拟人“小初”竟然能吟诗作赋
发布时间：2021-07-12 09:13:08 文章来源：科技日报
小初，请以天宫为主题作首诗吧?天宫生殿开成，万花垂露照初。稠云不掩国志，飞天当触明霞。你能看懂这个视频吗?视频中，火箭正在发射。小初

“小初，请以天宫为主题作首诗吧?”

“天宫生殿开成，万花垂露照初。稠云不掩国志，飞天当触明霞。”

“你能看懂这个视频吗?”

“视频中，火箭正在发射。”

“小初，图片中航天员正在干什么?”

“航天员正穿着航天服站在机械臂上遨游太空。”

……

7月9日，在2021世界人工智能大会(WAIC2021)上，中国科学院自动化研究所所长徐波发布了自动化所研发的跨模态通用人工智能平台——“紫东太初”。基于“紫东太初”平台打造的虚拟人“小初”在大会现场赚足了眼球。它不仅能读懂图片、看懂视频、中文续写、双语翻译，而且能吟诗作赋，生动证明了通过图片、文字、语音三种模态的关联与协同，可以有效地提升机器的理解和生成能力，让AI接近人类想象力。

“紫东太初”平台是跨模态通用人工智能平台，以多模态大模型为核心，基于全栈国产化基础软硬件平台，可支撑全场景AI应用。“所谓跨模态是指它可以理解语音、文字和图片等多种模态信息;所谓全栈国产化是指这个平台的底层算力、模型、框架等都是自主研发的。”徐波解释道。

多种模态预训练模型被广泛认为是从限定领域的弱人工智能迈向通用人工智能路径的探索。依托面向超大规模的高效分布式训练框架，自动化所构建了具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型，并开拓性地通过跨模态语义关联实现了视觉、文本、语音三种模态统一表示，构建了三模态预训练大模型，赋予跨模态通用人工智能平台多种核心能力。

徐波介绍，“紫东太初”兼具跨模态理解和生成能力。与单模态和图片、文字两种模态相比，“紫东太初”采用一个大模型就可以灵活支撑图片、文字以及语音的全场景AI应用，具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。

“引入语音模态后的多模态预训练模型，可实现共性图片、语音和文字的空间表征和利用，并突破性地直接实现三模态的统一表示。”徐波说，特别值得强调的是，该平台首次让“以图生音”和“以音生图”成为现实，对更广泛、更多样的下游任务提供模型基础支撑，让AI能够在视频配音、语音播报、标题摘要、海报创作等更多场景实现应用。

同时，研发团队还提出了弱关联三模态数据的语义统一表达，可同时支持三种或任两种模态弱关联数据进行预训练，有效降低了多模态数据收集与清洗成本。

“‘紫东太初’跨模态通用人工智能平台包括三大关键技术和六大核心能力。”徐波说，三大关键技术分别是多模态理解与生成多任务统一建模、面向国产化软硬件的高效训练与部署、多模态预训练模型架构设计与优化。六大核心能力则体现为多模态统一表示与语义关联、跨模态内容转化与生成、预训练模型网络架构设计、标注受限自监督模型学习、模型适配与分布式训练、模型轻量化与推理加速。

徐波表示，“大数据+大模型+多模态”将改变当前单一模型对应单一任务的人工智能研发范式，多模态大模型将成为不同领域的共性平台技术，是迈向通用人工智能路径的探索，具有广阔的应用前景。

同时，全栈国产化通用人工智能平台的实践将使人工智能研发的规则发生重大变革并逐渐形成壁垒，对我国实现AI领域科技创新、占领核心技术高地具有重要的战略意义。(记者 陆成宽)

标签： 紫东太初 虚拟人 吟诗作赋 读懂图片

资讯播报

乐活HOT

  • 2022北京龙庆峡冰灯冰雪季冬奥题材冰灯作品比去年多一半多
    2022北京龙庆峡冰灯冰雪季冬奥题

    赏灯戏雪过大年!1月15日晚，2022年北京龙庆峡冰灯冰雪季在龙庆峡文化广场开幕。龙庆峡景区紧邻冬奥延庆赛区，今年的冰灯冰雪季加大了冬奥文

  • 运动、食补等成年轻人生活常态 “养生人”有冲动派有学术派
    运动、食补等成年轻人生活常态

    护肤养颜美丽人惜命养生打工人激情参与体验派随缘佛系小乖乖学术养生小专家快乐负重撸铁人——经此一疫，年轻人也给自己贴上了惜命的标签。

  • 2022北京年货节的网上年货节专场促销优惠多
    2022北京年货节的网上年货节专场

    昨日，由北京市商务局主办，北京老字号协会、北京市餐饮行业协会承办的2022北京年货节在丰台区大悦春风里正式启动。本次年货节，是北京消费

  • 北海公园总面积1.5万平方米的天然冰场正式开放
    北海公园总面积1.5万平方米的天

    为助力北京冬奥城市文化活动，让市民和游客感受冰雪活动乐趣，1月12日，北海公园总面积1 5万平方米的天然冰场正式开放，预计将持续至2月4日

  • 正值泡温泉旺季 不少景点都推出了一定的优惠政策
    正值泡温泉旺季 不少景点都推出

    入冬以来，随着气温逐渐走低，冬季游玩项目成为热门话题。今年元旦假期，湖北省文化和旅游厅的数据显示，滑雪、泡温泉等冬季特色项目受到市

  • 武汉大众冰雪季将向2.8万名小学生免费派发冰雪体验券
    武汉大众冰雪季将向2.8万名小学

    迎冬奥，在家门口享受冰雪运动。1月17日至2月28日，第八届全国大众冰雪季冰雪嘉年华活动将在武汉全民健身中心开放运营。活动期间，市体育局

  • 冬季抑郁有何常见表现? 为何冬季更容易抑郁?
    冬季抑郁有何常见表现? 为何冬

    进入冬季，再加上目前疫情在全国多地散发，或多或少影响着我们的心情。那么，在这个特殊的季节和时期，我们如何调适自己的心理呢?今天，河

  • 颐和园冰上健体活动正式启动 是全市最大一处天然冰场
    颐和园冰上健体活动正式启动 是

    1月10日，颐和园圆梦冬奥，相约颐和冰上健体活动正式启动，冰场总面积约30万平方米，是全市最大一处天然冰场。北京青年报记者了解到，冰场

  • 不建议14岁以下儿童专门检测幽门螺旋杆菌
    不建议14岁以下儿童专门检测幽门

    近日，美国卫生及公共服务部发布了第15版致癌物报告，其中幽门螺旋杆菌慢性感染被明确标为可致癌。这一话题迅速登上热搜。根据世界胃肠病组

  • 210个药品注册证书被注销 包括多个品牌的去痛片
    210个药品注册证书被注销 包括

    国家药品监督管理局官网近日发布公告，注销210个药品注册证书，其中包括多个品牌的去痛片。日常生活中，不少市民出现头痛、腹痛、月经痛、

娱乐LOVE

精彩推送