“紫东太初”全模态大模型发布 AI听《月光曲》就能聊贝多芬
时间:2023-06-17 05:10:49来源:湖北日报


(相关资料图)

湖北日报讯(记者张真真、通讯员詹欣芮)透过《月光曲》就可以畅谈贝多芬的故事,在三维场景里实现精准定位,通过图像与声音结合完成场景分析……6月16日,在人工智能框架生态峰会2023上,中国科学院自动化研究所联合武汉人工智能研究院正式发布“紫东太初”全模态大模型,种种新奇表现赢得现场观众热烈反响。

“紫东太初”全模态大模型,是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本。

2021年9月,中国科学院自动化研究所成功打造了“紫东太初”1.0多模态大模型,贯通语音、图像、文字等信息。比如,AI(人工智能)在学习时,“看到”猫的图像或者听到猫的叫声,就能准确识别出是猫。

除“图-音-文”外,“紫东太初”2.0加入了视频、传感信号、3D点云等更多模态,完成了音乐、图片和视频等数据之间的跨模态对齐,能够处理音乐视频分析、三维导航等多模态关联应用需求,并可实现音乐、视频等多模态内容理解和生成。

中国科学院自动化研究所相关负责人表示,从1.0到2.0,“紫东太初”大模型打通了感知、认知乃至决策的交互屏障,使人工智能进一步感知世界、认知世界,从而延伸出更加强大的通用能力。

“紫东太初”2.0以自动化所自研算法为核心,以国产化基础软硬件平台昇腾AI为基础,依托武汉人工智能计算中心算力支持,着力打造全栈国产化通用人工智能底座,协同构建我国通用人工智能自主可控发展生态。

目前,“紫东太初”大模型已展现出广阔的产业应用前景,在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开始了一系列引领性、示范性应用。

在医疗场景,“紫东太初”大模型部署于神经外科机器人,可实现在术中实时融合视觉、触觉等多模态信息,协助医生对手术场景进行实时推理判断,并尝试在人类罕见病诊疗这个挑战性医学领域有所突破。

标签:

最新
  • 火车票难买的原因是什么?候补是没放票还是卖完了?

    火车票难买的原因是什么?1 旅游需求增加:受新冠疫情控制良好的影响,许多人想趁着长假期间出游,导致

  • Internet提供什么服务? internet应用方面都有什么?

    互联网,这个我们每天都在接触的东西,但是它又一个无形的东西。那么,internet应用方面都有什么?Intern

  • 为什么晚上不能照镜子?晚上可以照镜子吗?

    为什么晚上不能照镜子?医学观点在医学上也有晚上最好不要照镜子的说法,主要原因有好几个。镜子本身带有

  • 交警妇女节发文盘点女司机引争议 危险驾驶怎么处罚?

    交警妇女节发文盘点女司机引争议3月8日是国际劳动妇女节,大家通常在这一天庆祝女性在经济、政治、社会

  • 每个人都可以申请信用卡吗?信用卡逾期被起诉会坐牢吗?

    每个人都可以申请信用卡吗?信用卡逾期被起诉会坐牢吗?下面是小编整理的一些相关信息,一起来看看吧!每个

  • 促甲状腺抗体高怎么办?促甲状腺受体抗体高怎么降下来?

    如果发现促甲状腺抗体水平升高,要赶紧评价甲状腺功能。因为促甲状腺激素抗体水平升高,通常提示机体存

  • 中信信用卡还款方法 信用卡怎样还款最划算?

    中信信用卡还款方法1 网上银行还款。进入个人网银,并将信用卡进行签约,即可随时随地通过个人网银对其

  • 租摩托车一天多少钱?租一辆摩托车一般多少钱?租摩托车需要花多少钱?

    租摩托车一天多少钱?租一辆摩托车一般多少钱?租摩托车需要花多少钱?因为禁摩 租摩托的地好象没有

  • 公司清算必须进行离任审计吗?清算审计中债权申报期是多久?

    公司清算必须进行离任审计吗?离任审计通常仅涉及到公司个人的职位变动行为,通常情况下公司清算不需要进

  • 基金有哪些补仓技巧?基金涨跌幅多少合适加减仓?

    基金有哪些补仓技巧?1、看基金经理基金的历史业绩跟基金经理的关系很大,主要看基金经理的投资水平。比

  • 近两年,国产机器人行业三大发展趋势 当前快播

    2023年的这个春天,各行各业在经历了三年疫情的萧瑟后开始蓄势待发、逐渐升温回归,而作为自动化转型的强兵利器,机器人正加速迈进黄金时代

  • 全球快看:国产CPU龙芯3A6000上半年流片明年出货 已评估7nm工艺

    (资料图)国产CPU公司龙芯2021年发布了龙芯3A5000系列处理器,支持自研的LoongArch指令集架构,做到了100%自主。日前该公司在接受调研时透露

  • 全球球精选!“双碳”再成两会热点,“碳中和法”要来了?

    在生态环境改善上,单位国内生产总值能耗下降8 1%、二氧化碳排放下降14 1%,地级及以上城市细颗粒物(PM2 5)平均浓度下降27 5%,重污染天数

  • “5G+零碳+新能源+无人驾驶”智慧矿山起航 今日热文

    (相关资料图)宏河百利凫山矿,是位于山东省邹城市的千万吨级产能大矿,隶属于山东宏河百利矿业集团有限公司。2022年末,易控智驾与宇通矿用

  • 世界今亮点!雷军再谈小米造车:进展超预期,预计明年上半年量产播报文章

    【资料图】3月6日消息,作为全国人大代表,雷军在十四届全国人大一次会议北京市代表团全体会议上表示,小米造车进展超预期,最近已经顺利完

  • 不断增加的工控系统安全漏洞,如何应对?

    图片来源:Verve Industrial作者 | John Livingston(资料图片仅供参考)随着对运营技术(OT)环境威胁的增加,制造企业需要积极管理其端点

  • 旅游
    • 信用卡逾期微信里的钱会不会划走?信用卡逾期三个月补救有用吗?

    • 信用卡欠款多少会坐牢?申请延期后贷款还能逾期吗?

    • 手机壳tpu是什么材料?手机壳tpu和硅胶哪个好?

    • 梅西和迪巴拉不能共存吗?阿根廷人不待见梅西的原因是什么?