星辰语义大模型

114次阅读

星辰语义大模型

星辰语义大模型简介

2023 年数字科技生态大会人工智能与数据产业发展合作论坛论坛上,中国电信正式发布了”星辰语义大模型“的千亿参数版本,在推理和回答准确性方面都有显著提升,并将上下文窗口提到了 96K Token。中国电信首次提出了缓解多轮幻觉的解决方案,使得大模型的幻觉率降低了 40%。

与此同时,中国电信还宣布将加入到开源开放的行列中,预计今年年底开源百亿级别的大模型,明年 4 月则会开源千亿级别的大模型,旨在让更多研究者和开发者从中受益。此外,中国电信还将根据星辰大模型构建各种工具链,以满足不同用户的需求。

多轮幻觉的解决方案

中国电信千亿参数星辰语义大模型在业界首次提出了缓解多轮幻觉的解决方案,将模型幻觉率降低了 40%。这一方案包括四项关键技术:

关键信息注意力增强技术:通过对关键信息进行注意力增强,可以提升模型理解能力和答案回复一致性的能力,较大程度缓解模型幻觉问题;
知识图谱强化:通过知识图谱确保训练数据集知识事实性,并通过知识图谱知识提示能力辅助模型知识问答能力提升,大幅降低模型幻觉,提高通用问答准确率。
多轮知识记忆和强化技术:通过采用更优模型知识记忆方案,以及关联信息的强化训练方案,增强了模型上下文记忆能力和关联知识理解能力,增强了上下文回复一致性,降低了模型幻觉问题;
知识溯源能力:通过多种湖源方式,关联问题相关参考出处,生成答案更加可靠。

星辰语义大模型官网入口网址

星辰语义大模型官网目前并未发布官网地址。

前往AI网址导航

正文完
 0
微草录
版权声明:本站原创文章,由 微草录 2024-01-05发表,共计617字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。