自研Tome-ubind系列AI模型,「途咪」计划帮助To B客户训练出“企业模型”|Chat AI36氪2023-04-25 13:1836氪2023-04-25 13:18

新一代AI的核心,是大模型带来的智能化能力。也正因此,即便入局门槛极高,国内外的”大模型卡位战”依然硝烟四起。

但另一方面,在ChatGPT走红半年后,全球关于模型的讨论也愈发多样——不少人认为,未来在各个行业里,会存在不少用行业数据”喂养”而成的行业模型。此外,还有不少企业同样希望构建自己的企业模型。它们认为如此打造出的模型,会更贴合自身业务的需求,也更有自主权。而至于锻造企业模型的方式,可以是基于已有模型和企业数据自行开发,也可以是采购乙方的方案和服务,使用自己的数据进行”浇灌”。

36氪日前接触到的成都途咪智慧视频技术有限公司(以下简称「途咪」),就推出了自研自然语言模型Tome-ubindv5,当前希望服务B端客户,为其训练出自己的企业模型。

途咪成立于2016年,早期业务是为旅游业提供智能导游机产品。公司创始人徐梦曦介绍,到2020年,途咪已为三百多家景区提供智能导览服务,服务游客上亿次。

在服务客户的过程中,正赶上国内短视频浪潮爆发,途咪探索CV领域,在自身的导游机产品上加载了智能剪辑视频的功能,帮用户生成旅行vlog小视频——这也是公司和人工智能技术产生联系的契机。此后,公司也顺势进入到NLP领域探索。

后来随着疫情爆发,途咪所在的旅游业受到冲击,再加上看好海外GPT系列模型的进展,于是公司在2020年成立了专门的NLP团队,并将NLP作为主要研究方向之一。徐梦曦表示,2021年8月,途咪NLP团队立项基于GLM架构及Transformer神经网络的自然语言模型研究。2022年6月,途咪NLP团队第一个自然语言模型Tome-ubindv1问世。2023年4月,途咪NLP团队发布自然语言模型Tome-ubindv5。

从名称也能看出,途咪目前的Tome-ubindv5,是其第五代模型。公司CTO吕磊介绍,公司的前一、二代模型主要通过规则、图的方式进行训练。第三代则主要通过小模型的方式训练。到了第四代、第五代模型,由于看到GPT的突破,再加上语料积累,途咪开始采用更多的参数进行训练。徐梦曦表示,Tome-ubindv4的能力相当于GPT2,Tome-ubindv5的能力相当于GPT3。近期,途咪还将发布Tome-ubindv6。”这一版模型将对标GPT3.5的能力。”徐梦曦总结。

如今,Tome-ubindv5是一个中英语言模型,具有75亿参数。在架构上,它主要分析了GPT3学术研究,并结合Google的T5技术进一步扩展自研工程技术能力,另还针对中文问答和对话进行了优化。途咪团队可以通过语料的分类进行训练,让模型在不同场景下更具”拟人”特点。当前,产品内有完整人类语言表达的多种逻辑和语气拟人分类,后续还计划推出更多创新技术。

徐梦曦还介绍,这一模型使用了模型量化技术(包括剪枝、蒸馏等),可以在普通GPU算力的显卡上进行部署。在语料上,Tome-ubindv5经过约500G的中英文数据集的训练,叠加了监督训练、模型微调、上下文反馈强化学习等技术。

据介绍,目前Tome-ubindv5已经可以生成相当符合人类语言偏好的回答。徐梦曦进一步举例,Tome-ubindv5在回答问题时,已经可以绕过”语言陷阱”,稳定发挥。”如果问Tome-ubindv5蓝牙耳机坏了,我应该看牙科还是耳科,它会告诉你,蓝牙耳机是一种设备,应该去找厂商售后支持。然后它还会告诉你,耳科和牙科分别是什么。”他说,对比之下,国内的很多模型还无法绕开这样的”语言陷阱”。另在一些生成式的能力上,Tome-ubindv5具备文本生成多种SQL语句等能力,这一能力将在自动化运维和金融、大数据等领域上发挥价值。

可以看出,途咪的模型参数量并不算多。对此,徐梦曦表示,目前途咪遇到的不少To B客户都认为大模型的能力太过泛化,超出自身使用需求,反而更需要途咪这类更精准的模型。

吕磊也表示,Tome-ubindv5已拥有记忆、迁移、计算、逻辑推理的能力,能够记住学过的东西,也会举一反三,并进行统计和生成内容,所以未来途咪不会去和大模型”卷”,不会去拼语料和参数大小,而是希望以用户及行业多模态需求来推动模型升级迭代,以纵深的思路服务于To B客户的私有化需求。在私有化部署的模式下,数据无需出库、安全合规,支持定向训练。

落在场景中,基于Tome-ubindv5,途咪团队可以帮助企业进行模型训练,自建知识库。据介绍,Tome-ubindv5已在四川大学落地,正在帮助其训练自己的”科研大脑”。徐梦曦表示,四川大学的师生现在可以通过这一大脑,实时与AI互动学习专业知识、科研实验方案等。

另在智慧文旅方面,徐梦曦表示,由于途咪之前在做智能导游机、旅游短视频等业务时积累了不少经验,加上自有知识产权的三百多个景区、几千个景点的专业导游导览讲解词,已训练出“最会讲文旅生动故事的Tome-ubind travel文旅模型”,可以覆盖几乎所有在途旅游服务。

在To C领域,徐梦曦表示,基于途咪自研的稳定扩散模型,和在开源基础上二次开发的AIGC(文生图、图生图)微调及线性控制小模型,不久后公司还计划推出AI创作平台,将AI算法融入创意和艺术过程,目标是为每一个人提供展示创作力的机会。徐梦曦表示,不久之后,这类To C业务将主要比拼运营能力,而早前途咪团队经过旅游行业的打磨,为上亿次游客带来过智慧新体验,在了解用户体验方面具备优势。

整体来看,未来途咪计划以底层模型为基础能力,分别向To C和To B延展,成为具备综合能力的AGI公司。

举报/反馈

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 admin@ziniu.cc 举报,一经查实,本站将立刻删除。如若转载,请注明出处:http://123.ziniu.cc/376.html