• 最近访问:
发表于 2024-07-24 13:08:00 股吧网页版
专访成都晓多科技:国产芯片生态亟需各方通力去“磨”
来源:红星资本局

  自2014年起,成都晓多科技有限公司(以下简称:晓多科技)在电商智能客服这个垂直领域,进行了持续10余年的人工智能深耕和落地。

  2023年5月,晓多科技推出了“电商专家大模型”,将人工智能技术在客服领域实现了产品化和商业化;今年5月,其行业大模型“晓模型 XPT”也成功通过国家生成式人工智能服务备案。

  在大模型应用元年,大模型的发展还有哪些迫切挑战?垂类大模型又有怎样的发展机遇?

  晓多科技CTO向海在接受红星资本局专访时谈到大模型现在最大的挑战,他认为不在于技术和成本,还是场景突破,“目前看上半年场景问题还是比较焦灼,如果有应用跑出来,大家的信心就会更强。”

替代人工客服大模型已做到7成,尚欠缺“情绪价值”提供

  红星资本局:我们的大模型可以做到什么程度的智能化服务?是如何像人一样理解并回答问题的呢?最终可以实现“人工智能替代人工”吗?

  向海:如果客户的问题,是非常具体的,跟商品知识、店铺政策相关的,那么我们自己包括市面上这类大模型,它就能做到跟人一样。在知识类的这种问答过程中大模型大概能做到95%以上的正确率。

  但如果真的“像人一样”去跟消费者沟通,目前大模型还做不到,比如说消费者会过来问打折送东西、价格协商这类场景,大模型现在的回复可能会被消费者“牵着走”,比如有消费者想要多点赠品,那大模型的判断可能会都给消费者,这种情况会造成一些不可控的风险。

  我们的设计是在大模型前面有一个小型的模型作为分类器,知识类的问答、涉及到钱和赠品的分别是不同类型的大模型去回答。但是它还不能完全“替代”人工。在图文理解还有局限性,沟通上也还是偏客观的表述,还不能给消费者更精准的判断。

  简单类目的店铺,比如服装这种,大模型替代人工客服已经可以做到7、80%了,为什么还剩20%,主要就是在“人与人情绪价值”上的提供,大模型还无法准确达成。

  目前我们还是想在一些简单场景上,尽可能让大模型全部做到“全自主”。但是对一些复杂类目,想做到完全替代人,还要随着技术的发展来突破。

  红星资本局:垂类大模型是基于通用大模型的调整而来吗?它的能力有何不同?

  向海:以我们自己为例,技术线路分两种,一是在别人的开源基础模型上去二次预训练微调,主要是解决预训练成本太高的问题。经过这种微调之后,它会强化在电商领域的一些专业性的知识,能力上也有侧重,商品的问答这一块比较专业,但其他能力还是受损的。

  第二种是我们自己从头到尾训练的模型,那就是把我们的商品知识和一些高质量的对话数据都预训练进去了,它应该是一个比较优秀的专家客服的角色,可以完整记住一些电商场景客服的会话技巧,会话风格,在这方面的预训练会更强一些。

垂类模型能力更“专”

  红星资本局:业内都在说大模型的应用落地是很难的,垂类模型是否意味着解决了场景、落地这些问题?

  向海:首先垂类模型肯定是为场景而生的,所以不存在场景上的“选择困难”。不像通用模型,什么都可以用,但到底在哪个地方最强,大家其实是拿不准的。虽然没有场景落地的难题,但垂类模型有一个技术落地的问题。

  这跟大模型技术原理有关,必然存在幻觉和生成不可控制的情况。所以落地我们认为要有一套衡量标准,比如说应答,我们测它是在商品问答上比较强,还是商品对比上比较强,还是商品推荐上比较强?针对不同需求会有不同测试集,大模型还要经过不断迭代再上线。解决落地问题就是解决“幻觉”、解决准确性的问题。最难的是,大模型即便回答问题能够达到70%的正确,但剩下30%是人也很难判断答案的好坏。这也是业内大家共同要攻克的难题。

  红星资本局:您如何看待垂类模型的趋势,垂类大模型的挑战是什么?

  向海:训练大模型,主要看数据和语料,通用模型的能力越来越强,一旦它也掌握了垂类的这些数据语料,那垂类模型相较于通用模型的优势就不一定存在了。而且垂类模型,并不是做垂直领域应用的一个必要前提,所以业内也是在观望,看GPT5的智慧程度。

  在垂直领域,也要看大模型的实力。比如招聘一个客服,上岗之前都要进行训练对抗和压力测试,在这个场景里大模型模仿消费者,我们测试过GPT4、豆包等模型,是具备模拟消费的能力,达到个7、80分是没问题的,也就是说通用大模型可以实现这个产品功能,垂直行业的场景依然可以通过通用大模型来解决。

  但是有些场景需要大模型达到95分以上才可用,这个时候通用大模型在精准问答上的能力就不如垂类模型。从我们的业务场景出发,如果GPT4或者最好的模型都达不到需要的效果,我们认为垂类模型还是有空间的。

  垂类模型也是更“专科”的。比如最近“9.9和9.11谁大”,很多大模型都答错了,因为大模型“文科强理科弱”。而在电商领域,有大量的数学场景,我们就要去训练垂类模型调用工具。识别到数学问题,是不让它去算的,比如说推荐尺码,是通过调用尺码计算器,再结合商品信息适配,给出结论。

  垂类模型的优势是尺寸更小,训练成本和推理成本都更低。比如训练10亿的模型,我们大概花费了2、300万每次,如果训一个百亿级的话,预计要到三四千万左右这个水平。这相较通用大模型的成本还是成本低不少。

国产芯片挑战除了人才还有生态

  红星资本局:您认为国产芯片还有什么挑战?

  向海:难点就在于生态和人才。毕竟大家都习惯了英伟达的调试技巧,比如同样的代码,在国产芯片上的确还需要很多适配工作。会做适配工作的人才又少,这就会影响模型的验证和创新速度。国产芯片目前还需要所有供应商通力配合,比如哪个地方跑不动了,哪个性能上不去了,这些都需要芯片厂商、生态供应商和大模型企业一起去“磨”,不磨这个生态就起不来。

  红星资本局:对于大模型的算力供应方面,您认为业内现在还有哪些瓶颈和制约?现在大模型发展面临的问题,更紧迫的是这种技术突破还是这种成本的问题?

  向海:目前我们看到的很大概率可能是推理这个板块的算力会受限。大家现在都在想当下怎么落地,业内也预判杀手级的应用会在近两年内爆发,随后带来的就是大量的推理诉求。国产芯片是否能够补位,这里就会出现“卡点”。

  现在应用没起来,在推理方面的投资比较弱,等到应用爆发时,生态的“卡点”没解决,大家可能到时还是要依赖英伟达。

  我认为现在大模型最大的挑战,不在于技术和成本,最终还是场景突破,它到底给我们带来了哪些用处?如果它非常有用,成本不是问题,推理算力也都不是问题。有价值就有商机,有商机就有办法解决性能和成本问题,但看上半年场景问题还是比较焦灼,如果有应用跑出来,大家的信心就会更强。

  就像前阵大模型价格战也是为了这个目的,我认为价格战短期还会持续,直到杀手级应用的出现,大家可能会转战去卷场景。目前我也注意到一些小团队做应用比较好的是在教育领域,比如写论文这种,在教育领域的应用我认为会先行火起来。

  红星新闻记者王田

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
郑重声明:用户在社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500