对话中关村科金张杰：通用大模型落地企服赛道，领域适配是门槛
<div id="content"><p></p><div class="img_box" id="id_imagebox_0" onclick=""><div class="content_img_div perview_img_div"><div style="text-align:center"></div></div></div>作者丨何思思<p></p><p>编辑丨林觉民</p><p>" 在 ChatGPT 出现之前，我们就已经认识到大模型是个大趋势，决定把公司已有产品的底层核心引擎全部转移到大模型上，" 北京中关村科金技术有限公司技术副总裁张杰如是说。</p><p>这或许是很多人无法理解的，毕竟彼时大模型的概念还没在国内流行开来。</p><p>而让中关村科金下定决心全面拥抱大模型的原因在于，大模型并非新事物，早在 2017 年就有了 Transformer 的架构，次年谷歌就基于该架构推出了 BERT 大模型，并在产业界产生了不小反响。</p><p>反观中关村科金的业务和产品，我们不难发现，区别于其他 To B 公司，自 2014 年成立以来，中关村科金就选择以对话式 AI 为核心技术，专注于企业服务赛道提供对话场景服务，其不仅注重底层技术的自研，还强调下场做应用。</p><p>自带 AI 基因，或许也是中关村科金较早拥抱大模型的原因之一。</p><p><strong>大模型方面，中关村科金也在沿着之前的路径走：一是自研领域大模型，二是做上层应用。</strong></p><p>缘何做领域大模型而非通用大模型？</p><p>张杰告诉 AI 科技评论，从长远来看，通用大模型确实能给行业带来巨大的价值，但从目前来看，通用大模型在处理专业问题方面还不是很聪明，不能满足企业对专业性、合规性、规模化的需求。相反领域大模型不仅不需要依赖大算力，还能切实解决领域内某几类细分场景的问题。</p><p>至于备受业界关注的模型参数规模问题，张杰表示，主要结合实际场景的应用情况，比如财富管理领域的大模型只需要 50 亿参数规模就能很好的用于营销、客服等场景，那就没必要做成 1000 亿参数 ，避免用大炮打蚊子，节省算力消耗的资源。</p><p>在进行领域模型探索的同时，中关村科金也没有忽略应用层。AI 科技评论了解到，目前中关村科金已有的产品如智能外呼、智能客服、智能质检、智能陪练等产品通过自研的对话引擎已全面拥抱大模型。</p><p>此外，中关村科金还结合企业的痛点问题和客户共创了多个有场景代表性的试点项目，例如：推出了虚拟员工助手，帮助企业打造 " 超级员工 "，在营销文案生成、客服问答、坐席助手等场景，助力企业营销服价值提升，已经在业内有了很好的落地。</p><p>当然张杰也坦言，通用大模型已经火到了一定程度，目前 C 端应用火爆，" 但在 B 端企业服务赛道，很少有人意识到大模型未来会对企业的生产关系带来很大影响。"</p><p><strong>以下是 AI 科技评论和张杰的对话：</strong></p><p><strong>不会为了追求风口，做一些姿势大于效果的创新</strong><strong></strong><strong></strong></p><p><strong>AI 科技评论：</strong>AI 技术发展速度很快，过去两年公司的 AI 技术路线做了哪些调整？</p><p><strong>张杰：</strong>过去两年最大的技术路线调整就是把公司已有产品的底层核心引擎全面替换成大模型。<strong></strong></p><p><strong>AI 科技评论：</strong><strong>所以去年您就预见了大模型会是下一个风口？</strong></p><p><strong>张杰：</strong>大模型带来的研究范式的巨变是必然现象。大模型不是 ChatGPT 出来之后才有的，2017 年就已经有了 transformer 的架构，2018 年谷歌基于 Transformer 推出了 BERT 模型，只是当时参数规模比较小，叫预训练语言模型。现在为什么叫大模型，是因为它的参数越来越大了。</p><p>BERT 出来后对学术界、产业界影响都很大，因为它的通用性比较好。BERT 是判别式模型，GPT 是生成式模型。随着 GPT 能力的不断提升，很多学术研究的子方向的特殊性都没了，研究范式开始趋向于统一。</p><p>最初 GPT 的技术路线还是非主流的，但 OpenAI 一直坚持生成式模型的路线，没想到现在生成式的任务效果这么好，变成主流了。很多序列标注、分类任务都可以转成生成式的任务。</p><p><strong>AI 科技评论：为什么要做这样的调整？</strong></p><p><strong>张杰：</strong>我们是一家务实经营的科技公司，过去多年都是连续盈利的，科技创新唯有苦练内功，所以我们不会为了追求风口做一些姿势大于效果的技术。</p><p>那为什么要把产品全部转移到大模型上面？因为效果好、成本低。训练一个模型类似于培养一名学生，之前的技术路线是按场景任务定制专用的模型，需要大量标注数据，相当于 " 只刷题、不看书 " 的思路，这样的方式培养出来的学生在考试时只会做相似的题型，遇到新题型就答不好了。而大模型的思路是 " 先大量看书、再少量做题 "，模型本身的通用性较好，学到了知识体系，面对新题型时给少数几个样例甚至不给样例就能答对。从而使得我们的产品可复用程度高、定制化的交付成本降低。</p><p><strong>AI 科技评论：产品需要重构吗？</strong></p><p><strong>张杰：</strong><strong>这要看产品里包含哪些功能。如果产品里包含了很多需要人工配置领域知识的模块，比如关键词、相似问、问答对等，那就需要重构。如果产品在行业属性与工具能力解耦方面做的很好了，重构代价就会比较低。</strong></p><p><strong>AI 科技评论：率先做了哪些场景的应用？</strong></p><p><strong>张杰：我们</strong>已有的产品主要是围绕企业服务赛道的对话场景，比如说外呼营销机器人、客服机器人、智能质检、智能陪练、办公助手等。</p><p>比如，通过呼叫中心将销售过程录下来，采用 ASR 语音转写技术将录音转成文本；再通过对话文本挖掘出用户的意图；随着对话过程不断进行，大模型可以实时生成流程图谱，给销售提供对话建议，分析潜在的话题引导方向，提升销售人员的营销技能，提高成单率和用户的留存率。</p><p><strong>AI 科技评论：市场接受度如何？</strong></p><p><strong>张杰：</strong>这取决于产品是否能给客户带来价值。</p><p>简单介绍一个代表性的应用案例，以前在一个新场景构建外呼机器人，大概需要 2~3 周时间，且需要非常熟练的话术师才行。但现在，借助一个构造好的领域大模型，只需大约 1-2 天时间就可以成功交付，能明显降低交付成本，加快交付效率。</p><p>与传统的智能客服相比，大模型进一步降低了开发和运维成本。以前，各种场景都需要算法工程师标注数据以训练特定任务的模型，因此开发成本较高。现在，大模型本身的通用性好，不再需要很多算法工程师标数据，可以直接拿过来用，有时稍微标几条数据就够了。企业部署外呼机器人、客服系统的成本会大大降低。原有 30 个话术师的工作量，现在 2 人即可完成，而且语义理解准确度从 85% 提升至 94% 。所以看到这个实际效果后，客户的接受度还是很高的。</p><p><strong>AI 科技评论：相对来说，哪些客户对大模型技术的接受度更高一些？</strong></p><p><strong>张杰：</strong>一些客户是行业龙头企业，之前尝到了数字化转型带来的红利，这次也更愿意尝试。有些客户是排在行业头部但不是龙头，想弯道超车。</p><p>这些企业的共同点就是关注投入产出比、合规性、安全性，如果这项新技术不能带来显著的经营效益，那么在企业内部也很难立项通过。</p><p><strong>从有经验积累的行业出发，找契机深入其他领域</strong></p><p><strong>AI 科技评论：中关村科金为什么选择从金融行业尝试大模型应用？</strong></p><p><strong>张杰：</strong>与其他行业相比，金融行业对于数字化转型项目的接受度更高、场景需求更明确、智能化手段带来的商业价值更明显。并且像头部金融企业对于服务品质、响应速度各方面要求都很高，需要合作伙伴能够迅速和他一起共创，这时候腰部企业看到成功案例后，再去复制就很快了。</p><p><strong>AI 科技评论：是不是很难？毕竟对数据方面的要求比较高？</strong></p><p><strong>张杰：</strong>数据方面的要求可以细分来看，是容易获取的公域数据还是很难获取的私域数据、是成本低的隐性标注数据还是成本高的显性标注数据。To B 场景下，训练一个领域模型更要有一些高质量的、小规模的数据，但数据标注成本比较高，不是每家 AI 公司都有能力自建团队去做，这是我们能做大模型应用的一个门槛和优势。</p><p>把这些高质量的领域常识数据灌到大模型里训练，就可以让模型具备更多的领域知识，学到领域的语言特色，对领域数据的理解能力和生成能力也会提升。除了将通用大模型这个 " 文科生 " 变成领域专家外，我们还通过领域 prompt 工程组件让它能有效的处理特定场景下的任务，具备场景技能。</p><p><strong>AI 科技评论：客户愿意把自己的数据拿出来训练吗？</strong></p><p><strong>张杰：</strong>像银行自有的数据是需要我们去银行驻场训练的。其实这里面有个误区。如果想要训练大模型，不能只用企业机构自身已有的数据，还需要公域的数据，比如，金融大模型需要行业研究报告、财经类新闻、上市公司财报、专家解读等。这些数据如何筛选、如何让模型即学到领域知识又不至于忘记通用常识、如何将领域知识与场景具体问题关联起来等等，这些问题都需要做探索和积累。目前高质量数据一部分是精心筛选后的公域数据，另外一部分是小规模高质量私域数据。</p><p>另外很多公司还没有完全意识到，不仅是原始数据有价值，归纳总结出来的抽象知识也是非常有价值的。就好比太阳系 8 大行星过去 100 年在天空中的轨迹数据，这些原始数据的价值可能比不上万有引力定律这一条抽象知识。</p><p><strong>AI 科技评论：之后会做哪些应用？会主动选择一些场景突破吗？</strong></p><p><strong>张杰：</strong>还是要看契机，很多时候技术是共通的，但具体做什么场景要看机缘。我们也一直在不断寻找各行各业的客户和我们一起共创的机会。目前我们在金融、公安、医保、健康领域有一些落地场景，未来会继续深挖这些领域大模型的复杂推理能力，让模型不但具有专业性、具备专业的事实判断能力，还要具备自主的过程判断能力，成为具备跨场景的虚拟办公助手。</p><p><strong>大模型有泡沫在，C 端火爆，B 端落地还需时日</strong></p><p><strong>AI 科技评论：在大模型选择上有什么标准吗？</strong></p><p><strong>张杰：</strong>这个对我们来说还是很有挑战的，我们尝试了目前市面上各种开源模型，快速研究、测试和训练。这些都需要结合不同的业务场景需求，很耗时间和人力。</p><p>我们积累了一套工具，能快速的跑出一些指标，指标体系包括模型本身的内在属性、通用语言能力、领域特定任务。这些指标需要提前构建大量测试集，就像学生考试一样，可以在考试系统进行随机抽题。</p><p><strong>AI 科技评论：怎么看待大模型目前的发展局面？</strong></p><p><strong>张杰：</strong>大模型的应用分 C 端和 B 端。目前 C 端还是非常火爆的，C 端可能更多的是围绕创意和生成，尤其是图片、语音、视频等多媒体生成，各类工具和创意层出不穷。而 B 端主要关注对话场景和推理能力两大方面，目前真正商用落地的优秀案例不多。</p><p><strong>AI 科技评论：也就是说大模型还是有一定泡沫存在的？</strong></p><p><strong>张杰：</strong>大潮之下泡沫肯定是有的，但从长远来看，它确实能给行业带来巨大的增值和机遇。大模型火爆出圈，也有助于让更多人认识到 AI 的价值，减少了向客户做科普的成本，加速了 AI 商业化的进程。</p><p><strong>AI 科技评论：为什么 B 端还很少有落地的？</strong></p><p><strong>张杰：</strong>因为毕竟是商用，门槛比较高，模型的过程判断逻辑和最终生成的内容要有可解释性、可控性，要符合公序良俗、符合行业规范、遵循公司内部的标准流程，要对可能出现的风险有体系化的应对策略。另外，新技术的试点验证和大面积推广总要有个过程。</p><p><strong>AI 科技评论：就像您说的 C 端应用场景可能会更多，未来会做 C 端吗？</strong></p><p><strong>张杰：</strong>目前我们还未看到 C 端有特别好的变现场景，但我们的产品也是可以 To C 的。</p><p>就拿保险行业来说，现在全国有几百万保险代理人，这些保险代理人会在保险公司间流动，有些还是独立保险代理人。保险大模型产品作为代理人助手，既可以应用于保险公司的业务，又可以直接让代理人使用。</p><p><strong>做好流程挖掘，有了领域知识库，才能做好领域模型</strong></p><p><strong>AI 科技评论：大模型是不是更利好中关村科金这类有 AI 能力的服务商的发展？</strong></p><p><strong>张杰：</strong>对于服务商来讲有利有弊。服务商提供的工具或服务，如果本身的价值或特殊性不够，那会被大模型的能力升级淹没。如果厂商在数据敏感度高、流程逻辑性强、可解释性要求高的行业内，既有行业经验积累、又有大模型技术能力和产品化能力，那肯定是利好的。AI 能力不是唯一的关键，它是必要非充分条件。因为 B 端企业接受 AI 这是必然的，AI 的门槛也是逐年降低的。</p><p><strong>AI 科技评论：这是不是意味着通用大模型还很难解决某个细分领域的问题？</strong></p><p><strong>张杰：</strong>只能说现在的通用大模型在知识复杂度高的行业里，还不能直接应用。通用大模型是经历过素质教育的文科生，要成为领域专家还需要做领域适配。</p><p><strong>AI 科技评论：所以您更倾向于做领域大模型？</strong></p><p><strong>张杰：</strong>对，领域大模型是我们正在做的事情。其实领域大模型从一定意义上来说也是通用模型，它即需要保持通用的常识和推理，又需要具备领域内的专业知识和技能。领域大模型一定会是大模型技术商用化的未来。</p><p><strong>AI 科技评论：贵司具备哪些研发领域模型的优势呢？</strong></p><p><strong>张杰：</strong>中关村科金过去 8 年积累了很多数据，并且这些数据每天都在不断增加。现在我们私域的对话数据，人工对话每天超过 30 万通，机器对话每天超过 200 万通。这些是我们独有的。除了原始数据，还有一些更抽象的、价值更高的场景话术模板，这些知识结合了 AI 心理学、自主代理等技术。我们的领域模型现在已经可以做到单周迭代、单卡推理了。</p><p><strong>AI 科技评论：在大模型方面中关村科金还一直强调知识库的概念，为什么？</strong></p><p><strong>张杰：</strong>关于这个我总结了一个公式，企业对话引擎 =（大模型 + 知识库）* 人机交互。</p><p>大模型的语言理解能力和生成能力比较强，但它不适合记忆标准流程类的知识和海量低频的领域事实性的知识，这些东西还是应该放在知识库里面，它们之间有交互。</p><p>比如你经历过大学四年的专业教育后，会掌握一些领域内的通识能力，知道一件事应该怎么做，但每个步骤可能还要去查一些资料，书本上的知识点你并不需要全部都死记硬背下来。人是不太适合背百科全书的，大脑之外还应该有一个知识库，实现能力互补。</p><p><strong>AI 科技评论：中关村科金在大模型方面的的愿景是什么？</strong></p><p><strong>张杰：</strong>帮助企业去培养 " 超级员工 "。大模型就像是一个智商较高、理解能力很强、过目不忘的 " 文科生 "，我们在这个底子很好的 " 文科生 " 基础之上，注入企业的领域知识，让大模型能够理解领域知识，成为一个具备领域知识的 " 普通员工 "。再依托专业的产品设计，不断和人类专家进行闭环反馈。基于人类专家的反馈，它能够不断地学习提升，逐步成为 " 超级员工 "。未来这些 " 超级员工 " 能帮企业改造内部的新型生产关系。</p><p>之前企业可能是一个树状的管理结构，从上面董事会到下面的各个部门，一层一层往下是金字塔式的。未来大模型带来的启示是，它可以独立承担一些任务，不单单是体力劳动的替代，还能替代一些简单的脑力劳动。</p><p>未来企业的组织结构将呈现纺锤形，上层是人类经营者负责做重大决策和战略，中间层真正负责干活的是 AI 了，但有时候也不能完全交给 AI，需要少数的业务专家会指导机器或与机器协同互补。所以会是 " 人— 机—人 " 的架构。</p><p>我们相信，未来一定是人机协同的。随着大模型重构企业组织架构、重塑企业生产关系，从短期来看，一些不产生价值的、中间的职能岗位，可能会很快将被机器取代掉。长期来看，关于价值判断、规则制定、以及关乎人性和心理的工作，是大模型不能取代的。</p><p>（雷峰网雷峰网）</p><div id="recommend_bottom"></div><div id="article_bottom"></div></div><br><br><br>来源网址：http://www.myzaker.com/article/64795d59b15ec0289c4db7ad 牛逼！终于找见了！ 看起来不错！转发了！ 看起来很不错，感谢楼主分享!!! 支持！楼主辛苦了！ 你好棒！正好需要！ 确实是难得好帖啊，顶先！ 你历害！找了好久哦！ 顶一下！我先收藏了！ 不错！是我需要的！
页:
[1]
2