传统企业知识库在构建，应用，维护环节面临各种问题。构建环节的数据打标，后期知识库维护更新需要大量资源投入，在使用时，除了语义理解导致搜索不准确外，在召回相应文件后，还需要人工进行...
传统企业知识库在构建，应用，维护环节面临各种问题。构建环节的数据打标，后期知识库维护更新需要大量资源投入，在使用时，除了语义理解导致搜索不准确外，在召回相应文件后，还需要人工进行信息搜索总结。
那么结合实际的业务场景下，大模型是如何解决这些问题的呢？10个专家问答，从技术落地到模型选型，快速帮你了解企业知识库的建设重点。
分享专家｜曹阳 中关村科金资深AI产品总监
内容来源于爱分析网络研讨会，如获取专家完整版视频实录和课件，请在爱分析公众号内回复【1012】领取资料
Q1：针对上万量级的文档问答，在使用的过程中，模型使用层面和模型回答层面可能会遇到哪些问题？
A1：一个是前置处理，因为大模型的窗口是有 token 上限的，过长的内容可能无法全部输入。所以需要找到最相关的内容给到大模型，放到的 prompt 里面。这会涉及把相关内容组合到 prompt 里面，再给到大模型；第二是回答时如何找到相关内容，从耗时上来说还是比较可控，基本能控制到 200 毫秒左右，另外就是通过一些澄清机制，当某一问题答案能够链接到大量文档时，大模型需要通过澄清机制找到精确答案。例如询问某产品收益率时，大模型知识库能够在多个月报，季报中找到相关内容。此时，大模型会针对不同维度进行反问，如询问用户想要哪个时间段的数据。通过多轮问答的下钻机制，保证问题理解的准确性。帮助用户定位实际的问题，通过这种澄清和追问的能力去帮助客户明确他的提问内容，能够更聚焦地找到相关的最相关的文档和相关片段。
Q2：对于向量数据库的选择有什么建议？
A2：目前向量数据库的差异性不是很大，已经是较为成熟的技术方案，更多应该关注embedding模型，例如把文本内容或者表格内容向量化，基于不同的内容或者不同的语言，选用的模型都会有一些差异。
Q3：在大模型提示词字数的要求下，如何做到精炼且准确的知识文本分割？
A3：知识文本的分割需要按照一定的维度去分割，比如最开始是按页分，接着可以按字数分，然后可以按照段落语义分。以及分割过程中会有版面解析，解析之后能知道内容是表格，图片还是文字，可以结合文档内容类型去分。关于切片的处理，比如说内容是一个跨行、跨页的表格，需要解析成一个整体，然后对这个表格单独进行处理。在召回过程中也会做一些优化，根据不同场景的差异化策略，来判断切片召回是按照段落召回，还是按照句子召回。
Q4：大模型支持的知识库有没有什么更好的一些搜索实现的方式？
A4：第一个是从整个处理流程上来看，首先对文档进行解析，解析的结果是否高质量，其实会对答案造成比较大的影响。输入的prompt其实是解析后的一个片段，输入的片段解析质量越高，应答的准确率是越高的。对比不同的模型都会有这个表现，高质量的解析内容上，它的应答准确率会比较高，在低质量的解析上它相对会比较低，而且差异还是很大。第二是说做向量化，比如说开源有很多向量化的模型，选择使用哪个，以及多长的内容去做向量化都会影响到最终检索和召回的准召率。比如在召回的方案上，利用组合式的方案，分步多级的，不同情况会做差异化的处理，这样能确保在召回上做得更加精准。
Q5：不同场景下所需要的模型、提示词工作内容、微调训练都会不同吗？
A5：基于客户的业务诉求，比如有的客户希望原文回复，不做任何的总结和修改，就要通过提示工程去做控制。有的客户希望总结，且涵盖的内容越多越好，或者希望内容精简等。需要基于场景做一些策略。例如在金融场景里面，客户问到更偏业务的问题，或者是偏理财的问题，就可以做一些场景化的任务，核心是场景会涉及到推理或者运算，这种推理和运算并不是大模型的强项。那就可以把前期信息获取做好，然后再做包含逻辑推理或者计算的处理，这样能达到更好的一个效果。
Q6：如果想做带有主动营销性质的智能客服，问答知识库可以支持吗？是否需要AI Agent能力把任务拆解为回复问题和营销引导？
A6：营销引导有两种思路，一种是把整个营销的过程，在策略系统进行配置，然后命中不同的场景下，走不同的策略流程。在每个策略的节点下，可以基于大模型，例如类似投顾助手，基于客户的特征、产品的特征、市场理念这些知识的融合之后，形成推荐的话术。另一种是把话术构建在 agent 的流程里面，agent 执行的过程中会将不同的子场景，大概需要关注的流程要点进行动态地调用，确认场景之后调用，然后 agent 按流程去执行，这种方式使用成本比较低，但是稳定性不高。所以还是建议把营销的话术，在话术师做流程的过程中，直接加进去，同时结合预设的流程方案，可能会比做 agent 的可控性会更好一些。
Q7：文字知识应用效率的提升主要体现在哪里呢？
A7：文档管理：一键批量上传多种格式的表格和文档，按文件夹及标签分类管理，方便快速准确地处理大量文档，效率翻倍知识问答：化繁为简，告别靠关键词检索的方式查找答案，问答形式精准定位问题和答案，并可溯源和查看原文摘要总结：智能分析复杂文档，1分钟可提取100页文档关键信息，准确率超90%，快速生成高质量文档摘要，辅助更快速、更高效的阅读并理解文档QA生成：根据提问自动分析文档内关键信息生成QA知识文档形式，用问题和答案强化内容提炼
Q8：如何应对LLM幻觉？实际应用场景如果回答出错，要如何处理才不会误导用户？
A8：避免产生幻觉（Hallucination）倾向的外挂知识库技术是中关村科金聚焦大模型领域形成的四项核心技术能力之一，以平衡大模型的风险防范与价值创造。幻觉倾向是指大模型经常生成一些看似合理、实在不符合事实的语句。有时杜撰出来的信息一看便知真假，有时则让人一时无法分清事实。幻觉是目前大模型的一项固有属性，中关村科金通过外挂知识库在很大程度上杜绝该现象。通过外挂知识库的形式，把事实性知识的流程性知识都放在领域知识中台内，大模型用来做抽取、调度和生成，然后下游业务系统通过API获取结果，以保证业务知识的实时性、可靠性。在知识问答的过程中，中关村科金知识助手提供可溯源功能，基于该功能，用户可直接定位回答内容的原文，以便轻松核验回答内容。
Q9：中关村科金现有的大模型是经过预训练的吗？还是通用型？预训练的周期是多久？增量训练吗？
A9：中关村科技领域大模型主要是基于开源的通用大模型，对参数进行一段时间的微调（增量训练、指令微调）后使其满足具体场景需求，再投入使用。
Q10：企业智能知识库的建设路径中有哪些要点？
A10：第一，对于知识总量有限、专业性要求不高的企业，可以采用“通用大模型+提示工程”。直接使用通用大模型，针对企业具体的场景需求，由业务专家探索出提示词，此时企业需要的是一套灵活好用的提示词管理工具。
第二，对于长尾碎片知识（如SKU）较多的企业，需要在通用大模型的基础上，外挂领域知识库，针对具体场景、企业特有的问题可以让大模型去知识库里找答案，最后再在提示词的引导与约束下返回输出结果，形成“通用大模型+领域知识库+提示工程”的形式。
第三，对于领域常识总量大的企业，需要构建企业专属的领域大模型，将领域里的通识输入到大模型的“大脑”里，既保持通用的常识和推理，又具备领域内的专业知识和技能，让大模型由本科生变成领域专家，也就是“领域大模型+领域知识库+提示工程”的方式。
