中小企业没有 AI 团队,怎么在两周内上线智能客服

分类:技术交流发布时间:建议阅读时长:15分钟
作者:sodope llm

两周能做完的边界

先把期待放对。两周能上线一个能接住常见问题、知道什么时候转人工、每天有人看数据的客服助手。两周做不完多渠道路由、语音客服、复杂工单流转,也不适合一上来就追求九成自动解决率。

团队配置可以很小。一个能写后端的开发,加一个熟悉客户问题的客服主管,两个人各投入一半时间就够。开发负责接口、检索、部署和日志,客服主管负责整理问题、定义转人工规则、验收回答。不需要算法工程师,也不需要标注团队。

上线目标建议定三个数。常见问题自动解决率先看 40% 到 60%,转人工率控制在 30% 以内,首次响应时间压到 3 秒以内。这三个数比“回答得像不像人”更能说明系统有没有用。

下面按 14 天排,周末不算,实际可以顺延。每一步都留了验收动作,做完再进下一步。

两周排期被分成六段手工纸片,分别对应定范围、整知识库、搭链路、接渠道、接人工、做评测

第一周,把知识库和一条链路做出来

第 1 天到第 2 天,定范围和渠道。只选一个入口,网页挂件最容易,企业微信或公众号次之。把咨询类型分成三类,售前咨询、订单售后、投诉与特殊处理。第一版只做前两类里重复率最高的部分,投诉和特殊处理全部转人工。

同时把指标埋点定下来。每一轮对话记录会话 ID、用户问题、检索到的文档、模型回答、是否转人工、耗时和 token 用量。没有这些字段,后面没法评测,也没法算账。

第 3 天到第 4 天,整理知识库。从过去三个月的工单和聊天记录里挑出 50 到 100 个高频问题,按主题归类。每个问题写一个标准答案,再补上政策、价格、退换货、物流、发票这类容易被追问的说明。答案要短,一段说清一件事,避免把整页帮助中心直接塞进去。

切分粒度按 300 到 500 字一段,每段带三个元数据,主题、适用产品、更新时间。客服主管给每段签字,谁写的、什么时候过期都要能查。知识库不是一次性工程,第一周先把最常问的 80% 覆盖住,剩下的按周补。

第 5 天到第 6 天,搭检索和回答链路。文档先做嵌入,存进向量库,用户问题进来后先检索,再把命中的段落和问题一起交给模型。回答里要求模型标注引用的段落编号,前端可以展开给用户看。检索不到足够相关的段落时,不让模型自由发挥,直接走兜底话术或转人工。

这一步的工程量比想象中小。一个后端服务,三个接口,检索、生成、转人工。向量库可以用现成的托管服务,也可以先用 pgvector,别一上来就自建集群。模型走 OpenAI 兼容接口,改 base_url、Key 和模型名就能接。

第一周结束的验收标准很具体。问 20 个高频问题,至少 16 个能检索到正确段落,回答里没有编造的政策和价格,转人工按钮能正常工作。做不到就留在第一周补,不要急着进第二周。

成堆的工单文档经漏斗变成整齐卡片,再进入对话气泡并通向人工

第二周,接管、评测、上线

第 7 天到第 8 天,接渠道。网页挂件最省事,一段脚本加一个后端地址。企业微信要多做一步签名校验和消息解密,公众号还要处理 5 秒超时,建议放到第二版。渠道接入时把用户 ID 和会话 ID 打通,否则转人工时客服看不到上下文。

第 9 天到第 10 天,把人工接管做扎实。触发条件至少包括四类,用户明确要求转人工、检索分数低于阈值、连续两轮没有解决、出现投诉退款等敏感词。转人工时把最近几轮对话、命中的知识段落和用户信息一起推给客服,不要让客服从头问一遍。

接管之后要有恢复机制。客服处理完,可以选择关闭会话,也可以把这次问答补进知识库。每周把转人工的问题过一遍,能标准化的补进知识库,不能标准化的留在人工流程里。这个循环决定了系统能不能越用越准。

第 11 天到第 12 天,做评测。从真实工单里抽 100 个问题,覆盖高频问题、边界问题、带情绪的问题和知识库里没有的问题。逐条看四件事,检索有没有命中、回答有没有依据、该不该转人工、有没有泄露不该说的信息。把失败案例分成知识缺失、检索失败、模型编造、规则缺失四类,分别修。

评测不要只看自动解决率。一个把难题全部转人工的系统,解决率可能很低,但用户满意度不差。反过来,一个硬答的系统解决率好看,投诉会更多。把转人工率、差评率、平均处理时长一起看。

第 13 天到第 14 天,小流量上线。先放 10% 的流量,盯三天。每天看四个数,自动解决率、转人工率、差评率、单次对话成本。出现编造政策、价格错误、承诺无法兑现这类问题,立刻下线对应知识段或收紧回答范围。

成本怎么算

按 1,000 次对话、每次 5 轮、每轮 2,000 输入 token 和 300 输出 token 估算,一个月是 1,000 万输入 token 和 150 万输出 token。这个输入量包含了系统提示词、检索到的知识段落和最近几轮对话,实际以日志为准。

用 Claude Haiku 5.5 或 GPT-6 Luna,输入每百万 token 0.1 美元,输出 0.5 美元。一个月的模型费用是 1 美元加 0.75 美元,合计 1.75 美元。10,000 次对话就是 17.5 美元。Gemini 3.8 Flash 的输入 0.75 美元、输出 3.75 美元,同样负载约 13 美元,贵在输出。

检索侧的成本更低。1,000 段知识、每段 300 token,一次性嵌入是 30 万 token。bge-m3 每百万 token 0.01 美元,成本不到 1 美分;qwen3-embedding 每百万 token 0.07 美元,约 2 美分。每次检索对 20 个候选段落做重排序,按 6,000 token 算,5,000 次请求是 3,000 万 token,bge-reranker-v2-m3 每百万 token 0.01 美元,一个月约 0.3 美元。

所以 1,000 次对话的模型加检索成本大约 2 美元,10,000 次大约 20 美元。成本的大头是人,知识库整理、评测、每周复盘都要投入时间。把预算花在知识库和评测上,比花在更贵的模型上回报更高。

天平左盘是硬币,右盘是文档和人形剪影,重心偏向人和知识

模型怎么选

第一版不要纠结榜单。选一个便宜、稳定、支持中文和流式输出的模型做首答,Claude Haiku 5.5 和 GPT-6 Luna 都在每百万输入 0.1 美元、输出 0.5 美元这一档,够用。把省下的预算留给评测和人工复核。

需要升级的场景很具体。检索命中但模型答不好,换更强的模型;问题需要多步推理或长文档理解,换上下文更长的模型;用户情绪激烈,优先转人工,不要靠换模型解决。升级按比例放量,先 10% 的难题走强模型,看回答质量和成本再决定要不要扩大。

嵌入模型按语言和文档长度选。中文为主、文档不长,bge-m3 便宜且够用;需要更长上下文和多语言,qwen3-embedding 支持 32K 上下文,价格仍然是每百万 token 0.07 美元。重排序不是必选项,检索结果少的时候可以先不上,等召回变多再加。

不要在第一版做微调。客服场景的知识更新快,微调的成本高、回滚慢,检索加提示词更灵活。等知识库稳定、失败案例积累到几百条,再考虑用微调解决固定的表达风格问题。

最容易翻车的五个环节

第一是知识过期。价格、活动、政策一变,旧答案还在库里。每段知识带更新时间,超过 90 天自动提醒复核,活动类知识设过期时间。

第二是检索不到还硬答。检索分数低的时候必须走兜底,不能让模型凭常识补。兜底话术要具体,告诉用户下一步能做什么,比如转人工、留电话、看帮助中心。

第三是回答太长。客服答案不是文章,一段话、三句话内说完,需要细节时给链接或展开。长回答会增加 token 成本,也会让用户抓不到重点。

第四是没有人工接管。第一版一定要有转人工按钮,而且要在每个回答下面都放。用户找不到人,会比得到错误答案更生气。

第五是没有日志和评测。上线后每天看对话,每周抽 20 条复盘。没有日志,失败案例无法归类,系统也不会变好。

接口AI 在链路里的位置

如果不想分别对接几家模型,可以用一个聚合接口把对话、嵌入和重排序放在同一个 Key 下。接口AI(jiekou.ai) 提供 OpenAI 兼容的对话接口,国内直连,支持支付宝充值。客服链路里的首答模型、嵌入模型和重排序模型都能在同一个平台调用,切换模型只改模型名。

截至 2026 年 11 月 19 日,它的定价页显示,Claude Haiku 5.5 输入每百万 token 0.1 美元、输出 0.5 美元;qwen3-embedding-0.6b 输入 0.07 美元,支持 32K 上下文;bge-m3 输入 0.01 美元。接入方式沿用 OpenAI 的 ChatCompletion 写法,把 base_url、Key 和模型名换掉即可,具体可以看大语言模型 API 文档。

对没有 AI 团队的团队来说,少维护一套模型接入和计费系统,比多省几美元更重要。把工程时间留给知识库、转人工和评测,这些才是决定客服好不好用的部分。

写在最后

如果你们公司现在只有一两个人在兼做客服,最想先自动化的是哪一类问题?是售前反复回答的价格和功能,还是售后的物流与退换?欢迎把你们的高频问题清单写出来,我可以按两周排期帮你拆一版。

参考资料

  • 接口AI,大语言模型 API 介绍,docs.jiekou.ai/docs/model/llm(访问日期 2026-11-19)
  • 接口AI,定价页,jiekou.ai/pricing(访问日期 2026-11-19)
  • 接口AI,Claude Haiku 5.5 模型详情,jiekou.ai/models/model-detail/claude-haiku-5-5(访问日期 2026-11-19)
  • 接口AI,qwen3-embedding-0.6b 模型详情,jiekou.ai/models/model-detail/qwen-qwen3-embedding-0.6b(访问日期 2026-11-19)
  • Anthropic,Workspaces,docs.anthropic.com/en/docs/build-with-claude/workspaces(访问日期 2026-11-19)
  • OWASP,Secrets Management Cheat Sheet,cheatsheetseries.owasp.org/cheatsheets/Secrets_Management_Cheat_Sheet.html(访问日期 2026-11-19)
分享:
联系我们