Published on

AI Agent 项目可能嵌入到原有的系统流程中才会发挥作用

Authors

前言:最近我正在开发一个用于在合同、报告中审查涉及到的规程规范、法律法规的 AI Agent,这个 Agent 主要面向的用户是专业人员,他们向外部提供报告或者与外面的单位签订合同。在中间的过程中需要进行对规范、法规的审查,AI Agent 效果很好,基本只要有的就能查到,但是基本没有人使用这个 Agent,直到我将 Agent 接入到了现有的系统流程中。

我目前在一家向外提供设计成果的公司工作,也就是说:这家公司的主体不是程序员,面向的行业也不是互联网或者计算机。目前由于 AI Agent 的风刮得太强烈,导致作为在信息部门工作的我们必须得整一点活。首先进入我视野的就是 文本审查 这一块了,毕竟作为自然语言模型,自然对这方面有优势了。

检查的内容如下:

  • 专业设计人员编写报告
  • 报告内需要引用规程规范,也就是国标这种条款
  • AI Agent 需要识别报告内的规范条款
  • 给予用户反馈

旁白:代码这回事已经没有啥用了所以直接忽略具体实现,尤其是对于这种“内部使用,可以容忍错误”的项目,完全使用 Vibe coding 甚至没有 Review 过代码。所以开发的代价变得非常小,但是我们还是会小心翼翼地处理这件事,毕竟当上下文缺失之后,维护的成本将无限大。我会另外写一篇文章指出哪些代码是需要格外 Review 的,毕竟没人想出一个 Bug 就会损失 50 多万人民币和企业及个人的声誉。

首先我们编写了一个完整的 Web 界面入口,我们询问了 Leader 们的意见,同时我们调研了用户的意见,大家都说 OK 的,没问题。但是我们始终发现,使用的人非常少,几乎为 0。按照我们的想法来说,“这不符合逻辑呀,大家都在抱怨,‘某个报告的规范引用是废弃的,外审又被喷了’,1. 是用户痛点;2. 用户交互简单,大家只需要上传一下报告,或者复制粘贴文件就可以;3. 检查成功率非常高,基本没有漏报。”

我前两天读了一本产品书,叫做《启示录》,上面说:对于面向企业的产品来说,恐惧是他们购买产品的驱动力,不买就会落后竞争对手,买了就可以超过对手。我对此表示:学到了。

当没人用,Token 消耗的数据很差(报表不好看),“没有用上新质生产力”用大老板们的话来说,并且作为一线负责人,对这个问题感觉也很不舒服,因为精力被空置了。所以我分析了整个系统,发现专业设计人员当交付报告的时候会走一个 校审 的流程,这个流程中会让高级专业人员进行审计,并在最后盖上资质和公司的公章。这明显的是一个可利用的节点,最后我决定在设计人员开始走流程的时候,这个流程系统我有权限改动,毕竟在这个时代,一切都要为 AI 让路,就自动触发我们编写的那个服务,和校审流程并行执行。

当负责报告质量的人员看到这个报告流程的时候,也会同时在页面上看到我们 AI Agent 审阅标准规范的提示,包括哪些规范引用是被废弃的。这样他们会退回报告,重新让设计人员引用最新的规范。

最终效果

出乎意料的情况:在嵌入到现有流程之后,我们开发的 Web 页面被使用的频率也变高了,并且生产部门的 Leader 还请我们开发 WPS Office 插件,这样设计人员可以直接在写报告的时候对规范进行审查。

反思

  • 当我们坐在编写报告的那批人的座位上思考这件事:他们觉得多一事不如少一事,反正后面有专工、质量人员进行审核,所以根本不会用。
  • 对于质量人员来说:虽然不用人工审核了,但是新建的流程总是会让他们感到别扭。其实我主观上觉得核心还是即便检查得更准确、更省时,但是对于他们本身的成绩或者绩效是没有改变的。

所以当 AI Agent 嵌入到现有流程中的时候,整个生产线才能被调动起来,不要尝试做“用户教育”,很少有人能正面推动涉及到个人的流程。

本篇文章没有太多的技术细节,都是自己在推动项目运作的一点见解。