腾讯无极低代码平台打开MCP之外的新思路:多模态聊天
无极低代码是腾讯自研的一站式低代码开发平台。通过强大的可视化搭建、灵活的数据源集成和完善的逻辑编排能力,帮助开发者与业务人员快速构建企业级应用,显著降低开发成本、提升交付效率。作为腾讯端服务(Tencent Device-oriented Service)联盟的重要成员(tds.qq.com),无极致力于提供稳定、高效、可控的应用构建解决方案,助力业务敏捷创新。
一、 引言
如今,AI助手在B端系统里越来越常见。像Anthropic的MCP(Model Context Protocol)这类Agent技术,能让大模型直接调用后台API,的确是人机交互的一大进步。但是纯文本的交互方式依然还是存在一些局限性。
设想一下这样的场景:运营小张想让AI助手帮忙发送一封邮件,他输入:“帮我给李明写一封关于项目XXX进展同步的邮件,提醒他下周三前提交周报,并附上最新的项目计划文档。”
虽然AI可能可以补充一些信息,但是大多数时候都需要通过多轮对话来澄清每一个细节:“请确认李明的邮箱地址?”“最新的项目计划文档是哪个文件?”
小张只能逐一回复:“李明的邮箱是liming@example.com;进展要点包括A、B、C;计划文档是 ‘Project_Plan_v3.docx’……”
AI生成初稿后,小张发现有些措辞不太准确,需要修改。“把第三段的‘务必提交’改成‘请尽快提交’,整体语气需要调整……”
重复多次后,AI修改结果还是不太理想,最终小张只能将初稿复制出来,手动编辑后再发送给AI。
这样的交互链路反而比传统的表单填写式应用更冗长了。信息在来回传递和AI的理解、再生成过程中也很容易出现偏差或遗漏。更重要的是,即便是AI能够调用接口完成任务,用户心中可能还是有些疑虑:邮件的内容、语气和附件都准确无误吗?AI是否完整理解了我的意图?
对于写入类操作,比如创建订单、修改关键数据这类非幂等操作,这个问题尤其突出。用户往往期望在AI的辅助基础上,保留最终的审查和确认环节。而不是说仅仅得到一个自动化执行的结果。
二、 新的交互范式探索:前端多模态智能
无极低代码,尝试从前端交互的视角探索解决方案,提出“前端多模态智能”的概念。无极也是TDS 腾讯端服务的重要联盟成员。
这里的“多模态”指的不是用户输入的多样性,比如同时输入图片和文本,而是指AI输出内容的多样性。换句话说,AI除了能返回文本信息外,还能直接在聊天界面中嵌入用户可交互的页面片。这些页面片可以是预先设计好的无极页面,也能是根据场景,通过代码动态生成的定制化的UI界面。
案例展示
案例一:嵌入无极页面
对话中插入的电影搜索组件是一个预先设计好的无极页面,页面内通过数据源调用腾讯视频接口获取数据。
案例二:动态生成页面(ECharts)
对于常见的图表场景,AI也可以动态生成。AI能够编写数据源的调用代码,获取真实的后端数据,并生成ECharts配置信息,展示图表。
案例三:动态生成组件(Vue 3)
为了满足用户的更复杂的需要,AI还可以编写自定义Vue组件代码,浏览器内直接编译渲染,实现更丰富的交互。
这跟“生成式UI(Generative UI)”的理念是比较一致的:AI不仅理解用户意图,还能根据当前任务上下文,智能地提供一个最合适的交互界面片段。同样以一个智能邮件助手为例,可以对比不同交互模式的区别:
● 多模态聊天
AI理解用户意图后,除了生成邮件初稿,更关键的是,它会在聊天窗口中直接嵌入一个“邮件发送页面片”。 此页面片会预填充AI理解到的信息,如收件人、AI生成的主题和邮件正文初稿。 用户可以在这个熟悉的UI上,直接审阅、编辑邮件内容,添加附件,调整格式,体验和传统的应用界面一致。 一切确认无误后,用户点击页面片内的“发送”按钮,完成操作。
在这一流程中,AI承担了信息理解、初步内容生成和界面适配的角色,而关键的审查、修改及最终执行确认,则通过用户熟悉的UI交还给了用户,在AI的效率与用户的掌控感之间取得平衡。
三、 快速实践:四步配置“多模态聊天”
虽然从原理上来说,打通这样的流程比较简单,但是配置起来仍然较为繁琐。无极针对这样的应用场景,特别推出了封装好的多模态AI聊天组件,只需要几步就能轻松创建业务专属AI助手。我们以创建一个TAPD需求助手为例,看看如何进行配置:
第一步:搭建页面片
在无极中创建一个单独的页面(创建TAPD需求)。拖拽出需要的表单和输入组件:
TAPD的创建接口是外部API,要在无极中使用,需要以数据源方式引用。
第二步:配置页面片的AI接口
AI调用页面片时,我们可以指定需要提供的参数。通过props进行设置,说明各个参数的作用和限制。类似于MCP工具调用的参数。
在页面信息中,可以编写页面描述,说明功能和使用方式,确保AI能够正确使用。
第三步:启用多模态AI聊天窗
在页面中拖拽添加“多模态AI聊天”组件,并在属性中勾选对应页面片即可启用。
配置完成
提示词会根据页面片设置自动生成,AI可以直接调用提供的页面片,嵌入到对话中。
所有的外部服务调用,都可以通过这样一套模式,实现更完善的表单交互体验。此外,用户也可以使用自己的AI接口,打通后台的MCP服务。设计好的页面既能在无极平台上托管运行,也可以离线化导出成静态网站,脱离无极系统使用。
四、 “多模态聊天”与MCP的生态位差异
对于熟悉AI Agent领域的开发者来说,MCP这类后台协议赋予了LLM理解和调用外部工具、API的能力,以完成更复杂的任务编排。MCP无疑是Agent技术发展的重要方向,具备广泛的通用性和强大的后台整合能力。
我们提出的前端多模态聊天能力,不是要替代MCP等技术,而是希望作为一种前端交互的增强选项,形成能力上的互补。
● MCP的优势:作为一种热门而易用的协议,已经被不同的LLM和工具服务广泛采纳,通用性和能力更强。MCP可以更容易地整合和调度复杂的后台服务与API。
● “多模态聊天”模式优势:
1. 信息交互范式的转变
MCP与LLM的交互主要依赖文本。尤其是面对复杂参数或众多选项时,纯文本沟通可能需要多轮澄清,降低效率。而多模态聊天将LLM的理解直接转化为用户更易于接受和操作的图形化界面,可以提升复杂信息交互的密度和用户的操作效率。
2. 用户掌控感的增强
对于敏感操作(如关键数据查询修改、资金调动),如果AI通过MCP直接调用后台API,用户可能会对过程的透明度和结果的准确性产生担忧。多模态聊天的方式将这类操作的最终决策界面前置。AI可以将识别到的意图和参数预填充到页面片中,但最终的执行指令(如点击“确认提交”按钮)还是由用户在可视化界面上主动发起。这种“人机共驾、用户确认”的模式,有助于增强用户在执行关键业务时的信任感与安全感。
3. 低代码生态的敏捷复用与集成
这是无极平台的一个核心特点。页面片本身是我们低代码能力的自然延伸。开发者可以利用平台成熟的拖拽组件、数据绑定、逻辑编排等能力,快速设计和构建功能丰富的页面片。所以,业务系统中已有的、经过验证的前端模块或交互逻辑,通过适当配置,可以便捷地转化为AI可调用的“交互技能”,而无需为AI的每次交互都单独开发和维护大量细粒度的后台API。这有助于利用现有低代码生态加速AI能力的业务落地。
从定位上看,MCP等技术更多关注LLM如何“理解世界并调用后台工具(Tools/APIs)”,而多模态聊天方案则更侧重于LLM如何“更好地与人协作,通过生成动态UI来呈现信息并辅助人完成决策与操作”。
五、 搭建你的专属多模态聊天
“无极低代码”提供的这种前端多模态AI聊天能力,核心想法就是把LLM的理解能力,变成用户能直接看到、能编辑、能操作的生产力界面。
接下来,我们会继续探索怎么让前端的多模态交互跟主流的AI Agent生态更好地配合起来。我们设想,无极平台的多模态聊天方案能作为一种标准化的UI呈现能力,被更广泛的Agent框架调用,接收和展示由复杂Agent任务流产生的结果和交互需求。
希望通过这种前端交互上的小创新,能给B端应用的智能化带来一点新思路和新工具。欢迎访问 腾讯无极智能低码平台(wujicode.cn)开启免费试用,体验一下无极平台的多模态AI聊天组件,一起探索它在不同业务场景下的潜力~您也可以前往 腾讯端服务(tds.qq.com)获取更多资讯与解决方案。
wujicode.cn
扫码体验无极低代码
FUE