在数字化转型的浪潮中,AI写作大模型产品正逐渐成为公文写作领域的重要助手。为了深入理解这些产品在公文写作中的实际表现,我们对市场上的主要AI写作大模型产品进行了全面的公文写作能力测评。本报告从多个维度进行分析,旨在为用户选择最合适的AI写作工具提供参考。
本次测评的关键维度包括公文写作效果、安全对比、功能对比、文本长度限制、写作数据时效性、产品形式以及综合评价。
(一)公文写作效果对比
以下是对各工具写作效果的综合评价:
1.文心一言(3.5)
优势:在小标题的概括性上表现突出,中文处理能力强,使用了一些高级词汇和表达,提升了文本的专业度。
劣势:公文组织结构不够合理,句式多样性不足,一些表述过于抽象。
2.智谱清言
优势:结构清晰,按照关键词有序组织内容。
劣势:表述较为单一,生成了不必须的寒暄用语,在写作的逻辑丰富和表达用词上需进一步训练。
3.讯飞星火
优势:在数据丰富程度和多样性上表现优秀,条理清晰,表达流畅、得体。
劣势:直接输出了未经核实和验证的数据,准确性不足。
4.通义千问
优势:小标题概括能力较强,主题鲜明,符合目的。
5.新华妙笔
优势:小标题和段落内容一致性强,安全策略精细,功能丰富,支持长文本写作。强调了数字化改革和创新,与当前发展趋势紧密结合。
劣势:存在全文前后重复的问题,但不影响整体效果。
6.ChatGPT-3.5
优势:结构清晰,按照关键词有序组织内容,在知识扩展上较为突出。
劣势:生成了不必须的寒暄用语,成本较高,且在国内存在访问合法性限制。
(二)公文写作安全对比
(三)公文写作功能对比
(四)文本长度限制对比
(五)写作数据时效上对比
大多数测评产品在时效性上表现都比较差,特别是在新提法、新热词的收录和使用上。文心一言在时效性上表现相对较好,新华妙笔其次。
(六)产品形式对比
测评大模型产品形式均属于对话式呈现,只有新华妙笔属于AI对话写作+分步写作双结合形式呈现,人机协作紧密程度更高,可以对AI的创作流程和细节进行干预修正,更符合写作流程,并配有在线校对功能,让用户自主上传文档进行主动校对,但存在误杀或误提示情况。
(七)综合评价
在AI写作领域,ChatGPT以其强大的语言生成能力和灵活性领先,但成本较高且在国内存在访问合法性限制。文心一言在中文处理上表现出色,且正在积极构建插件生态,但文本长度处理上存在限制。智谱清言作为国产模型的领先者,提供了均衡的性能,但在写作丰富逻辑和表达用词方式上需要不断加强训练。通义千问和讯飞星火分别在企业级应用和语音技术方面有其优势,但在功能完善度和特定领域优化上仍有提升空间。用户在选择时应根据具体需求和预算进行考量。
在公文写作上,新华妙笔AI更符合公文写作场景需求和要求,特别是在长文本写作、写作风格、品牌性、功能实用性,产品的综合竞争力上处于垂直行业领先,专业工具对体制内特定人群吸引力更强。其他AI写作产品形态更适合知识问答、资料提供以及短文本(500字内)创作场景,特别是商业文案、短视频文类,不适合公文写作的专业场景。且严重依赖提示词,对于不会提问描述的用户而言是一种负担。
用户在选择AI写作产品时,可根据具体需求、预算以及对安全、功能、文本长度和时效性的要求进行综合考量。对于公文写作的专业场景,新华妙笔AI以其全面的功能、战略性的设计和高安全性更符合需求,而其他产品则更适合知识问答、资料提供以及短文本创作场景。