2024世界人工智能大会｜小红书技术副总裁王晓博：大模型从五大应用场景助力小红书成为更好的“生活指南”

王晓博表示：“我们希望通过多模大模型的能力增强，让AI能够越来越像人一样，能够理解小红书的内容，不仅仅可以看懂笔记，看懂图片和文字，能够进行内容的整理和问答，也能够辅助用户进行更便捷的内容创作，同时通过对内容和用户的深度理解，更好地建立内容和用户之间的关联和匹配效率。”

搜索一直是用户在小红书上高频使用的功能，70%的小红书活跃用户有主动搜索行为。小红书目前正在探索将大模型引入搜索的技术链路，未来能够给用户带来更便捷的搜索体验。据王晓博介绍，在日常使用中，用户查询一些复杂问题时，往往需要多步搜索才能获得想要的答案。而有了大模型的加持之后，小红书将使用SearchAgent来模拟用户的多次搜索过程，通过大模型代理用户的查询过程，直接交付答案给用户，大大提升了搜索效率。

在推荐上，大模型则可以帮助小红书更好地理解内容和用户兴趣。王晓博表示，传统推荐系统依赖行为数据对用户和内容进行建模，会导致新笔记分发难，缺乏推理能力导致信息茧房等问题。在小红书的推荐系统中，率先将大模型作为笔记的语义编码器来使用，通过语义压缩提示词（prompt）结合对比学习技术，让大模型能够把笔记转化为推荐系统可理解的向量表征，在新笔记分发上取得了非常大的提升。同时，大语言模型（LLM）的推理能力能够更好地建模用户兴趣，小红书通过让大模型从历史行为中推理用户潜在的新兴趣，有效地缓解了信息茧房问题，提升了用户留存。

此外，王晓博还认为，大模型不仅可以为用户提供信息和创意，也可以提供很多情绪价值。为此，小红书在宠物世界、社区群聊、官号私信这几个主要场景下，分别搭建了AI宠物、AI群聊、AI助手这一类聊天BOT产品，为用户提供泛娱乐功能。以AI宠物为例，每位用户都可以领养一个虚拟宠物，通过对话的方式与它交互，在线上互动中获得乐趣与情感陪伴。在群聊场景，AI通过角色扮演的方式将自有性格生动的表达，AI助手也可以将生硬的官方活动信息幽默有趣地传递给用户。

“针对陪伴类聊天应用里记忆、人格情绪等技术难点，小红书采取了基于记忆网络、世界体系和驱动飞轮等技术相结合的解决方案。通过精细化记忆建模，对历史对话进行语义分析、重要性判断、节点因子建模，从而深入理解用户行为，构建个性化互动，实现越交互越聪明，越聪明越交互的良性循环。”王晓博说。

在演讲中，王晓博也谈到，应用场景的落地离不开基础能力的建设。目前，小红书技术团队同时针对语言模型和多模态能力进行了综合研发，结合小红书自身的业务场景和需求，更早做了视觉理解大模型方向的技术攻关：在多模模型架构、多模态alignment和整个数据体系和视觉感知能力上，都做了一定的探索和优化；并基于多种类型的图文数据，通过端到端多模态训练和优化，训练了对业务场景很友好的视觉理解大模型，兼顾了图像分辨率、OCR、长尾语义识别等能力。

目前小红书在引擎技术上逐步完备布局，在训练方面对于大模型的工程体系做了完备建设，包括预训练、SFT、RLHF都做了针对模型和硬件的改造加速，自研了推理框架，对量化压缩、投机采样等技术都做了进一步优化。“其中，比较有亮点的前沿技术，一是在MoE框架下，做了5D并行的高效率训练，同时自研了RLHF框架，相较于开源框架性能和收敛稳定性都有提升。推理上我们做了W4A8模型压缩，结合算子优化整体性能超过开源框架20%左右。”王晓博介绍道。

新民晚报记者金志刚

新民晚报官方网站xinmin.cn2024AllrightsreservedTech-vm-2-11