近两年来,大模型的热度持续高涨,并且开始在更广泛的领域进行落地探索。随着行业整体的快速发展,越来越多的开源大模型涌入市场,进一步推动了上层应用的拓展。
*优质公共数据集:15个
*优质开源模型:15个
更多大模型资源,见官网:hyper.ai
1.seq-monkey序列猴子开源数据集1.0
序列猴子数据集是用于训练序列猴子模型的数据集,涉及领域包括:中文通用文本语料、古诗今译语料、文本生成语料。
2.IEPile大规模信息抽取语料库
IEPile是由浙江大学研发的大规模、高质量的双语(中英)信息抽取(IE)指令微调数据集,涵盖了医学、金融等多个领域。
3.LongAlign-10K大模型长上下文对齐数据集
LongAlign-10k由清华大学提出,是一个针对大模型在长上下文对齐任务中面临的挑战而设计的数据集,包含10,000条长指令数据,长度在8k-64k之间。
4.大众点评数据集
6.PD&CFT人民日报中文阅读理解数据集
该数据集是第一个中文阅读理解数据集,其中内容包括人民日报和儿童童话(PeopleDaily&Children’sFairyTale,简称PD&CFT)。
7.今日头条中文文本分类数据集
8.FewJoint基准数据集
9.PAWS-X:用于释义识别的跨语言对抗数据集
该数据集包含23,659个人工翻译的PAWS评估对,以及296,406个机器翻译的训练对,采用6种不同的语言:法语、西班牙语、德语、中文、日语和韩语。所有翻译对均源自PAWS-Wiki中的示例。
10.Wikipedia维基百科数据集
11.RJUA-QA首个中文医疗专科问答推理数据集
12.ShareGPT90k中英文双语人机问答数据集
ShareGPT-Chinese-English-90k是中英文平行双语优质人机问答数据集,覆盖真实复杂场景下的用户提问。可用于训练高质量的对话模型。
13.SMP-2017中文对话意图识别数据集
该数据集为SMP2017中文人机对话技术评测(ECDT)任务一数据集。
14.Chinese-Poetry中文古典诗歌文集数据库
该数据集是最全的中华古典文集数据库,包含5.5万首唐诗、26万首宋词、2.1万首宋词等古典文集。
15.MCFEND中国假新闻检测的多源基准数据集
该数据集是由香港浸会大学、香港中文大学等机构联合构建的一个多源中文虚假新闻检测基准数据集。
更多公共数据集,请访问:
1.Mixtral-8x7B
该模型是MistralAI在Mistral7B的基础上推出的大语言模型。
2.C4AICommand-R
C4AICommand-R是由Cohere和CohereForAI联合开发的一个350亿参数的高性能生成式模型。多语言生成能力和高性能RAG能力的结合,使Command-R在跨语言任务和知识密集型任务上具有独特优势。
3.金融大模型deepmoney-34B-chat
该模型是基于Yi-34B-200K训练的,分为pt(全参数训练)和sft(lora微调)两个阶段。
4.ChatGLM3系列
ChatGLM3是智谱AI和清华大学KEG实验室联合发布的对话预训练模型。
*ChatGLM3-6B
该模型为ChatGLM3系列中的开源模型,保留了前两代模型对话流畅、部署门槛低等众多优秀特性。
*ChatGLM3-6B-Base
该模型是ChatGLM3-6B的基础模型,采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。
5.LLaVA-v1.5系列
LLaVA是一个能够进行视觉和语言多模态转换的模型,由视觉编码器和大型语言模型(Vicunav1.513B)组成。
*LLaVA-v1.5-7B
该模型是LLaVA-v1.5系列的70亿参数规模的模型。
*LLaVA-v1.5-13B
该模型是LLaVA-v1.5系列的130亿参数规模的模型。
6.Yi-34B系列
*Yi-34B-chat
该模型为Yi-34B系列是chat模型,适用于多种对话场景。
*Yi-34B-Chat-GGUF
该模型是Yi-34B-Chat的GGUF格式。
*Yi-34B-Chat-4bits
该模型是Yi-34B-Chat模型的4bit量化版,可以直接在消费级显卡(如RTX3090)上使用。
7.Qwen通义千问大模型系列
Qwen是阿里云推出的一系列超大规模语言模型,包括参数数量各不相同的不同模型。它包括Qwen(基础预训练语言模型)和Qwen-Chat(聊天模型),聊天模型采用人类对齐技术进行了微调。
*Qwen1.5-1.8B-Chat
Qwen1.5是Qwen2的beta版本,该模型是Qwen2系列中较小参数规模的聊天模型版本,参数大小为18亿。
*Qwen-14B-Chat-Int4
Qwen-14B-Chat是通义千问大模型系列的140亿参数规模的聊天模型,该模型为其Int4量化模型。
*Qwen-72B-Chat
该模型是是通义千问大模型系列的720亿参数规模的模型。
*Qwen-72B-Chat-Int4
该模型为Qwen-72B-Chat的Int4量化模型。
*Qwen-72B-Chat-Int8
该模型为Qwen-72B-Chat的Int8量化模型。
1.在线运行通义千问Qwen1.5-MoE
Qwen1.5-MoE-A2.7B是通义千问团队推出Qwen系列的首个MoE模型,该教程为其Demo容器,一键克隆即可使用Gradio链接体验大模型。
2.Qwen-14B-Chat-Int4模型GradioDemo
该教程为Qwen-14B-Chat-Int4的Demo容器,一键克隆即可使用Gradio链接体验大模型。
3.Qwen-1.8B-Chat-API-FT模型Demo
本教程主要演示了如何运行通义千问Qwen-1.8B-Chat模型,以及进行微调的主要流程。
4.Qwen-72B-Chat-Int4模型GradioDemo
该教程为Qwen-72B-Chat-Int4的Demo容器,一键克隆即可使用Gradio链接体验大模型。
5.在线运行Yi-34B-Chat的量化模型
本教程主要演示了使用LlamaEdge运行Yi-34B-Chat的量化模型的主要流程。
6.在线运行金融大模型Deepmoney-34B-full
Deepmoney是一个专注于金融领域投资的大型语言模型项目。Deepmoney-34B-full是基于Yi-34B-200K模型进行训练的,分为pt(全参数训练)和sft(lora微调)两个阶段。现可在超神经官网一键克隆使用。
7.一键运行Yi-9BDemo
Yi-9B是目前Yi系列模型中代码和数学能力最强的模型,该教程为Yi-9B的Demo容器。
8.快速部署ChatGLM2-6B
该教程为ChatGLM2-6B的Demo容器,一键克隆即可使用Gradio链接体验大模型。