资深业内人士谈大模型

最近邀请了一位认识很久的朋友,来给我们内部讲讲大模型,反响特别好,深入浅出,通俗易懂,征求朋友同意后,决定把部分内容整理出来,以飨读者。

朋友在高科技方向有十几年工作经验,最近1年完整负责了一个垂类大模型产品的0-1落地。

一、大模型本身

★从0-1训练一套大语言模型的流程是什么,其中的难点有哪些?

★大模型应用的难点在哪里?

★大模型基座公司中技术团队人员的分布以及配比是怎样的?

★算法工程师做哪些工作,可以让模型的效果更好?

★模型的回答是抄袭还是创新?

★为什么大模型的理解能力这么强

二、目前最火的Agent

★Agent应用到什么阶段了,为什么最近这么火

★只要是特定任务场景的重复性工作,都可以交给Agent来做吗

★开发Agent的这方面技术上有什么难点吗?有成熟的模型可以参考吗?

★国外比较火的character.ai属于Agent一种吗

★Agent是不是可以解决男女谈恋爱的问题

三、聊聊大模型目前和未来市场

★目前国内几个大模型基座公司有没有比较看好的?

★大模型的未来前景:基座和应用(场景)

★是否长期看好AI大赛道?

★多模态如文生图、文生视频的市场怎么看

1、从0-1训练一套大语言模型的流程是什么,其中的难点有哪些?

1.搞基座,重头训练或者再训练;

2.SFT做指令响应;

3.强化学习做alignment;

4.调prompt;

5.做场景Agent。

在执行难度上分两个阶段:GPT3.5之前和之后。

训练大模型可以形容为造飞机,造成之前首先要确保它能飞,如果不能飞就摔没了。大模型也是如此,训练两个月的效果必须得好,一个参数错误,或者一小撮致命的脏数据,都会导致最后功亏一篑。

GPT4之后,很多信息不再公开,可能就有比较多的技术壁垒。国内各大厂商现在还在3.5级别的卷,明年开始卷GPT4水平的模型时,技术就会成为一个竞争壁垒。外加GPT4规模的模型的超高的成本,就不是所有人能搞定了。

大模型未来主要是两种路径:基座和垂类。

租卡可以实现垂类,但无法满足基座的需求。基座要大量的丰富数据,至少需要2T的数据和1000张卡以上,垂类应用100B就足够。训练中存在的经验壁垒:数据如何清洗,参数怎么设置,训练多久等。

近两年国内公司主要是在追赶GPT过去的路,整个2023年主要在复现GPT3.5,这个稍微容易一些,但是复现GPT4可能会持续到24年年底。

2、大模型垂类应用的难点在哪里?

在说垂类难点之前,需要先澄清一下什么叫好的大模型垂类应用?标准是什么?首先必须能够响应指令。比如提问就是一种指令,回答一下刘德华是谁,这是一种指令;

写一篇命题作文,这也是个指令。日常中有两大类的指令响应,一种有标准答案的,比如客观知识问答、数学题目、代码编写、脑筋急转弯等等,这类的要求是回答正确。另外一种是开放型回答,上面的第二种例子,同样对一篇命题作文,不同人对题目重难点的把握有所差异回答也各不相同。

大模型基座就算把作文都背会了,但这样就可以评估它是好的么?不一定。在实操上,对于客观的有标准答案的问题优化,靠的主要是基座训练,够大够好的基座才行,如果基座不够好靠后面的微调很难搞定。

对没有标准答案的问题,各行各业都有自己的评判标准,到底什么叫好,什么叫更好,什么叫最好,都有所差异,评价为差很容易,但评价为好却很难的。

文无第一,武无第二。一个常见的误解就是只要大模型基座喂了足够的语料,就一定能写出最好的作文、就能够取代医生、就能够取代律师。这是错误的,那个只是必要条件,但是不是充分条件,最好的作文靠的是微调,这个也形成了垂类应用最大的技术难点。事实上,日常用户对大模型的提问90%以上都是第二种。

所以这里就有了一个关键技术,就是对齐alignment。

狭义上的对齐指的是价值观对齐,在强化学习阶段完成。但是广义上的对齐从SFT阶段就开始了,向人类领域专家的对齐。我把这个广义的对齐分为两个阶段,一个是举一反三,一个是左右互博。

大模型到底要学谁的,肯定想学领域能力最强的人或者业界知名度最高水平最高的人,向这个人对齐,先对齐再超越。

首先的难点是采集微调训练数据:简单的语料、网页不足以作为大模型的微调训练数据,它需要很多高质量的问答做语料,这个比较难实现。

举一反三就是让这些人给出少量的最专业的问答数据,但是借助行业顶尖人才进行标海量的注终归不现实,那可以采取强化学习这种左右互搏的方式,不停的去超越自己之前的回答。然而,就像前面说的,即使想超越自己,就要知道自己哪里不好,这个事情本身就很难。总结就是:举一反三和左右互搏。

拿到数据以后,指令调优和强化学习本身也比较难:强化学习原理本身不难,但关键在于如何通过强化学习对大模型进行调优。业界常用的强化学习方式比如PPO,本身都不是很稳定,一个小的参数扰动就会让结果功亏一篑。

另外由于领域超级专家的标注收集困难,领域rewardmodel的训练一直都是一个核心难题。比如做一个医疗大模型,这个病该怎么看?不同的医生会有不同的回答。哪怕现在比如最普通的发烧,都还没有统一的回答。什么叫高手?虽然是发烧,普通的医生能马上开个退烧药,但是牛人能发现背后的问题,能多问记一些关键信息,卡出其他方子并且治愈,这叫高手,这种高手是可遇不可求的。

所以一个客观事实就是,虽然你很努力的拿了一大批数据,但是里面真正的高手收据可能是很少的,大模型就学习偏了。

总结一下,领域上广义的alignment的壁垒是很高的,现在很多公司号称有着大量的语料,但是都是集中在基座训练语料,这块儿的语料其实没有的。所以从语料收集到模型训练,这里的壁垒都很高。

为什么很多大模型产品,在问答的过程中,很少有追问环节?(比如我提问一个问题,gpt不会反过来问我:你是想让我了解这这几块领域吗?)

这是因为没有进行调试,开源的模型一般有两类开源,一种叫基座开源,比如并未进行指令响应和强化学习,只是训练了语料,基座的效果不错就可以投入使用了;

第二类叫基座的chat版本,是能做到追问的。但是主动追问是需要专门的微调训练的,尤其是那些在领域里面恰到好处的追问,是非常难的,现在的开源模型几乎都不具备专业领域能力。

3、大模型基座公司中技术团队人员的分布以及配比是怎样的?

基座有很多工程工作,比如框架、工具监控等,所以工程师团队做各种框架和提效监控较多;另外还有数据团队做各种数据清洗。

现在基座团队配比一种是现状配比,另外一种是合理配比。

现状配比是公司招了大量的NLP工程师去搞基座,但大部分都是在洗数据,对很多开源数据进行清洗,然后整理。正常的技术团队不会超过50个人,大公司可能50个人左右,小公司10-20人就够了。

合理配比:这种情况下算法团队反而不大,在基座里面算法团队少的话5-6个人就够了、多的话也就10来个人,其他都是开发工程师和数据工程师。总结下,算法的比例四分之一,数据工程师四分之一,工程师可能占一半。

Infra层在哪里?

训练和推理都需要infra。刚才说的是训练,还没有到线上去部署做推理的,模型训练和线上服务是两个概念。推理部署,就是模型训练好后,要部署到线上。

业界会有一些开源框架,直接部署到线上即可。过去一年,因为框架未完善存在一些bug,需要大量的、有经验的人来修复。一年之后,大家基本上修的差强人意。现在到年底,基于开源进行推理部署的要求可能会有所降低。

4、算法工程师主要做哪些工作,是负责让模型的效果更好吗?

过去的一年,在调优方面做的并不多,更多的叫跑通。因为周期太长了,调整一个模型的周期是1-3个月,能把它跑通且运行效果可以接受就很不错了。

指令响应是基于大量标注数据实现的。因为很多中文的指令响应没有相应的数据,各个公司开源也比较少。各种标注就是对不同的问答进行数据标注。这是各大公司的主流任务。百度跑的比较快是因为他们标注团队本身比较多。

基本上垂类的公司都是在以标注数据和清洗数据为主。指令响应本身的算法比较少,主要还是细节,比如说搞训练提速,lora这些,就在开源的基础上进行调试,最终的目的就是效果变好、数据清洗干净。接下来第二步是指令调优。一个比较有意思的现象,

现在业界做大模型比较好的负责人,是传统做搜索那帮负责人,反而不是NLP科学家。一个核心原因,就是在NLP算法都开源的情况下,整体的流程难点和搜索比较像。第三步才是强化学习。

估计2024年那些做的好的公司会在这里有较大进展,也意味着投入比较大。

5、大模型的回答是抄袭还是创新?

既不是抄袭也不是创新。大模型本身,有两个特点:

大模型真正强的是理解能力,而不是记忆能力,他记的东西很多是错的。所以回答偏客观知识型问题时,例如,牛顿哪一年出生这个问题在互联网上出现了不止500遍正确答案,那他就不会犯错。如果在互联网只出现十遍且错误率高达80%,比如提问我的生日是哪一天,如果互联网没出现,那就是错的。

第二个:你只要问他问题,他就一定会回答你。大模型理解之后,回答的每一个问题都不是从知识库调取,而是依据其本身的理解进行回答。大模型学的次数多,理解对的概率更大,学的少,理解可能不对。它只是将自己的理解进行输出,所以提问的每一个问题都是它对互联网的所有知识的理解。

所以大模型既不是抄袭也不是创新,你可以把它当成一定智商水平的人,在对齐之前,所有的回答都是他自己的理解。在对齐之后,所有的回答都是对领域专家的模仿和超越。

6、为什么大模型的理解能力这么强?

这是他算法的收敛性导致的,基本上是理解能力最强的一套,它对全世界的所有的语言都进行理解。比如从英文翻译成中文,即使最开始没有特殊语料的,也可以直接翻译过来,是因为他把语言彻底理解了。以前咱们叫书读百遍,其义自现。他读了几百亿、几千亿遍的书,彻底给融会贯通了。

大模型可能是读了好几千遍百科全书?

对,因为互联网本身的渠道就是庞大的,他至少具备了几百亿或者几千亿篇的语料。而且网上对于同一件事情会有不同的语言介绍,他都理解了,不过也确实无法回答一些比较小众的知识。

它只能靠刚才说的第五个阶段靠外挂知识库的方式做综合的Agent来来解决这个问题。基于大模型成本的指数效应,在企业方案中外挂知识库是逃不掉的。

1、Agent应用到什么阶段了,为什么最近这么火

大模型的分五步最早已经说过(基座、SFT微调、强化学习、调指令、做场景agent),探索了一年基座后,大家也都清楚基座技术壁垒没有那么高。但是卡的壁垒很高,2万张卡和2000卡的效果确实是天壤之别,OpenAI已经开始往十万张以上卡去搞了,而且他们也不再用A100,而是更高级的H200。所以在基座这流程里,就是规模出奇迹。

不过基座确实有很多工作还是要做的,比如清洗数据,数据清洗不彻底,数据挑选就会很困难。

我的目标是两个T的数据,整个互联网拥有的是成千上万T的数据,如何挑选出高质量的数据?这就属于算法工作,而且有一定的壁垒。但整体而言,这块的壁垒无法和卡的壁垒相提并论。因为2万张或10万张H200是有市无价的。所以这个事情只有巨头才能玩,除非有十亿美元级别的融资,不然很难进入万卡级别竞争的。

第二步就是SFT微调,拼标注。海量的、各行各业的数据都需要进行标注,就看谁标的快。这一步技术难点没有那么高,主要在于标注质量。这种情况下,拥有标注团队的大公司就是快人一步,有的大语言模型比如文心一言很快就标注了大概100万条以上;

而且在一些领域确实会出现下面这种情况:要数据,但数据量甚至不到百万级;要卡,卡甚至不到几十张。因此最终只能回到Agent,来做场景。

比如刚才提及的医疗领域,发送一个病例。帮我检查一下病例有没有什么问题?有问题,就告知患者,流程到此结束,不会有后续的看病环节。这就是特别典型的Agent,可以调用OCR,然后把OCR的结果反馈给大模型,进行判断。判断不行,再追问一下,问清缘由。

所以到现在为止,业界老师、学生、应用类的公司发现除了Agent之外,能做的东西有限,这是第一点。

第二点是Agent在解决具体问题时确实有效。还是病例的例子,我只想扫描病例,这是很基础的一件事,而且技术也没有那么高大上。调用开源大模型确实能做的不错,投入市场后会发现需求极其旺盛,基本上各行各业都有需求。

这种情况属于有商业价值,不费卡、技术可行性没问题,同时投入可控,目标用户人数广,就因为这些原因导致Agent就火起来了。

如果想做到企业级的Agent,只靠调用别人就不太够了,还需要反推。大模型只用开源无法解决,gpt4又太贵,开源效果不好,就可以进行倒推,做一些额外的微调或者额外的学习,诉求就慢慢起来了。

所以到最后,企业级的Agent就会变得很复杂,不光要调刚才说的那些场景,同时还要把模型一起做了,做好了后企业就愿意消费。一切以把这个事情做好为目标,而不是为了创建一个通用的聊天机器人为目标,这是现代业界的主流思想。

2、只要是特定任务场景的重复性工作,都可以交给Agent来做吗?

完全重复可以,重复性低也可以。就像出差代理,每次出差时帮订机票,可能每次都不一样,但只负责订机票这一种工作。Agent很早以前就有了,大模型时代和过去的区别是在于,过去的出差代理如果想做好需要成百上千条规则才能完备。而大模型时代十几种prompt就可以处理的很好。

大模型时代Agent最大的特点是对长尾需求的解决比例高。

3、开发Agent的这方面技术上有什么难点吗?有成熟的模型可以参考吗?

普通的Agent可能就是一个prompt。但是“企业级Agent”不是个模型,是个系统。比如刚才讲订机票代理,和订酒店代理又不一样,大模型需要考虑到飞机延误、机票售罄等各种条件的最终实现,订酒店同理。另外一种掉大模型也会调携程,我弄完之后携程给我API让我去调,不然我怎么定?类似他就把所有事都给干完了。

它其实是一个框架系统,不是一个大模型。它背后会调用大模型,当开源大模型满足不了要求的话,它也进行微调。可以理解为Agent是个业务系统。

所以现在业界会从两个方面着手,基座或者Agent。但无论哪一方面,最终目的都是为了解决问题,能做到最好的事并不容易,但做的最好就会被大家记住。

以大模型为例,普通调用后订机票能达到50%、60%的成功率就可以接受,但想要客户产生对Agent的付费意愿,成功率就要不低于95%。这个时候场景的壁垒就悄然形成,各种场景化的公司也会应运而生。

4、国外比较火的character.ai属于Agent一种吗?

不一样,它技术上是大模型技术,但它被称为伴侣,而不是代理。代理的场景更多是偏向企业场景。character.ai是情感型,Agent属于严肃工作型。在这个里面会有几个大分支,中国现在没有,但是美国有大分支,比如情感伴侣、虚拟女朋友、虚拟大V,这有好几个分支会出来,追求的目标各不相同。它的技术手段比较像,但是语料、微调在实操上会完全不一样。聊天机器人就是这个大类,目的就是聊天。

5、Agent是不是可以解决男女谈恋爱的问题?

现在很多单身男女,但是部分人又不想去相亲,那就找个Agent帮助这类人群聊天,接触的范围也很广,最后筛选出来我对谁有兴趣,再决定去接触。虚拟女朋友也是一个很好的创业方向。

三、聊聊大模型现在、未来的市场

1、目前国内的几个大模型基座公司有没有比较看好的?

国内这几家公司现在都还处于早期,才半只脚进入深水区。现在做的30B、70B也好,300亿或则700亿参数也罢,亦或者叫千亿参数,都是OPENAI两年前的东西,大家不要被那些“暴打GPT4”之类的宣传话术迷惑了。GPT4如果按参数级别的话,已经到万亿级别了,而且GPT4在2022年初就已经开始训练了。意味着现在国内的公司刚赶上OpenAI2022年年初的水平。还有两年的差距。

所以现在的阶段是,国内谁能够第一个复现GPT4,谁就占据市场优势。

GPT4的出现有两个前提条件,第一个必须是万卡规模,第二个是谁最先建立全新的用户使用大模型的数据的壁垒。只有很多用户使用大模型产品之后,算法人员才知道怎么调试,没有用户提问,就无法确定调试的方向。

不管是举一反三也好左右互搏也罢,没有海量的用户使用是无法开展的。在这两个前提下,现在大公司百度是最靠前的,百度是有万卡的,文心一言跑得快访问量也足够。老牌垂类公司我看好幻方,他们早早屯了万卡,人才储备又是最好的,唯一的挑战是海量用户这个比较难。

新兴创业公司我看好零一万物。

为什么是“零一万物”?他们舆论风波很大,你为什么会看好他的?

因为他们的模型效果蛮好,只是被舆论黑化了。虽然使用的别人的框架,但训练是自己从头到尾实现的。

很多人搞不清楚“复用框架”和“套壳”有什么区别,结果在宣传的时候就把它变成一个套壳了。打个比方,好比做鱼香肉丝,框架有点像鱼香肉丝的配料表,“复用框架”就是厨师拿出配料表自己炒出来一盘鱼香肉丝,“套壳”是拿着一包鱼香肉丝的预制菜用微波炉加热。配料表当然很重要,但是问题是业界的配料表都是公开的,修改一些其实差别不大。

零一万物其实它只是借助了框架,然后自己训练,效果还蛮好,李开复老师的的融资能力也比较强,有希望提前进入万卡。

头部的几家创业公司,谁能最先进入万卡谁就最有机会。重复一下我的判断,对于基座而言,拿不到万卡一定没有机会进入头部。幻方是一家提前有万卡的神奇公司,说不定最后是他们最快。

那为什么很多北京的同行都不看好零一万物?

北京的清华系公司多一些。每个人观念想法不同吧,但现阶段从我们的实验看来,幻方和零一万物的开源基座是最好的,当然不同的场景可能有所不同,不过这个至少证明了零一万物实力很强的。

大家都说超越GPT4,但千卡级别和万卡级别的差距是很大的,最后就看谁的融资能力强。几家清华系公司的融资能力,在第一批中是非常强的,但是后面的融资如果不接近百亿RMB,就难以实现这种超大规模的模型。

几个清华系公司在后面的时候融资上有可能变成竞争对手,都是校友融资,反而会有投资人到底给谁钱的问题,所以后面要么有家能够融资到万卡,要么公司并购把卡集中起来。做大模型基座,最后比拼的一定是超大规模,一定是在万卡级别。

百度跑的最快是因为百度的数据闭环做的最快,已经有用户反馈了,别人用户还是没有。上百万的数据标注也是刚需,百度也是第一个把数据标注做出来的。这个其他公司如果不抓紧可能就要错过窗口期了。

2、大模型市场的未来前景如何?

市场未来最后会分两类,一类是基座,另外一类就是场景,偏应用。和原来云计算不一样的是,大模型领域只有IAAS也就是基座和SAAS也就是Agent,PASS在这里领域可能是不存在的。

其实去年投资人投新公司的很少,大部分是传统公司。新公司数据和传统公司在数量级方面相比确实存在一定劣势,投资人就不太敢投,除非是全明星团队。

每个行业尤其高价值行业都会衍生出来,医生是高价值,律师、咨询、金融也都是高价值。行业不同导致公司有不同的数据壁垒,因此每个行业出来3-5家还是有机会的。也很难说一家公司全垄断,但是每个公司规模又不会太大,最后面向的就是创业板上市。

3、是否长期看好AI大赛道?

要看如何对比,和互联网比肯定更好,但在现行经济环境下吃香喝辣也比较难。现在十来家纯AI基座方向的公司,经过2-3年的筛选,最后要么被合并或者倒闭,能够存活的大概有两三家。因为基座AI赛道花销太大,就需要强有力且持久的资金支持。公司方面能做的就是快速进行用户数据的闭环,否则很难撑到下一轮的融资的实现;

而垂类公司,存活的会多一些,毕竟花销不大。所有应该有基座公司转到垂类。

4、多模态如文生图或者文生视频的市场怎么看?

文生图,文生视频反而比GPT赛道还稍微乐观一点。它虽然是小规模,但存活度要高于GPT赛道。不同于刚才说的特指大语言模型的GPT类,文生图比较聚焦于做市场营销的,本质上拼的是创业逻辑,我保守估计中国应该会有不超过10家文生图或者视频的公司最后能坚持走到创业板!

这种比如说做文生图,文生视频的公司未来是否可能要去开拓欧美市场?

他们都会做,因为这个是通用的,但是他们除非去切场景,不然后续很难实现了。

该类型的公司属于爆款一时,很难持久,对一家企业来讲是否有利?

这种公司更偏向于市场型,有一点技术,但技术壁垒没那么高,市场型的话也不见得不持续,只是它的投资逻辑和技术型不太一样。

因为爆火之后引流了大批用户,随之而来的就是用户数据迭代,慢慢做成一个创业板上市的公司,每年有一定的营收,概率也没那么低,技术型公司反而会更卷一点。因为技术公司是属于赢者通吃,不通吃的话,没有这些纯场景的公司跑得快,后期就会被降维打击,到最后大模型就成为供应商了,所以多模态的成活率比纯技术的要高一些。

技术如果不能形成极高的壁垒,那实际意义上就是没有壁垒,不存在“有一些壁垒”这种说法。用动物打个比喻,如果一堆鸭子在竞争,2斤大的鸭子和3斤大的鸭子其实没有太多的壁垒区别,只有白天鹅才能形成真正的壁垒。

现在来讲,技术极高的壁垒就是openAI,其他的公司有多少博士、大咖坐镇,他们的技术壁垒远远没有其本身想象的那么高,都不足以形成壁垒。大模型基座比较简单,使用10万张H100,那它的壁垒就是极高的,将来就可以把其他公司市场都吃掉。

在国内,目前来讲没有哪家公司有极高的壁垒,所以竞争会很惨烈,胜出的公司是需要007的,在胜出以后靠着长期用户数据闭环形成真正的壁垒。

2024年是国内大模型从业者的真正深水区竞争。

基座的制高点就是复现GPT4,谁最早复现谁就拿到“OPENAI国内替代品”的门票,如果年底还挤不进去可能就要考虑转型垂类了。

垂类的制高点是市场和渠道,站稳了就拿到了创业板的门票,站不稳就危险了。

THE END
1.恋爱百科全书(豆瓣)恋爱百科全书(2030) 编剧:枕醉江南 主演:王新乔/谢乙峤阳/冯希瑶/邵雅馨 类型:喜剧/爱情 制片国家/地区:中国大陆 语言:汉语普通话 首播:2030(未定) 豆瓣评分 尚未播出 看过 评价: 写短评 写影评 分享到 推荐 恋爱百科全书的分集短评· ··· 该剧https://movie.douban.com/subject/35087865/
2.恋爱百科全书电影演员剧情影评热门电影排行榜恋爱百科全书 导演: 编剧: 枕醉江南 主演: 王新乔, 谢乙峤阳, 冯希瑶, 邵雅馨 类型: 喜剧片电影, 爱情片电影 上映日期: 0人喜欢 欢迎观看《恋爱百科全书》电影, 该片由最新电影收集自网络。网站提供影视评价、影片主演列表、影片相关资讯、海报图片、 上映更新时间、主演等。如果你喜欢《恋爱百科全书https://m.haosq123.com/movie/content/LYqaQ8DGenj.html
3.恋爱漫画书大全免费阅读《TNT:恋爱百科全书》《TNT:恋爱百科全书》最新章节 【坠书】397.住进来 2024-08-31 小说简介:戳主页看姐妹文《TNT:恋爱说明书》乔晚晚作为恋爱神,手上有一本百科全书,里面记录了人间每对被选中的情侣,夫妻的一生,也专门去收集那一页男人内容摘要:[img:/pic/image/202109/0421/1630763067205-CQuMgO71bG_1280-719.jpeg?x-osshttps://m.xinremenxs.com/book/57_5181417_55776772.shtml
4.中国男性恋爱百科全书,21176字长文让你学会如何恋爱为什么我要跟你聊恋爱的逻辑,大概2005年左右的中国情感教育,在天涯网或者猫扑论坛上有一群女性在教导男性恋爱,这些人是中国最早期的情感教育工作者,她们犯了一个非常明显的错误,她们以女性的角度来教导男性怎么谈恋爱并不具备逻辑性和条理性,而这样的方式是错误。后来中国开始发展情感教育,但这样的情感逻辑却延续了下https://www.jianshu.com/p/8779a3bd26f7
5.《妄想恋爱百科全书》空空百合子晋江文学城《妄想恋爱百科全书》,空空百合子,穿越时空 无限流 相爱相杀 异想天开 轻松,主角:a小姐 ┃ 配角:某个自称为神明的外星人 ┃ 其它:红小姐|最新更新:2020-07-02 04:12:11|作品积分:932112https://m.jjwxc.net/book2/4804492
6.成年人的恋爱经验指南52.爱情不是战场,谁都不可能是常胜将军。恋爱了,我恭喜你;失恋了,也再正常不过。喜欢就试着去爱,抱着《恋爱指南》原地踏步的女生一辈子都难觅真爱。别试图用经验和建议来混淆自己的感情,否则来来去去,你依旧不懂得如何去爱。爱情会迟到,但不会缺席,希望每个人都可以遇到自己的灵魂伴侣。 https://zhuanlan.zhihu.com/p/563611967
7.《午夜巴塞罗纳》恋爱百科全书高清视频在线观看《午夜巴塞罗纳》恋爱百科全书,伍迪·艾伦的新作《午夜巴塞罗纳》被评论界称为他近年来最具观赏性和卖点的作品。在这个虚构的故事中,伍迪用四位各具魅力的演员代表了爱情游戏中的不同感情因素,堪称一本谈恋爱的百科全书。https://www.1905.com/video/play/372802.shtml
8.恋爱宝典(都市男女爱情百科全书(解决本世纪的恋爱问题,非手册,是《恋爱宝典(都市男女爱情百科全书(解决本世纪的恋爱问题,非手 册,是小说,笑中见智,悲中见仁)》,作者:恋爱宝典(都市男女爱情百科全书(解决本世纪的恋爱问题,非手 册,是小说,笑中见智,悲中见仁)蒋峰 著著,出版社:湖南人民出版社,ISBN:9787543860780。《人民文http://product.m.dangdang.com/product.php?host=product.dangdang.com&pid=20736131
9.恋爱恋爱(英文:Falling in love,日文:恋愛),是指异性依恋相爱的过程。在不同地区和不同时期,关于恋爱的适用范围也不同。近年也开始指同性之间的恋情,关于同性之恋见百合和蔷薇(BL)。在动漫作品中,恋爱为最常见的主题,恋爱进程也是作品剧情发展的重要组成部分。 恋爱作为人类最常见的一种人际关系,是每个人都会经历的https://zh.moegirl.org/%E7%88%B1%E6%83%85
10.中国女性向恋爱手游:恋与之后再无爆款6.RealCoolGirl《你想养个木村拓哉谈恋爱吗?》 7.【名作全收录01】世界上第一款女性向游戏_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 8.明星志愿2 - 生活指南百科全书 9.注册用户超5500万 这个互动阅读平台或成新IP源头|腾讯_新浪财经_新浪网 10.起底MMO市场:网易自研占33%居首,Top 5公司瓜分近6成份额 https://www.tmtpost.com/5192982.html
11.我与她的恋爱目录萌娘百科,万物皆可萌的百科全书!转载请标注来源页面的网页链接,并声明引自萌娘百科。内容不可商用。贡献者:查看源代码 我与她的恋爱目录 推荐 不推荐 0 人评价 0 人推荐 我与她的恋爱目录 一 二 三 原名 ボクとカノジョの恋愛目録 作者 作画:咲良监修:すかぢ 地区 日本 出版社 富士见书房 连载杂志https://mzh.moegirl.org.cn/%E6%88%91%E4%B8%8E%E5%A5%B9%E7%9A%84%E6%81%8B%E7%88%B1%E7%9B%AE%E5%BD%95
12.少女百科全书(生活养生)段翠翠少女百科全书(生活养生) 段翠翠《少女百科全书(生活养生)》从少女的生理特征、礼仪、形象、穿着打扮、为人处事等方面,360度解读青春期困惑,让青春期的少女能坦然面对身体上的变化,有一个健康的心理,正确地处理学习、生活、交友、恋爱中遇到的问题,做一个陕乐的女孩。 https://weread.qq.com/web/bookDetail/b5632c40811e7856eg019e19
13.性心理学(套装全2册)(潘光旦译性心理学的百科全书)pdfepub《性心理学》是霭理士的巨著《研究录》(七部)的“普及本”,是一本关于性心理的百科全书,内容涉及性的生物学基础、性冲动的性质、求爱的生物学、青年期的性冲动、性的教育、性的歧变、婚姻与性、生育问题、恋爱的艺术、性的升华等方方面面。《性心理学》虽然是一本科学著作,但带有浓厚的人文色彩。逻辑清晰,行https://windowsfront.com/books/12318769
14.互联网上最全的成人百科指南,撩妹脱单不在话下!不知道大家在生活感情方面有难题是怎么解决的,在不麻烦别人的前提下借助网络是很常见的解决方式,但是网络上给出的答案难免会不靠谱,所以指南妹给大家推荐互联网最值得信赖的网站。 wikiHow wikiHow是全球领先的指南类网站,也称成人百科全书。Comscore将wikiHow评选为全球150个最热门网站之一,之所以成就这么高,因为wikiHowhttp://www.itmind.net/5473.html
15.爸爸与孩子共同成长:小龙喷喷系列(小龙喷喷和爸爸+小龙喷喷恋爱了生命的故事(第五辑·全六册)昆虫科普百科 ¥69 亲亲科学图书馆:你好 中国 (第2辑)(共10册)朱永新 杨红樱、伍美珍、黄蓓佳、安武林主编百科城市绘本 ¥59.8 【全10册】亲亲科学图书馆 第1辑 海洋奥运火车 2-3-6岁 儿童百科全书 海底世界科普书籍 幼儿童绘本故事书 幼儿园宝宝科普绘本 https://h5.youzan.com/v2/goods/3nrscwodq1trl
16.情感树情感树网,情感婚恋百科全书网站。真实婚恋情感经历解析、情感解惑、翻开时代下的婚姻百态。当代社会恋爱、婚姻、分手、出轨、包养、婚外情、离婚等现状透视,爱情是永恒的话题,美好和忧伤的剧本比比皆是,以人为镜,可明得失,让您在每个真实案例的欢喜忧伤中感受人生起伏http://www.qgtree.net/