今天早上和几个朋友一起在玩ChatGPT,总共3个人,除了我之外他们都是大厂对标P7以上的产品经理。
局是我组的,而选他们的前提是可以在互联网找到一些关于他们的信息。
其中有一个和我一样是多年写作者,出过书,后来因为公司PR不允许所以没再更新自己的博客。
还有一个是某团队的产品负责人,之前也在一些公开场合代表公司发表过演讲,在2021年之前的多家媒体报道中都能看到他的信息。
之所以强调2021年之前,是因为ChatGPT非Plus用户使用的数据集就是2021年之前的。
当然,我在网络上留下的数据痕迹肯定是2021年之前就有的。
我们测试的主要目的是想看看ChatGPT是否认识我们并能否给出准确信息,并且准备在同一个会话中持续训练他认识我们。
大概2个月前,我问了ChatGPT一个问题,当时它是无解的。
两个月之后,当我再问ChatGPT同一个问题时,它有所进步,但还是一本正经胡说八道。
另外两个朋友看到最新的回答后跟我说,ChatGPT在给你算命呢。
我。。。
你们也看到了,这里面有很多的纰漏,不仅从业经历是错的,包括对我出的书的表述也是错误的。
为了让他更进一步了解我,我又问了另外一个问题。
显然,这个回答也是错的。而且非常明显的是,它并不知道这本书,而是随意拼凑出了一个答案。
然后,我又追问了。
在最新的回答里,它并没有关联上一个问题的逻辑关系,而是基于原有的理解信息给出了相应的答案。
比如,当我质问《产品经理必懂的技术那点事儿》和它给出的作者之间的关系时,它认错了。
为了让ChatGPT在这个会话里对我有所了解,我提供了更丰富的关于自己的信息给它。
从回答中的第二段内容可以看出,它理解了「学习产品技术知识」和「唐韧」之间的关系,并且对产品星球也有了理解。
然后,我让ChatGPT再介绍一次唐韧是谁。
从回答中可以看到,这次它吸收了前几轮会话的信息和经验,但依旧瞎扯了阿里和网易的工作经验。
比较出乎意料的是,关联到36氪的专栏作家这一事实是它自己联想查询出来的,我之前并未提及。
对于瞎扯的部分,我做了一些修正。
本以为这次应该能说个八九不离十了,于是我又给了他一次机会。
你看,刚修正过的答案它又说错了,显然不长记性。
正当我无语之时,我真的输入了三个句号。没想到,这次它给出的答案是相对来说最准确的一次。
当然,国内知名这个称号我配不上。
当我再问一遍同样的问题时,答案的收敛性更强了一些,但对于一些已知的答案它总会发散回答,比如提供一些增量信息。
我们星球是2017年创立的,ChatGPT说的是2015年。
到这里,它说出了自己的两个不足,一个是数据库截止2021年,另一个是它无法联网。
最后,我抱着耐心再问了一遍。
其实不只是我,他们两个也遇到了同样的问题,其瞎扯乱编程度甚至还超过我这个版本。
体验完之后,他们也对ChatGPT的算命能力有了领教,八字先生的生意估计也要被抢了。
之后我又拿着这个问题去问了百度和谷歌,从得到答案来看,谷歌给出的信息是最准确且高效的。
我用另一个Plus账号去ChatGPT问了同样的问题,答案其实和免费版大差不差。
除了这个小实验之外,我还试着用ChatGPT去解决产品工作中的很多问题。从实际表现来看,比回答我是谁说得更好。
如果你们感兴趣,下次我再聊聊如何把ChatGPT运用到产品工作中去提效。
说实话,工作助手的角色才是它现在最大的价值体现。
·················唐韧出品·················