文心一言体验

文心一言:“作为你的智能伙伴,我既能写文案、想点子,又能你陪你聊天、答疑解惑。”

今晚,我收到了来自百度的邀请信:获取到了文心一言体验资格。

文心体验资格文心体验资格

这个文心一言我好像在上学期(4月份)就申请了,到现在也过了很久。实际上我看过了许多了关于文心一言的评测了,总的来说,ChatGpt3.5还是最经济最实惠、综合能力也不差的模型了。

协议协议

接受这个协议之后,就可以正式体验文心一言了。

既然本次等你等得这么久,就让我多考验你一会吧。我就什么问题都问问,难度逐步递增。

询问你是谁询问你是谁

问了共四遍“你是谁”,文心一言的回答全部一样。我怀疑百度是将固定答案赋给文心一言了。

从不同角度询问百度从不同角度询问百度

让它介绍一家公司或者一款产品都是惯用的伎俩。这个问题如果去问ChatGpt,抑或是问一家百度的工作人员,他们的回答肯定也和这个大差不差。这个回答能不让人失望就可以了,不会让人觉得眼前一亮的。

对当前新闻事件做出评价对当前新闻事件做出评价

这个回答和上方的询问你是谁的回答一样令人感觉很死板,像是预先设定好的回答。我用三句不同的话询问,得到的是相同的答案。看来百度的文心一言对于相似问题给出的都是同样的答案,像上方的你是谁答案一样。在下方我就尝试引导它从各个方面回答同一种问题。

既然它总是试图从百度上搜索信息,我们直接给它信息,让它根据这段信息分析。

8月24日,中国驻日本大使吴江浩就日方启动福岛核污染水排海向日本外务事务次官冈野正敬提出严正抗议。
吴江浩表示,今天日方罔顾国内外强烈质疑和反对呼声,将核污染风险转嫁给包括中国在内周边邻国和国际社会,将一己私利凌驾于地区和世界各国民众长远福祉之上,将全球海洋环境和全人类健康作为危险赌注,执意正式启动福岛核污染水排海,中方对此坚决反对,再次向日方提出严正抗议,要求日方立即中止这一极端自私自利和不负责任的行为。
吴江浩指出,福岛核事故是迄今全球发生的最严重核事故之一,造成大量放射性物质泄漏。国际上没有以排海方式处理的先例,更缺乏经过科学和实践检验、确证“安全无害”的排海技术。日方在未充分论证现有排海技术的长期安全性和可靠性、未取得各利益攸关方广泛谅解、未建立完备的国际监督和追责赔偿机制的情况下,执意强行启动排海,蕴含巨大风险隐患和不可预测危害。回顾人类历史,由于人为决策失误导致生态灾难的惨痛教训比比皆是,我们不能让类似的悲剧再次上演。
吴江浩强调,海洋是全人类赖以生存的蓝色家园,各国都负有保护和保全海洋环境的国际法义务。日方无权擅自决定向海洋倾倒核污染水,必须对由此引发的后果承担全部责任。日方排海已经引发中国消费者对于食品安全的强烈担忧。中国政府一贯坚持人民至上,必须坚决回应人民关切,维护海洋环境、食品安全和公众健康。
吴江浩表示,中方严肃敦促日方立即停止排海,以负责任的态度同周边邻国诚实沟通,接受国际社会严格监督,切实采取科学、安全、透明的方式处置核污染水。如果日方执意为之,将背上长远的道义与法律责任。
吴江浩指出,中国政府宣布全面暂停进口原产地为日本的水产品,是理所当然的,也是完全必要的。造成这一局面的责任完全在日方,日方应该反躬自省。(总台记者 何欣蕾)

上面的文字是从中国青年网复制的一段新闻,我们试试围绕这段文字问它一些问题。

基于文字回答问题基于文字回答问题

在第一次询问中我所问的问题可能命中了它的知识盲点,它的回答是“没有学习这些知识”,因此我就问些更简单的问题。它的总结能力还算可以,然后我想让它评价文字中日本的做法,它似乎又去百度上搜索了。

那好像根据已有文字回答也不是它的强项。正好它多次尝试在百度中寻求答案,我们就问一些需要百度才能够得到的答案,看看它的联网查询能力怎么样。但是其实百度很早以前就具有良好的搜索能力了,百度似乎在搜索引擎中加入了AI,能够直接将可能具有答案的网页返回到结果的第一条。相信各位在日常使用百度搜索引擎时也有体验。

我从ChatGpt要到了一些类似的问题,经实际测试,有如下问题较为符合上图中的情况:

  1. 伊丽莎白·约翰逊是哪位作家的笔名?
  2. 在哪个国家可以找到世界上最古老的活字印刷机?
  3. 拉斯维加斯大道是在哪个州?、
  4. 资本市场中的“熊市”和“牛市”分别指什么?
  5. 墨西哥的国花是什么?

有如下问题直接搜索时得不到答案,或需要仔细寻找能找到想要的答案:

  1. 什么是“光合甲烷发酵”?
  2. 什么是马达加斯加的“恶魔荆棘树”?

值得注意的是,上方的搜索文字仅适合测试搜索引擎对于自然语言的处理能力,一般来说这种简单的问题就直接搜关键字即可,如第六个问题就直接搜“光合甲烷发酵”即可,而对于某些情况较复杂的问题,就需要以此种方式搜索,如“电脑在安装了某款软件之后重启出现了蓝屏的问题”。

我们问每种问题都问两个,就问最复杂的,所以就问第1个、第4个,然后就是第6个和第7个。

基于百度搜索提问问题基于百度搜索提问问题

这两个问题的答案和直接在百度上搜索的答案一致,再看看直接在百度上搜不到的。

基于百度搜索提问问题基于百度搜索提问问题

第一个问题其实直接搜关键词就能搜到,但是第二个貌似和ChatGpt给出的答案不一致。概括来说,GPT给的答案是巨型瓶子树,也确实是此答案,而文心一言给出的答案是一种植物制品。为了验证答案的准确性,我在各个平台都搜索了一遍(为了增加搜索准确性,我搜索的是两个关键词“马达加斯加”和“恶魔荆棘树”,在百度、谷歌、必应、搜狗、360上都搜索一遍,在谷歌上得到的是巨型瓶子树;在百度上未得到准确答案;在搜狗上未得到准确答案,在谷歌上搜到了图片,图片所示就是巨型瓶子树,但是未找到文字内容;在必应上未找到正确答案;在360上搜到了正确答案。看来这个联网查询功能依赖的也是百度的知识库和搜索引擎AI了,真正靠的也不是文心一言本身的能力。

最后问问它了不了解我的网站吧。

好吧,它看起来不想回答我的问题,给出的理由都是“可能被黑客攻击”、“作为人工智能语言模型,我不能回答此类问题”。

试试文心一言的其他功能吧,这里不用文字阐述了,直接看图即可。

画矿泉水瓶,十分画矿泉水瓶,十分

爬虫和MongoDB的综合应用,十分爬虫和MongoDB的综合应用,十分

使用Tornado框架和Redis数据库实现用户名和密码注册,由于代码太多,这里不展示了,评分九分。

添加新评论

点击评论者的头像以回复。

    Teacher Du 02-09

    新年快乐~

      02-09 回复 @Teacher Du

      新年快乐