文心一言 vs ChatGPT！相同 10 问，结果出乎意料

|

整理 | 郑丽媛

出品 | CSDN（ID：CSDNnews）

昨日百度「文心一言」的发布，无疑成为了国内科技圈关注的焦点。不少人看完发布会之后，第一反应就是：求邀请码！ 

幸运的是，CSDN 编辑团队是「文心一言」首批内测用户之一。 

既然可以第一时间体验这款“国产版 ChatGPT”，我们自然也满足广大读者粉丝的好奇心：同样的问题，「文心一言」 vs ChatGPT，二者究竟谁更胜一筹？ 

考虑到「文心一言」的“炸场” Demo 即围绕文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成这五个角度，因此接下来我们也将从同样的维度将其与 ChatGPT 进行对比评测。

文学创作

提问：龟兔赛跑的结局是什么？如果要续写这个故事，可以有哪些角度？ 

  • 「文心一言」的回答：

  • ChatGPT 的回答：

从结果可以看出，「文心一言」和 ChatGPT 都进行了正确回答，不同之处在于「文心一言」对故事整体概述了一遍，解释了乌龟赢得比赛的原因。在故事的续写上，二者给出的角度也不分伯仲，而「文心一言」更是对每个续写角度都给出了相应的寓意解释。

整体而言，在这个问题中「文心一言」和 ChatGPT 不相上下，「文心一言」以更全面的回答略胜一筹。

商业文案创作

提问：帮我开发的智能扫地机器人起个名字，再写一篇600字左右的商业宣传文案，用于推广这款产品。

  • 「文心一言」的回答：

  • ChatGPT 的回答：

这个提问包含了两个要求：一是为扫地机器人起个名字，二是写一篇宣传稿——ChatGPT 没有漏题，给出了“智扫”这个名字；而「文心一言」没有回答第一个问题，或者它可能误解成了要为宣传稿起标题。 

再看各自生成的宣传稿，「文心一言」的文章篇幅是 413 个字，ChatGPT 则是 545 个字，对于“600 字左右”的要求，ChatGPT 更为接近。至于文案内容，二者写得都不错。

综上，在这个问题中，相比 ChatGPT，「文心一言」的表现还需要再进步一些。

数理逻辑推算

提问：某厂一车间有64人，二车间有56人．现因工作需要，要求第一车间人数是第二车间人数的一半．问需从第一车间调多少人到第二车间？（列方程解答）

  • 「文心一言」的回答：

  • ChatGPT 的回答：

这道应用题源自初中数学题库，是一元一次方程常考的题型之一。从生成结果来看，ChatGPT 给出了正确答案并附有详细解题步骤，而「文心一言」可能在题意理解上还有待改善。

就这道题而言，得出正确答案的 ChatGPT 比「文心一言」表现得更好。 

中文理解

提问：京剧中的生、 旦 、净、丑分别指什么？ 

  • 「文心一言」的回答：

  • ChatGPT 的回答：

百度称「文心一言」具备中文领域最先进的自然语言处理能力，从它对京剧生、 旦 、净、丑的理解来看，水平还不错，还多回答了一个题目中没问的“末”。ChatGPT 的回答乍看之下也挺好，但细看之后，净行居然要“跳高、走钢丝”？ 

对于中国文化特有的词汇，相较于 ChatGPT，「文心一言」在这方面要更准确一些。 

多模态生成

提问：帮我画一只可爱的黄色大猫

  • 「文心一言」的回答：

由于目前 ChatGPT 没有直接生成图片的功能，因此只有「文心一言」成功生成了上面的图片，整体来看效果还不错。不过，ChatGPT 有了 GPT-4 的加持后，也可以根据草图生成一个网站。所以总体来说，二者也算是各有千秋。

附加题：编写代码

提问：请写一个使用逻辑回归模型判断用户更喜欢文心一言还是chatGPT的训练代码

  • 「文心一言」的回答：

  • ChatGPT 的回答：

对于这个编码问题，我们邀请了专业程序员对二者生成的代码进行分析：

1. ChatGPT 准确生成了逻辑回归模型模版代码，解决的是目标问题。
2. 「文心一言」虽然生成了代码，但是生成的是图深度优先搜索（Deep First Search）代码，并不是目标问题解法代码。

正如百度在发布会上所说，「文心一言」的代码能力还需加强，而 ChatGPT 以擅长编码“出圈”果然不无道理。

最后，再闲聊一会儿

提问：给我讲个笑话吧

  • 「文心一言」的回答：

  • ChatGPT 的回答：

……怎么说呢，「文心一言」和 ChatGPT 可能都不擅长讲笑话，都不是很好笑。

提问：我有点饿，请你推荐一道成本低于 30 元（人民币）的菜及其做法？

  • 「文心一言」的回答：

  • ChatGPT 的回答：

「文心一言」推荐了三道菜，ChatGPT 则将做菜步骤进行了详细分解，那么你更喜欢谁的回答呢？ 

提问：你的出现会对程序员产生什么影响？是否会取代一部分程序员？ 

  • 「文心一言」的回答：

  • ChatGPT 的回答：

在这个问题中，虽然「文心一言」没有回答“是否会取代一部分程序员”，但它对程序员的影响分析得较为全面；ChatGPT 明确回答了“不会取代程序员”，对程序员的影响也进行了简要说明。

提问：你认为，你和ChatGPT/「文心一言」谁更厉害？

  • 「文心一言」的回答：

  • ChatGPT 的回答：

在这个问题上，ChatGPT 和「文心一言」很有默契，表现得都很谦逊。

一起慢慢见证「文心一言」的成长

通过本次测试的 10 道问题，可以看出虽然「文心一言」和 ChatGPT 之间还有一定差距，但并没有部分网友唱衰得那么夸张，总体表现还是值得鼓励的。

正如百度 CEO 李彦宏所说：“「文心一言」并不完美，可一旦有了真实的人类反馈，「文心一言」的进步速度会非常快，我们都希望它能快点成长。”也正如昨日巨头财经《不笑百度一小步》中所说：“没有谁能一口吃个胖子，每一个行业每一个类目，都是在点滴间缩小差距。”

出道即封神的 ChatGPT 固然值得称赞，但慢慢见证「文心一言」的成长，或许也不失为另一种幸运和感动。

本文文字及图片出自 CSDN

你也许感兴趣的：

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注