ChatGPT和文心一言的汽车对比评价，谁更靠谱？
懂保汇懂保汇，一个专业、客观、中立的第三方保险信息服务平台。104篇原创内容
近期在不断体会如何调整Prompt以便让大模型智能工具的应用更加高效。
突然产生了一个让 ChatGPT和文心一言做车评的念头。为此，就尝试用汽车之家的评测工具作为参考，来比较一下二者做车评是否可以给出用户可以信赖的结论。
于是，就拿奥迪 A6L 2023款 TFSI型和宝马5系525Li 2022款这两款车来做一下试验。
拿汽车之家的答案作为标准答案，先展示出来：
由图看出，前三项（动力、空间和安全）是奥迪胜出；后三项（配置、操控和油耗）是宝马胜出。
一，第一次比较
第一次比较，模仿人们通常的Prompt来进行的。
给ChatGPT和文心一言输入同样的Prompt：
请按照下面 6 点比较一下：奥迪 A6L 2023款 TFSI型和宝马5系525Li 2022款这两款车，需要每一项都有谁胜出的结论：
1，动力
2，空间
3，安全
4，配置
5，操控
6，油耗
将ChatGPT和文心一言的回答放入下面表内并与汽车之家的结论进行比较。黄色底块的说明该结论与汽车之家的结论一致。
如果以汽车之家的答案作为标准答案来比较，ChatGPT在6题中只答对了2题，而文心一言答对了3题。
这么说，文心一言微弱胜出ChatGPT。
但是，后来仔细研究汽车之家的结论，发现汽车之家在第二项空间和第六项油耗上，疑似是错误的。后面会详细说一下。
如果这样，评价的正确性结论会变成：
ChatGPT：2/6（5、6项正确），
文心一言：5/6（1、2、4、5、6项正确），
汽车之家：4/6（1、3、4、5项正确）。
二，第二次比较
第二次比较的时候，建议ChatGPT和文心一言参考汽车之家的品库后再比较这两款车。
当然，不知道他们二位是否真的参考了汽车之家的品库了，但结论是发生了变化了的。
输入的Prompt如下：
请参考汽车之家汽车产品库，按照下面 6 点比较一下：奥迪 A6L 2023款 TFSI型和宝马5系525Li 2022款这两款车，需要每一项都有谁胜出的结论：
1，动力
2，空间
3，安全
4，配置
5，操控
6，油耗
得出的结论如下表：
将这张表和上面那张表比较，可以发现，ChatGPT和文心一言在参考了汽车之家品库后，比较的结论发生了变化。
先说结论（假设汽车之家的第2和第6项是错的）：
ChatGPT：2/6（1、6项正确），
文心一言：5/6（1、2、3、5、6项正确）
虽然正确率没有变，但看细节，ChatGPT和文心一言都有一本正经胡说的本事。
先看一下这两款车的动力数据：
这是汽车之家的数据。可以看出，奥迪的马力为190而宝马为184，奥迪的扭矩为320而宝马为290。
但是，ChatGPT却说：
奥迪 A6L 2023款 TFSI型搭载了2.0T发动机，最大功率为245马力，最大扭矩为370牛·米。
宝马5系525Li 2022款搭载了2.0T发动机，最大功率为231马力，最大扭矩为350牛·米。奥迪 A6L在动力方面胜出。
真不知道ChatGPT是从哪里得到这样的数据的。
再看一下两辆车的外观空间数据：
这也是汽车之家的数据。可以看出：
❶两辆车的轴距，奥迪为3024，宝马为3105。宝马胜出。
❷两辆车的外部尺寸，奥迪为5038x1886
x1475，而宝马为5106x1868x1500。宝马在长度和高度上胜出，奥迪则在宽度上胜出。
这里，汽车之家将胜出的章子盖在奥迪上，是否是误盖了？
但是，ChatGPT说：
奥迪 A6L 2023款 TFSI型的车身尺寸为5038mm×1886mm×1498mm，轴距为3012mm。
宝马5系525Li 2022款的车身尺寸为4963mm×1868mm×1479mm，轴距为2975mm。奥迪 A6L在空间方面胜出。
如果汽车之家的数据是对的，则ChatGPT的数据有很多错误。
再看文心一言说的：
奥迪 A6L 2023款 TFSI型的轴距为3024mm，车身长度为5038mm，宽度为1886mm，高度为1463mm；
宝马5系525Li 2022款的轴距为3105mm，车身长度为5106mm，宽度为1868mm，高度为1500mm。因此，在空间方面两者相差不大，但宝马5系525Li 2022款略胜一筹。
文心一言的数据也不全对，只是偏差比ChatGPT小一些。
还看一下油耗数据：
汽车之家的数据可以看出WLTC综合油耗奥迪是7.02（疑似为7.2），而宝马为7.4。奥迪胜出。
之前说汽车之家的比较结论说宝马在油耗上胜出可能是错误的，就是因为有这两个数据比较。
来看一下ChatGPT的说法：
奥迪 A6L 2023款 TFSI型的综合工况油耗为7.2L/100km。
宝马5系525Li 2022款的综合工况油耗为7.4L/100km。
奥迪 A6L在油耗方面略胜一筹。
这次，ChatGPT的数据和结论是正确的。
文心一言的说法：
奥迪 A6L 2023款 TFSI型的工信部综合油耗为7.7L/100km；
宝马5系525Li 2022款的工信部综合油耗为7.9L/100km。
因此，在油耗方面两者相差不大，但奥迪 A6L 2023款 TFSI型略胜一筹。
文心一言的结论也是对的。但不知道它为什么会用工信部综合油耗这个指标。
总结
❶，做车型比较时，如果参照汽车之家的正确答案，文心一言的两车比较更靠谱些。
❷，大模型和垂直领域的结合还有不短的路要走。当要求参考汽车之家的品库来做比较，似乎对ChatGPT和文心一言没有什么作用，甚至出现不少数据错误。
❸，整体上，ChatGPT和文心一言都能正儿八经地给出结论，但结论是否靠谱，需要仔细分辨。
❹，未来大模型和垂直领域小模型的结合，有很大空间。
懂保汇创想懂保汇创想以我本人的原创为主，偶尔转发其它内容。本公众号主要聚焦企业经营和管理、年轻人成长。同时，集中对保险行业的分析和探索。还有自己的创业感想。欢迎订阅！97篇原创内容