期待获得更多专家见解?

立即订阅55数据月度精选Tea O'Clock

点击订阅

聊天机器人,而非甲骨文"--当我们尝试用 ChatGPT 取代我们的顾问时发生了什么

萨姆-伯尔
发布于
14/3/2023
您还不应该使用 ChatGPT 回答 Google Analytics 的问题......!

在过去几周里,我们听到了很多关于生成式人工智能(Generative AI)将如何彻底改变数字营销格局的消息。ChatGPT 于 2022 年 11 月推出,在短短 5 天内就拥有了 100 万用户。从那时起,它就开始进入人们的日常生活,从校对电子邮件到格式化代码,甚至是编写说唱歌词

在五十五所,我们就如何利用技术为新的和前沿的营销用例提供咨询,我们很快就开始测试城中最热门的新聊天机器人的功能。特别是,我们与许多知名品牌合作,在通用分析(Universal Analytics)日落之前就迁移到了谷歌分析 4(GA4)上,因此我们决定在我们的顾问经常做的事情上对它进行测试。使用 GA4 回答客户提出的问题。结果如下:

聊天 GPT 只答对了 42 个 GA4 问题中的 12 个

在我们提出的 42 个问题中,ChatGPT 只提供了 12 个可接受的答案,成功率仅为 29%。另有 8 个答案(19%)被视为 "半正确"。这些答案要么曲解了问题,提供了与问题不同的答案(尽管事实上是正确的),要么在原本正确的回答中包含了少量错误信息。例如,ChatGPT 告诉我们,您在某些 GA4 报告中发现的 "其他 "行是由许多低流量数据行组合而成的(正确),但出现这种情况是由 "谷歌机器学习算法 "定义的(不正确--存在标准规则)。

人工智能模型受限于训练数据

其余 52% 的答案与事实不符,有些甚至具有误导性。最常见的原因是 ChatGPT 不使用 2021 年以后的训练数据,因此答案中没有考虑最近的许多更新。例如,谷歌在 2022 年才正式宣布淘汰通用分析功能,因此 ChatGPT 无法说明具体时间。在这种情况下,机器人至少在回答时说明了这一背景,并以"据我所知,2021 年将停止使用...... "作为开头。

然而,剩下的一些答案却错得令人担忧,比如机器人告诉我们 "GA4 使用基于机器学习的方法来跟踪事件,并能根据收集到的数据自动识别购买事件 "。

虽然 GA4 确实有自动跟踪的 "增强测量 "事件,但这些事件通常是通过监听网页元数据中的简单代码来定义的,而不是通过任何机器学习或统计模型。此外,购买事件当然不在 "增强测量 "的范围之内。

要解释第二种错误答案的原因,可以考虑 ChatGPT 训练数据的另一个限制。世界互联网上有很多错误信息,而这些信息基本上就是用来训练聊天机器人的,而且聊天机器人是用模式来训练的。谷歌关于 GA4 的许多支持文章中都出现了 "机器学习 "一词,随后关于该平台的外部文章中也出现了这一说法,因此在 17 个问题的回答中(包括上面的错误答案)出现 "机器学习 "一词也就不足为奇了。

最后,值得一提的是,使用 ChatGPT 有一定的随机性--您可以给机器人两次相同的提示,但得到的答案会略有不同。

一个很好的起点,但没有甲骨文

总之,ChatGPT 在对营销技术的复杂问题给出平衡的答案方面,与五十五位咨询顾问相比还有很多差距。不过,它确实提供了一个很好的起点,让我们可以讨论它对特定主题的回答,并进行更多的研究。这与我们今天看到的人工智能对工作场所的支持是一致的。大多数工作并没有被人工智能完全取代的风险,但像 ChatGPT 这样的工具在提高工作效率、激发创造力和开启对话方面做得非常出色。正如BCS所写的那样,"人工智能不会取代你的工作,但使用人工智能的人会"。

所有文章

相关文章

糟糕!无法找到您想访问的页面

期待获得更多专家见解?
立即订阅55数据月度精选Tea O'Clock!

发现最新资讯、深度文章、网络研讨会视频,以及55数据的各项活动。

名*
姓氏*
公司*
首选语言*
电子邮件*
谢谢!

您的订购要求已被充分考虑。
糟糕!提交表格时出了点问题。