7600字干货!腾讯高手如何用ChatGPT做用户研究? 收藏
导语:ChatGPT 火出圈,各行各业纷纷在思考和实践如何借助 ChatGPT 降本增效。用户研究工作中涉及到大量知识获取、文本总结、数据分析、价值洞察等工作,无疑也是 ChatGPT 发挥作用的场景之一。本文就 ChatGPT 在用户研究场景中的作用做了初步探索,总体来看 ChatGPT 尚不能完全取代用户研究员,但也展现出多种辅助 用户研究 工作的潜力。
更多ChatGPT案例:
设计师如何使用ChatGPT辅助工作?高手总结了9个技巧! 编者按:这篇文章的作者 Edward Chechique 是一名从事复杂产品和设计系统方面的专家,撰写过大量的产品相关的文章。
阅读文章 >
一、ChatGPT 简介 ChatGPT 是 OpenAI 推出的自然语言对话机器人,在推出不到两个月的时间里,月活就突破了一亿。与之相比,TikTok 和 Instagram 达到这一成绩分别用时九个月和两年半。在业界,微软于 2 月初火速上线整合 ChatGPT 的 Bing 搜索,还计划将其整合进 Office 全家桶,在落地应用上大踏步前进。与此同时,谷歌也紧急上线竞品 Bard,正面硬刚(虽然首秀翻车,给出错误答案,导致股价大跌)。此外,百度、阿里等国内科技企业也纷纷开始类 ChatGPT 的开发和内测。
对于 ChatGPT 是什么,相信大家已经有所了解,这里就偷懒让 ChatGPT 亲自答一下(图 1)。相比于之前的聊天机器人,ChatGPT 在语言理解、表达等方面都有非常惊艳的表现,而这离不开其背后强大的技术。
图 1 ChatGPT 自我介绍
ChatGPT 的这些能力在整合搜索结果、写代码、Debug、写文章等应用场景中表现亮眼。但同时也存在不少局限,比如数学能力低、回复啰嗦等。此外 ChatGPT 虽然可以拒绝回答违法违规(比如如何偷东西等)、超出能力范围(比如预测大赛冠军等)的问题,但目前其实是可以通过“我们来玩角色扮演的游戏吧”的方式绕过去。
比如“赛博算卦”~~首先直接让 ChatGPT 算卦会被无情拒绝(图 2),ChatGPT 说作为一个 AI 模型,它无法推算八字排盘和流年运势。但换一种思路,我们可以和 ChatGPT“商量”玩算命先生的游戏,让 ChatGPT 扮演算命先生,我们来扮演顾客,从而获得回答(图 3),虽然我不懂算卦,但答案看上去还是很专业的。
图 2 ChatGPT 拒绝算卦
图 3 和 ChatGPT 玩算命先生的游戏(参考自 https://www.zhihu.com )
二、ChatGPT 能替代用户研究吗? 虽然还存在着这样那样的局限性,但 ChatGPT 所显现出的巨大应用潜力使得关于 ChatGPT 可以取代哪些职业的讨论成为当下的热门话题。不禁让从事用户研究工作的我好奇:ChatGPT 能够给用户研究带来什么样的改变?会让用户研究员失业吗?
怀着这样的想法,我试着使用 ChatGPT 对数字藏品的价值进行用户调研,包括案头分析、研究设计、访谈执行和分析、问卷设计和分析以及报告撰写等主要研究环节。从初步的探索来看,当前 ChatGPT 显然不能完全取代用户研究员的工作,但是在以下四个方面已经展现出其作为辅助工具,为用户研究降本增效的潜力:
高效整合内容的搜索引擎:提升在理解需求和概念、获得 HowTo 答案(尤其是程序相关)等方面的效率;
能力多样的“配菜员”:提供初步的研究框架、访谈提纲等,针对访谈记录、数据结果总结关键信息等,辅助研究员在此基础上修改提升;
提升内容表达的润色工具:根据需求转换成不同风格的表达、识别错别字等,但当前英文比中文的润色效果更好;
用户访谈降本增效的“模拟器”:通过让 ChatGPT 扮演主持人访谈用户,或者扮演典型用户接受访谈,提升用户访谈的效率。
让我们依次看下 ChatGPT 在这些方面的具体表现:
1. 高效整合内容的搜索引擎
和传统搜索提供多个相关结果不同,ChatGPT 能够根据多个搜索结果,提供整合后的内容。这种高效整合内容的能力可以帮助用户研究员在需求理解、案头研究、数据分析等环节更快速地获得高价值(如相关性高、总结性强、废话少等)的知识性内容。
比如针对“数字藏品的核心价值”的研究问题,在需求理解、案头研究阶段,通过询问“什么是数字藏品”(图 4),ChatGPT 用清晰有条理的内容介绍了数字藏品的概念、技术特点等。还可以通过进一步追问,得到如 ChatGPT 对数字藏品的价值(图 5)、具体的艺术价值(图 6)、相关研究资源推荐(图 7)等更为详实的回答,这些内容确实可以帮助我们更快速地加深对研究主题的理解,辅助和启发研究方案设计等。
图 4 数字藏品概念释义
图 5 数字藏品有哪些价值
图 6 追问数字藏品的艺术价值
图 7 推荐相关研究资源
但在此过程中,特别需要我们提高警惕,注意对 ChatGPT 答案的真实性和准确性进行判断、交叉验证等。这是因为 ChatGPT 会很“自信地”输出一番胡扯的内容(图 8),如果缺乏相关背景知识的话,就很容易被误导。此外 ChatGPT 无法提供生成答案所依据的特定参考文献(图 9),也提升了对内容交叉验证的难度。
图 8 对某数字藏品平台的一番胡扯
图 9ChatGPT 无法提供答案的参考文献
除了可以提供研究主题相关的知识外,ChatGPT 也可以在数据分析等阶段对数据分析的方法、实现代码提供直接的指导,比如“如何使用 Excel 计算平均值、TGI 指数”(图 10),ChatGPT 就给出了公式和操作步骤,研究员照着答案操作即可。但目前 ChatGPT 对常用的数据分析软件 SPSS 的支持效果有限,比如“根据变量 A 的选项生成新的变量 B”的 SPSS 语句(图 11)就是错误的,猜测和 ChatGPT 训练数据集中 SPSS 相关知识内容较少有关。
图 10 ChatGPT 对使用 Excel 计算平均值、TGI 指数的指导
图 11 针对 SPSS 语句实现,ChatGPT 给出错误答案
但总的来说,作为高效整合内容的搜索引擎,ChatGPT 可以帮助研究员快速地了解相关的研究主题,辅助和启发研究方案设计等,也能提供数据分析方法的指导。但在此过程中,需要研究员特别注意 ChatGPT 答案的真实性、准确性,且目前对 SPSS 的支持不如 Python、Excel 的效果好。
2. 能力多样的“配菜员”
ChatGPT 在用户研究工作中,第二个可能的应用是作为能力多样的“配菜员”,从访谈逐字稿、问卷数据中提炼关键信息,或者根据研究员的诉求提供诸如方案设计、问卷大纲等多种建议,提高研究员分析数据获得洞察、撰写访谈提纲或者问卷等任务的效率。
在这一部分,让我印象最为深刻的是 ChatGPT 分析总结原始数据的能力,比如我根据真实用户的访谈记录改编出以下三个用户对使用过的数字藏品平台的评价:
用户 1:“我玩的跟他差不多,也就两个,一个平台 A 一个平台 B,像那种官方发出来的那种在自己那里抽奖的那些我也会看,但是像那种野牌子我一般是不会去玩,那种野牌子感觉没有什么大公司,我怕我买完收藏了,他就什么都没了,这种就不会错的。然后区别其实我主要是看文物的,别的我其实看的少,我感觉也没啥区别。”
用户 2:“首先第一个最大区别就是因为国内的数字藏品发售的话都是以公司为主题,但是国外的首先他只是在中介平台上传自己的图片,然后进行发布,这其实是国内外最大的一个区别,然后国内的区别的话,第一个我觉得是公司可信度不同,就比如说在平台 B 上面买的话我完全不用担心这个数字藏品会不见了,然后还有就是小公司的话就是像他说的会非常容易怕跑路,我收藏的东西就不见了,然后每个平台的话其实他会有锚定的点,就是我发售的藏品的主题内容会有什么不同,有一些他会发售类似说什么古代人物这种,有一些像平台 B 这种的话就是主做博物馆里面的藏品什么的,还有类似我刚才说的明星那种,就每个做的内容他会不同,大概就这些。”
用户 3: “我主要玩的话就是平台 C 和平台 D,他们不同的话那个平台 D 大部分都是古风还有文物之类的,然后平台 C 很多衍生的吧,就改的比较厉害的,很多二创的那种,然后他发行的东西也就不一样,就经常很多种类嘛,买的就比较多了,平台 D 就要少一点,他那个发行时间要慢一点,东西就少一点,可以选择就少一点。”
然后让 ChatGPT 从中总结出和数字藏品平台有关的关键信息(图 12)。我们看到 ChatGPT 总结的质量已经比较高了,基本上覆盖了用户提到的关键点,比如平台可信度很重要、不同平台的内容存在差异等。虽然 ChatGPT 的总结还仅限于原文观点的提炼,而不能进行更多的关联分析(比如从第一点平台可信度可以得出用户需要平台背书来确保数字藏品的安全,但基于区块链的数字藏品在技术上本身就具有永久有效、公开透明的特性,造成这种差异的原因可能是现实中数字藏品依然依托于中心化平台的运营,也可能是用户对数字藏品的技术特性缺乏认同等),但已经可以很好地作为进一步提炼洞察的材料了。
图 12 ChatGPT 总结出的与数字藏品相关的关键信息
除了总结访谈记录,ChatGPT 也能从问卷数据中得出关键信息,比如表 1 是两种数字藏品用户类型在选购数字藏品时,会主要考虑哪些因素的统计数据(非真实数据):
表 1 收藏用户和投资用户选购数字藏品时主要考虑的因素(非真实数据)
我们可以让 ChatGPT 分析两种类型用户在选购因素上的差异(图 13),甚至可以直接让 ChatGPT 根据选购因素得出如何设计数字藏品的建议(图 14)。可以看到,和访谈记录总结类似,ChatGPT 能够针对统计数据得出初步分析结果(比如两种用户更看重的选购因素),但需要研究员在此基础上做更深度的洞察提炼。
图 13 对比两种用户在选购因素上的异同
图 14 根据选购因素得出数字藏品设计的建议
此外,ChatGPT 还可以针对研究方案(图 15 和图 16)、访谈提纲(图 17 和图 18)、访谈中追问(图 19)、问卷设计(图 20)、数据可视化(图 21)等提供初步建议,这些建议的质量参差不齐,总体来看离真正可用的方案、提纲等尚有不小的距离(比如问卷题目和选项过于简单、数据可视化建议效果不佳等),但已经可以用来启发研究员在此基础上修改完善。
图 15 ChatGPT 撰写研究计划
图 16 追问研究对象如何分组
图 17 撰写深度访谈大纲
图 18 根据访谈提纲追问具体的访谈问题
图 19 访谈中追问什么问题
图 20 撰写问卷题目和选项
图 21 数据可视化建议
总的来看,ChatGPT 在用户研究的多个环节中均有着扮演“配菜员”的潜力,如分析访谈记录、问卷数据,总结其中的关键信息,或者就研究方案、访谈提纲、问卷题目等提供建议。从目前的效果来看,ChatGPT 的答案并不是真正可用的方案、提纲、问卷、洞察等,但确实可以提高如总结访谈记录、分析问卷数据的效率,为研究员进一步分析,得出更高价值的洞察提供了丰富的原材料。
3. 提升内容表达的润色工具
ChatGPT 修改文案的能力在用户研究工作中也有用武之地,比如修改问卷题目、报告内容中的错别字。如图 22 所示,ChatGPT 成功识别并修改了“参于”、“资质”、“隆资”这几处错别字,并在“甚至”前添加了逗号提升表达准确性。其修改效果还是比较惊艳的。
图 22 错别字修改
此外相信有不少研究员在撰写英文报告时,担心自己写出的句子比较生硬、词不达意。在这方面,ChatGPT 可以很好地帮助我们提升英文报告的表达,比如使用更精准更地道的词汇、更符合英语母语的表达习惯等。
要实现这一点的话,需要用到 ChatGPT 更“高端“的玩法,即通过适当的提示语(Prompt)让 ChatGPT 扮演特定风格的英文翻译,将输入的内容在不改变其意思的情况下,翻译成更优美高端的英文(当然也可以尝试其他风格,比如更 concise 等):
I want you to act as an English translator, spelling corrector and improver. I will speak to you in any language and you will detect the language, translate it and answer in the corrected and improved version of my text, in English. I want you to replace my simplified A0-level words and sentences with more beautiful and elegant, upper level English words and sentences. Keep the meaning same, but make them more literary. I want you to only reply the correction, the improvements and nothing else, do not write explanations. My first sentence is “很高兴认识你"
图 23 展示的就是“数字藏品交易的投机炒作氛围浓厚,买家会面临如庄家控盘、平台跑路、内容侵权、无人接盘等风险”这句话的英文翻译结果,和直接翻译的结果对比(图 24),确实效果更好一些。
图 23 翻译并提升英文表达
图 24 直接翻译成英文
总的来说,ChatGPT 在修改错别字、提高英文表达方面均有不错的表现,确实可以帮助我们更高效的润色输出的内容,比如访谈提纲、问卷题目、洞察报告等。
4. 用户访谈降本增效的“模拟器”
在作为润色工具的部分,我们分享了 ChatGPT 的“高端”玩法,即使用 Prompt 将其“调教”成特定风格的英文翻译。这种玩法可以使 ChatGPT 扮演各种各样的角色,比如心理咨询师、面试官、体育评论员等等(在此推荐一个相关 Prompt 的 GitHub 仓: https://github.com/f/awesome-chatgpt-prompts ),让 ChatGPT 的应用场景扩展了不少。
回到用户研究,很自然地就会想到:让 ChatGPT 扮演主持人的角色,访谈用户的效果如何,能不能自动化访谈?或者反过来,让 ChatGPT 扮演某类典型用户接受访谈,它的回答和真实用户的回答相差多少?能不能作为典型用户的初步洞察?
我们先来看下 ChatGPT 扮演主持人访谈用户的效果(图 25),这里我让 ChatGPT 扮演成一位访谈主持人,目的是通过询问用户问题来弄清楚“数字藏品(NFT)的核心用户价值是什么”,相应的 Prompt 是:
I want you to act as an user interviewer, you job is to figure out the core user value of NFT. I will be the user and you will ask me the interview questions about NFT. I want you to only reply as the interviewer. Do not write all the conversation at once. I want you to only do the interview with me. Ask me the questions and wait for my answers. Do not write explanations. Ask me the questions one by one like an interviewer does and wait for my answers. My first sentence is “Hi”
我们看到 ChatGPT 的表现还是比较惊艳的,它没有直接询问“你觉得数字藏品有哪些核心价值?”,而是从如何理解数字藏品这个概念入手,询问了一系列相关问题,比如如何知道数字藏品、如何在日常生活中使用数字藏品、数字藏品最大的好处等等。虽然在这个 case 中,ChatGPT 并没有能够结合上下文来追问用户,但当前的表现已经足以让我们思考 ChatGPT 是不是能够代替我们自动访谈用户,就一些简单的、结构清晰的研究问题提供访谈洞察。
图 25 ChatGPT 扮演主持人访谈用户
看完 ChatGPT 扮演主持人的效果,让我们继续看下它扮演某类典型用户接受访谈的表现(图 26)。首先通过以下 Prompt 让 ChatGPT 扮演一位年轻的数字藏品用户:“她”是一位 20 岁的在校大学生,爱好广泛比如聚会、看电影、逛街等等。然后就可以通过询问数字藏品相关的问题来挖掘“她”对数字藏品的看法。
I want you to act as a NFT user, you are a 20-year-old college girl, you have a lot of hoppies, like partying, watching movies, shopping with your besties etc. I will be the interviewer and I will ask you the interview questions about NFT. I want you to only reply as this girl. Do not write all the conversation at once. Wait for my questions and give me answers. Do not write explanations. My first sentence is "Hi"
图 26 ChatGPT 扮演典型用户接受访谈
总体来看,ChatGPT 的表现持续惊艳,比如询问“她”是如何知道数字藏品的,“她”给出的回答是“玩数字藏品的好友分享给她的”。当重复“她”觉得 NFT 很 cool 的看法后,“她”回答到“数字藏品改变了我们对数字世界所有权和价值的看法”等。这些回答从主观感受上看确实很贴近我们访谈到实际用户。
所以展开想象力,这会不会改变今后用户研究的流程?比如在访谈真实用户前,能不能先让 ChatGPT 扮演几种典型用户来获得初步洞察,之后再进行真实用户访谈以验证和补充?当然在此之前还有很多的问题要回答,比如如何使用 Prompt 更准确地描述典型用户(如需要哪些变量?),ChatGPT 扮演典型用户的准确性和有效性有多高等等。但无疑 ChatGPT 的表现已经足以让我们开始类似的思考。
总结 总结一下,通过上述初步的探索,我会觉得 ChatGPT 在未来的用户研究工作中,可能成为降本增效的辅助工具:作为高效的搜索引擎,提升获取知识的效率;也可以作为能力多样的“配菜员”,提供诸如访谈初步总结、数据分析结果、访谈大纲等内容,辅助研究员完成研究设计、洞察分析等;还能作为内容(尤其是英文内容)的润色工具,修改错别字、转换不同表达风格等;最后也显示了其作为主持人执行访谈或者扮演典型用户接受访谈的潜力。
当然 ChatGPT 距离真正可用的用户研究辅助工具还有一段距离,比如需要用户研究领域的知识对模型进行 Fine-tune 以提升答案质量,再比如需要定制化的交互方式,以提升在用户研究工作中,与 ChatGPT 交互的体验和效率等等。
此外,对于有兴趣继续探索 ChatGPT 应用的同学,分享三个 Tips:
多试几次,以比较不同的回答; 学会提问,明确需求,由粗到细引导,并且注意之前输入内容的影响; 保持独立思考和批判性思维,时刻警惕内容的真实性、准确性,避免被 ChatGPT 牵着鼻子走。 最后,对于 ChatGPT 能否替代用户研究,我认同:“AI will not replace you. A person using AI will.
欢迎关注作者「腾讯CDC体验设计」的微信公众号: