94a于用户体验的搜索引擎有效性评估研究[1]
本文关键词:基于用户体验的搜索引擎有效性评估研究,由笔耕文化传播整理发布。
厶耋王筮堂;麴墨生§旦筮!兰鲞筮圣塑;文章编号:1006-8309(2008103-0;?9?;基于用户体验的搜索引擎有效性评估研究;徐意能,陈硕;(浙江大学心理与行为科学系,杭州310028);摘要:Forrester研究公司提供了5279名;关键词:搜索引擎;有效性;用户体验;因素分析;网;文献标识码:A;EvaluationofSearchEngine
厶耋王筮堂;麴墨生§旦筮!兰鲞筮圣塑
文章编号:1006-8309(2008103-0009-04
?9?
基于用户体验的搜索引擎有效性评估研究
徐意能,陈硕
(浙江大学心理与行为科学系,杭州310028)
摘要:Forrester研究公司提供了5279名用户基于11个用户体验评价指标对4种搜索引擎进行有效性评价的结果,应用探索性因素分析法研究其内在影响因素。结果表明:①搜索引擎有效性的用户体验包含两个主要维度:内容准确性和内容直接性,是对11个评价指标的有效综合;文献综述结果表明,两个维度的用户体验具有相应的用户行为模式支持;②以内容准确性和内容直接性为评价指标对4种主流搜索引擎进行用户体验评估,评估结果与搜索引擎特征以及第三方评估结果相一致,并能有效解释搜索引擎特征与用户体验之间的关系。
关键词:搜索引擎;有效性;用户体验;因素分析;网站导航中图分类号:TP391.4;13849
文献标识码:A
EvaluationofSearchEngineEffectivenessBased
on
UserExperience
XUYi-neng,CHENShuo
(DepartmentofPsychologyandBehaviorScience,Zhejiang
anevalnationre8uh
users
University,Hangzhou
310028,China)
Abstract:ForresterResearchInc.providedthemarksof4searchenginesgivenby5,279usedty
to
on
search
en矛neeffectiveness.whichinchded
analysis
wag
based
on
11evaluationitems.Exploratoryfactor
findthe
structure
oftheevaluationdata.Theresultsshow
uger
that:①Contentsaccuracyand
contentsaccessibili—
user
aletwo
mainfactorsof
experience
on
search
were
engine
to
effectiveness,which
WaS
consistentwithreported
on
be—
havior
patterns;②Thetwo
twofactors
obtainedfactorsusedevaluatetheuser
to
experience
searcheffectivenessoftop4
searchengines;theevaluation
suits,andthe
Key
are
results眦highly
also
a
relativethesearch
enginefeatureandthe3rdpartyevaluationre?
user
bond
betweenthesearchenginefeatureandthe
experience.
words:searchengine;effectiveness;riserexperience;factoranalysis;webnavigation
l
背景
基于用户体验改善搜索结果的有效性正成为
提供事务处理的相关网站,以完成购物、下载文件
或者地图寻找等活动心】。Zukerman等人2001年
提出适于网页呈现的两种用户模型,基于内容的用户模型(content-basedsystem)和基于合作的用户模型(collaborativesystem)。前者是基于网页内容而构建的用户模型,后者则是基于寻找“类似”用户而构建的模型,其假定为当前的搜索用户喜欢看到“类似”用户曾经访问过的网页"】。
Forrester
各搜索引擎的发展方向,通过用户的搜索行为来
了解用户的“搜索目标”成为各个搜索引擎的发
展重点,明确用户搜索目标可以提升网页的页面等级评定(pageranking)、有利于搜索结果的聚类以及有效呈现搜索结果…。Broder等人的研究表明,用户网页搜索行为基本目的是信息获取,而具体则可以分为网站导航型(navigational)和事务处理型(transactional)。在网站导航型的搜索情境中,用户希望搜索引擎返回目标网站的网址;而在事务处理型的搜索情境中,用户则希望搜索引擎
Research公司于2005年7月进行了
一项关于搜索引擎有效性的网上调查活动,获得了5279位美国和加拿大用户的有效数据,基于
11个用户体验评价指标对4种搜索引擎进行了
基金项目:国家基础科学人才培养基金(J0630760);浙江省教育厅基金(3520070212)
作者简介:徐意能(1985一),女,浙江宁波人,本科,研究方向:应用心理学,(电话)13516721942(电子信箱)04xlxxyn@zju.edu.cn。
?10?
厶耋王鏊堂2唑堡墨旦箜!垒鲞笙三塑
中可以看出,AOL、Google、MSN和Yahoo!四种搜索引擎在1l项指标上强弱分布错综复杂,根据
有效性评价H1。本文的研究目的在于对该项研究的结果数据进行深入的数据挖掘,探索影响l1种用户体验指标的用户体验心理结构,继而总结出
基于用户体验的搜索引擎有效性综合评估指标。
2方法
Forrester
11项指标的得分对4种搜索引擎做出搜索有效性的综合评价是比较困难的任务。本文将首先对
该评价结果进行标准化转换,再对转换后的数据进行探索性因素分析,进而将所获得的因素与现有的研究结论进行对比研究,最终希望获得简洁
Research公司2005年7月搜索引擎
有效性的调查结果如表l所示H】,表中列出了
5
279名用户根据11项有效性评估指标对4种搜
表1
有效的基于用户体验的搜索引擎有效性综合评估
指标。
索引擎搜索有效性进行评估的综合结果。从表l
FORRESTER搜索引擎有效性用户调查结果
注:95%置信区间为±1.4%
表1中各项指标的用户评价结果具有序列(等级)特性,将该结果转化为标准分数,使用户评价结果具有等距特性,以方便进一步的指标构
接近。弗里德曼(Friedman)X2检验结果(X2(10)
=38.630,P<0.01)表明四种搜索引擎之间具有显著差异,但是根据现有的数据无法对差异及其
原因进行具体分析,尤其是得分接近的3种搜索引擎Google,MSN和Yahoo!。
建,如表2所示,其中AOL的各项得分在4种搜索引擎中最低,而其余3种搜索引擎的得分较为
表2
FORRESTER搜索引擎有效性用户调查结果的标准分数
为了进一步研究4种搜索引擎之间的差异及
其原因,对表2中4种搜索引擎的11个变量进行
探索性因素分析。应用主成份分析法进行因素萃取,碎石图形态检验表明数据适合进行因素分析,
相关矩阵特征值大于l的有2个,相应萃取出2
个因子,2个因子的特征值和方差贡献率如表3所示。2个因子的累计方差贡献率高达o.95以上,初步显示2个因子可以对11个评价指标进行
有效综合。采用四次最大正交法旋转后的因子负
荷矩阵如表4所示。观察因子负荷矩阵的特征可以发现,因子l与l(返回结果的相关性)、2(待购
的特定产品或服务)、3(特定的公司网站)、4(特
定的主题)、lO(本地企业)以及ll(人)各项评价指标均具有较高的相关关系,因子2则与5(新闻故事)、6(股票牌价或金融信息)、7(音乐)、8(视频)以及9(本地娱乐信息)等5项指标呈较高的
正相关。据此可以将因子l命名为内容准确性因
子,该指标反映了搜索结果与用户预期目标接近的程度。可以将因子2命名为内容直接性因子。该指标反映搜索结果用户可以直接操作的程度。在一定的程度上,搜索结果的准确性提高可能会
降低搜索结果的可直接操作性。与Broder等
人旧-观察到的用户网络搜索行为模式对应,内容准确性是网站导航型(navigational)行为的体验指标,该指标取值高表明搜索引擎返回的页面与用户预期的搜索目标一致性高;内容直接性是事务处理型(transactional)行为的体验指标,该指标取值高则说明用户对搜索结果的操作较为容易,比如音乐、视频的下载容易完成。
表3因素分析结果:特征值和方差贡献率
3结果分析
4种搜索引擎在2个因子上的因子得分如图l所示。观察图1发现,AOL两项因子的得分在4种搜索引擎得分中最低,与表2中AOL各项得分最低的结果相一致。Google在内容准确性因子上得分为4种搜索引擎得分之最,MSN在内容直接性因子上得分最高,Yahoo!的2个因子得分均较AOL为高,和Google及MSN比较则互有优劣,显
得Yahoo!是具有中庸色彩但有效的搜索引擎。
从图1中可以直观发现AOL、Google和MSN组成
一个三角形态,分别居于用户行为判定指标的两
项均低和单项因子得分高而另一项因子得分较低的状况,Yahoo!则位于Goosle和MSN之问,三者
几乎形成一条直线,该结果提示,目前搜索引擎在两个因子表现上是互相牵制的,内容准确性高,搜索结果的精准表达如同Google的搜索结果呈现方式,将会影响对内容的直接呈现,比如音乐和视频等内容类的搜索结果,可能要经过几次点击以后才可以对内容进行直接操作。
表4因素分析结果:因子负荷矩阵因子
评价指标
l(内容准确性)2(内容直接性)
注:数字上的方框表示在各因子上负荷较大的评价指标(因子负荷均大于0.700)。
m函妇辎砸体
-K
内容准确性因子
图1
4种搜索引擎在两个因子得分上的位置分布
4讨论
使用搜索引擎是最常用的网络搜索方法,搜索引擎基于用户的查询输入动态返回相匹配的查询结果页面,本文研究了4种主流的搜索引擎。
本研究数据分析结果发现,搜索结果的准确性和
直接操作性是影响搜索引擎有效性的两个重要因素,与Broder等人研究发现的两类用户行为模式
?12?
非常吻合。搜索结果的准确性很大程度上取决于搜索引擎的工作方式,而搜索结果的直接操作性更多取决于搜索结果的呈现方式,同时也受搜索结果准确性的牵制,搜索引擎在两个指标上的表现将会互相牵制,用户对搜索引擎的最终评价将取决于两者的综合表现。
4.1搜索引擎文档聚类方式对内容准确性的影响
按照文档聚类是检索之前还是之后进行,搜
索引擎的文档聚类方式有两种:事先聚类(pre.渺
trieval
clustering)和事后聚类(post—retrieval
cluste.
ring)。文档事先聚类,将相关文档归于同一类别,每一文档类以一个向量表示。在检索过程中,查询向量先与各个类向量逐一进行比较可以得到结果。向量空间模型的发明人Salton曾指出,事先聚类能够提高检索效率(efficiency)同时难免会降低检索效果(effect)"J。有些搜索引擎基于大规模文档(或全部文档)进行聚类,聚类过程中会由于分类原则存在相当局限导致分类质量较低,基于该种分类而形成的检索结果在有效性上显然表现一般。另外一些搜索引擎基于精简的文档集合聚类,聚类过程中会在同一搜索主题上形成多个小型分类,同时各个分类结果的集合规模较小,同样会影响检索效果。事先聚类是一种离线聚类,在执行任何搜索之前对所有的文档结合进行聚类,所以可能会发生对相关内容未进行追踪的现象。而事后聚类则是一种在线聚类,基于用户查询反馈文档集合进行聚类。部分文档集合的主要特征与用户搜索目标的相关性一般会高于整个文档集合的主要特征与用户搜索目标的相关性。事后聚类能够利用部分文档集合的主要特征提高检索效果。不过,事后聚类检索时间较长,检索效率会降低,这也是目前大多数搜索引擎采用事先聚类的主要原因。总之,事先聚类主要是为了提高检索效率,事后聚类主要是为了改善检索效果油1。
本研究的4种搜索引擎,其中Google采用事后聚类方式而其他3种搜索引擎采用事先聚类方式,从原理上推测google的搜索结果准确性应该高于其他3种搜索引擎,从本研究的数据分析结果看,Google的有效性已经在用户体验上有效地体现出来。Yahoo!属于目录式搜索引擎(Direc—
tory
Search
Engine),对搜索内容进行人工分类,该类搜索引擎因为人的智能参与,解决了事先聚类分类质量不高的问题,搜索信息准确、导航质量
高,在本研究采用事先聚类的3种搜索引擎中Yahoo!的第一个因子得分是最高的。目录式搜索引擎的缺点是需要人工介入、维护工作量大、信息量少、信息更新不及时,所以相较C,oogle全文索引并且事后聚类的搜索方式而言,Yahoo!在内容准确性得分依然较低。MSN和AOL则由于事先聚类的缺陷,内容准确性得分依次排列在第三、第四位。
4。2搜索引擎用户综合感知对内容直接性的影响
Nielsen
NetRatings公司2004年一份研究报
告数据显示,在2004年10大网站排行榜中,Ya—hoo!位居第3,Google位居第4,AOL未能人选前10,MSN未出现在前lO,但是Microsoft位居第1。同时公布的10大品牌排行榜中,MSN第1,Ya-hoo!第2,AOL第4,coosle第5,其中Microsoft作为品牌排于第3位"]。Jansen等人2007的研究结果旧1提示,在搜索引擎品牌感知和搜索引擎评估中,AOL的用户忠诚度非常低,研究中的一位受访者宣称,他从不使用AOL因为“AOL比其他品牌(MSN,GoogleYahoo!)差得多。”Jansen等人研究同时发现,用户的综合感知印象取决于返回内容和呈现方式,,Google在返回内容上排名第1,而Yahoo!则在品牌感知上得分很高(第2)。对比本研究图l中用户对4种搜索引擎的内容直
接眭评分排序可以发现,本研究获得的4种搜索引
擎的内容直接性排序是与上述研究结果基本一致,
并且“内容直接陛”是搜索引擎用户体验的一个重要
指标,与搜索引擎的用户感知之间关系密切。
Google基于PageRanking算法采用机器人搜索引擎(Crawler—Based
Search
Engine)工作方式,
搜索结果信息量大、更新及时、无需人工干预;但是返回信息过多,有很多无关信息,用户必须从结果中筛选,对于一般用户显然降低了搜索结果的可直接操作性,因而在本研究中Google的内容直接性因子得分为一0.491,位于MSN和Yahoo!之后。MSN搜索引擎具有基于用户输入的请求进行搜索目标的学习的能力,从本研究的结果看,该能力在内容直接性上显然给予用户良好的使用体验。Yahoo!依然得益于分类目录,在内容直接性上表现好于Google。
4.3
内容准确性和内容直接性的交互作用从搜索引擎工作原理看,搜索内容的准确性
和搜索结果可直接操作性之间存在一定的相互牵
(下转封三)
(上接第71页)
[5]
Rikers,R.M.J.P.,Boshuizen,H.P.A.,
Schmidt.H.G..NonMedical
RoutineProblemSolvingby
Presented
at
ginof
Intermediate
and
EffectsinClinicalCaseRecall
[J].Memory[10]
Cognition,1993,21(3):338—351.
G.,Moulaert,
or
Experts[C].Paper
theAnnual
Rikers,R.M.J.P.,Schmidt,}L
MeetingoftheAmericanEducationalResearchAsso—ciation,Chicago.March,1997.
Ve’ronique..BiomedicalKnowledge:EncapsulatedTwo
WorldsApart?[J].AppliedCognitivePsychol—
f6]Boshuizen,H.P.A..OntheDevelopmentofMedicalExpertise;ACognitivePsychological
ogy,2005,19(2):223-231。
Patel,V.L.,Groen,G.J.,Patel,Y.C..CognitiveAspectsofClinicalup:TheRoleHealthScience
Approach[D].
Unpublisheddoctoraldissertation.MaastrichtUniversi—tv。Haarlem.TheNetherlands.1989.
Performance
duringPatientWork—
of
ofMedical
Expertise[J].Advances
[7]Lesgold,A.M.,Rubinson,H.,Fehovich,P.J.,et
a1.ExpertiseinPictures
a
Education,1997,2(2):95—114.
ComplexSkill:DiagnosingX-ray
[12]
Kushniruk,A.W.,Patel,V.L.,Marley,A.J.
SmallWorldsandMedicalExpertise:ImplicationsforMedicalCognitionandKnowledge
fCl.InM.T.H.Chi,R.G1aser,&M.
Natureof
Farr(Eds.),TheExpertise.Hillsdale,NJ:Engineering[J].
LawrenceErlbaumAssociates.Inc.1988:311—342.
InternationalJournalofMedicalInformaties.1998.49
[8]Schmidt,H.G.,Boshuizen,H.P.A..Encapsula—
tionofBiomedical
(3):255-271.
Knowledge[C].In
D,A.Evans
V.L.Patel(Eds.),AdvancedModelsofCognition
forMedicalTrainingandPractice.NewYork:SpringerVedag.1992:265-282.
[收稿日期]2008—01—15[修回日期]2008-05—04
[9]Schmidt,H.G.,Boshuizen,H.P.A..On
theOri一
(上接第12页)
制作用。观察表4中的因子负荷可以发现,其中有5个项目在两个因子上负荷符号相反;图1中两个维度上的因子得分形态也具有负相关的趋势。本研究的研究结果提示,Broder等人口1研究发现的两类网络搜索用户行为模式对应两类不同的用户体验,进一步提升搜索引擎的用户体验,需要同时在搜索结果的“内容准确性”和“内容直接性”方面加以改进。
5
ModelsforUserer.Adapted
Modeling[J].UserModelingandUs-
Interaction,2001,11(1—2):5-18.
S.ConsumerTechnographics
H]j
VanBoskirk
Q2
2005
NorthAmericanDevices&AccessOnline
Survey[R].
Cambridge:ForresterResearch,Inc,2005.
凹
Salton
G,WongA,YangCS.AVectorSpaceModel
forAutomatic
Indexing[J].CommunicationsofACM,
1975,18(11):613-620.哺
ShyuML,ChenSC,ShuCM.Affinity—basedProba—bilistic
Reasoning
and
Document
Clustering
on
结论
基于用户体验的搜索引擎有效性评估指标体
the
wwW[C].The24thIEEEComputerSocietyInterna—
系包括“内容准确性”和“内容直接性”两个主要指标,两个指标可用来对搜索引擎进行用户体验的综合评价,该评价结果对搜索引擎设计具有相当的参考价值。
喁一
tionalComputerSoftwareandApplicationsConference,2000,Taipei,Taiwan.
j
a
WongT,KimG.One‘InThreeAmericansUse
Search
Engine[R].New
York:NielsenNetRatings,
Inc,2004.
JansenBJ,ZhangM,ZhangY.BrandAwarenessandtheEvaluationofSearchthe
参考文献:
f1]Lee
U,LiuZ。ChoJ.AutomaticIdentificationofUserGoalsin
Results[C].Proceedings
of
World—WideWeb
Conference(wWW),May
WebSearch[C].ProceedingsoftheWorld—
2007,Banff,Alberta,Canada。
WideWebConference(WWW),May2005,Chiba,Ja—
pan?
[2]Broder
GIR
A.ATaxonomyofWebSearch[J].ACM
[收稿日期]2007-06—01
SI—
[修回日期]2007—11—13
Forum,2002,36(2):3-10.
I,AlbrechtD
『3]
ZukermanW.PredictiveStatistical
笔耕文化传播(http://www.bigengculture.com)包含各类专业文献、生活休闲娱乐、各类资格考试、幼儿教育、小学教育、外语学习资料、高等教育、应用写作文书、94a于用户体验的搜索引擎有效性评估研究[1]_图文等内容。
12
下载地址:94a于用户体验的搜索引擎有效性评估研究[1]_图文.Doc
【】最新搜索
a于用户体验的搜索引擎有效性评估研究[1]_图文
了解自己,增进健康 示范教列三98
18财务管理案例集
10三下乡
英雄联盟火女攻略
阿拉伯文化 预备章【1】
10群体性事件预警、处置机制
JNPQ520智能电容补偿装置调试大纲
学习王晓阳的事迹心得感想01
一汽丰田2020战略分析_图文
本文关键词:基于用户体验的搜索引擎有效性评估研究,由笔耕文化传播整理发布。
本文编号:219796
本文链接:https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/219796.html