大规模中文搜索引擎的用户日志分析

  本文关键词：大规模中文搜索引擎的用户日志分析，由笔耕文化传播整理发布。

高级搜索殷勤的论文

华南理工大学学报（自然科学版）

第３２卷增刊

２００４年１１月

ＪｏｕｒＩｌａｌｏｆＳｏｕｍＣｈｉｎａＵｎｉｖｅｒｓｉｔｙ０ｆＴｅｃｈｎｏｌｏｇｙ

（ＮａｔｌｌｍｌｓｃｉｅｎｃｅＥｄｍｏｎ）

ｖｏｌ＿３２Ｎｏｖｅｍｂｅｒ

ｓｕｐｐｌ２００４

丈章编号：１０００一５６５ｘ（２００４）ｓ一０００ｌ—０５

大规模中文搜索引擎的用户日志分析

王继民

陈种

彭

波

（北京大学信息科学技术学院，北京１００８７１）

摘要：北大“天网”是一个大规模分布式搜索引擎系统．文中对其用户日志进行了分析和研究．结果显示：用户对系统的访问时间并不均等，一天中早晨、下午和晚上各出现一个波峰；通常用户在一天内只进行ｌ一２次内容不同的查询，多于２／３的用户点击了结果页面中的某些罔址（ｕＲＬ）；多数用户输入的查询串中只含有一个词项并且包含中文字符，，其中以２—４个汉字居多；用户查看结果页面的时间大约是２～３ｍｉｎ；只有少数用户查看历史网页（或称网页快照）．用户日志中不同查询串、不同用户和点击不同ｕＲＬ的数量满足Ｈｅ印ｓ定律．

关键词：搜索引擎；用户目志；用户行为；Ｈｅａｐｓ定律

中图分类号：ＴＰ３９３文献标识码：Ａ

ｗｗｗ搜索引擎是一种ｗｅｂ上的应用软件系统。它以一定的策略在ｗｅｂ上发现和收集信息，对信息进行组织和处理，为用户提供ｗｅｂ信息查询服务．目前搜索引擎已经成为继ｅｍａｉｌ之后人们用得最多的网上信息眼务系统．

搜索引擎的工作原理来源于信息检索（ＩＲ）的

中文用户日志的分析和研究相对较少，而中英文两种语言具有一定的差异，如英文句子由若干个用空格分开的单词组成，中文则是由连续的汉字字符组成．这些差异在搜索引擎的使用上有什么样的差异呢？王建勇等”１基于北大天网１９９９年４～６月的用户日志分析得到：用户查询串的分布具有明显的局部性。查询串的出现过程具有自相似性特征，据此设计了系统的查询缓存，并比较了ＦＩＦ０，ＬＲｕ及带衰减的ＬＦｕ等三种ｃａｃｈｅ替换策略．本文是对该项研究工作的补充和扩展，试图解答：中文用户输入的查询串中包含多少个词项？有多大比例的查询串包含中文字符？用户查看结果页面的时间大概有多

理论，但其用户的检索行为与传统的珉系统，如在

线数据库（ＯＬＤＢ）、光盘检索（ＣＤ—ＲｏＭ）、联机公共检索目录（ｏＰＡｃ）等，存在很大的差异…，如用户的并发访问量比较大，查询内容比较宽泛，用户的查询不需要任何领域知识等．搜索ｇｌ擎的用户日志一般分为用户查询日志和用户点击日志（有的系统也合在一起）两类，它们分别在用户进行查询和点击时由系统自动记录．

长？用户对系统的访问时间是如何分布的？如何根

据日志中用户的访问量估计不同查询串、不同用户量和点击不同ｕＲＬ的数量？

对搜索引擎使用记录进行挖掘，发现用户的行

为规律，可以有效地改善和提高搜索引擎系统的性能．目前，对英文搜索引擎如Ａｌ协Ｖｉｓｔａ，Ｅｘｃ恤等用户日志的统计分析已有一些研究成果”“’．但针对

１数据准备

北大天网搜索引擎”１于１９９７年１０月正式在ｃＥＩｔＮＥｒｒ上为广大用户提供ｗｅｂ信息导航服务，目

收稿日期：２００４一ｏＢ～３０

＋基金项目：国家９７３计划资助项目（Ｇ１９９９０３２７０６）作者简介：王继民（１９６６一），男，北京大学博士后，兰州大学信息科学与工程学院教授，主要从事网络与分布式系统以及ｗｅｂ挖掘的研究．Ｅ．ｍ蚰：ｗｊｍ＠ｎｃｔ

ｐｋｕ，ｅｄｕ．ｃｎ

前已成为国内最好的公益性搜索引擎．到２００４年初天网搜集系统已搜集到国内静态网页２．５８亿个（不包括通过提交查询词动态生成的网页），平均每天用户进行２０余万次查询。用户点击记录ｌＯ余万次．

万方数据　

  本文关键词：大规模中文搜索引擎的用户日志分析，由笔耕文化传播整理发布。