《广西师范大学》2002年硕士论文

  本文关键词：机器自学习博弈策略研究与实现，由笔耕文化传播整理发布。

《广西师范大学》 2002年

机器自学习博弈策略研究与实现

莫建文  

【摘要】： 人工智能是近年来很活跃的研究领域之一。机器学习和博弈是人工智能研究的重要分支。国内外对博弈的研究已经较为广泛，特别是IBM的国际象棋程序“深蓝”，已经达到了人类的世界冠军水平。但是这些程序或者需要经过大量训练，或者采用死记硬背的学习方法，或者是采用大规模搜索算法实现，难以避免“组合爆炸”的危机，因此，一个真正“智能”的，有学习能力的高效率的博弈策略还有待进一步研究。本文将TD(Temporal Difference)预测与BP神经网络相结合，得到一种用于博弈的强化学习法，以博弈中常用的极小极大搜索法和NegeScout搜索法为基础，并应用它实现了一个能自学习的五子棋博弈程序。该方法克服了使用静态估值函数的不足，实践证明，该方法是成功的，使用该方法的程序经过较短时间的训练后达到了较好的下棋水平。 本文首先研究了五子棋在计算机中的表示问题，讨论了计算机中存贮棋局和识别下棋次序，局势状态变化及局势特征的等方法。 其次研究了博弈树的极小极大搜索技术及在此基础上的α－β剪枝过程和剪枝优化问题。实现将候选的后继节点按位置邻近顺序排序，使剪枝过程得到优化。此外还研究了α－β剪枝的改进算法NegeScout算法，此算法首先采用一小的有限α－β窗口，以确定实际估计值的范围，再在这个较小的范围中搜索实际的估计值。由于在较小的范围中搜索，效率能得以提高。 再次，根据五子棋的特点，提取棋局局势的若干特征，对这些特征赋加权分，并对整个棋局进行特征统计，采用一个线性函数求得棋局的总估计分值。实践中，采用极小极大搜索加此静态估值技术的初版程序，达到了比初学者强的水平，一些比较熟练的业余人员时常也会负于此程序。 采用固定的估值法，估值的不准确使其“智力”较低，而且固定的赋值方式使其不能通过学习提高。因此我们继续研究，利用强化学习法(Reiforcement Learning)设计了第二版本，具有自学习功能的五子棋程序。TD即瞬时差异预测法是指在一个对局中相邻两个时刻的局面的形势判断差值，如果这个形势判断函数比较准确，则这个差（即瞬时差异）应该接近于0，即用后一局面的估计分值作为前一局面的实际可能估计分值。本文中采用将TD预测法与BP神经网络相结合，采用三层BP神经网络结构来设计一非线性估值函数，将不同棋局特征的数目加入神经网络的输入端，，输出端输出对局势的估计分值。学习过程中，按照TD预测法原理，计算网络误差，利用BP神经网络误差传播法，在对弈过程中，不断调整神经网络的权值，使其网络估值准确度在学习中逐步改善，提高程序的下棋水平。 针对BP神经网络收敛速度慢，本文还采用了网络初始化等手段改善网络性能。实践表明，本程序的学习功能较强，收敛速度较快，经过近1200盘的训练后，程序已经 WP=4 能击败另电脑程序-欢乐五子棋的初级水平，而采用TD强化学习法的博弈程序――Tesauro的名叫TD-GAMMON（1995年）的西洋双陆棋程序经过30万盘与自己的对弈后才取得了与其它同类程序的胜利。

【关键词】：
【学位授予单位】：广西师范大学
【学位级别】：硕士
【学位授予年份】：2002
【分类号】：TP181
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【相似文献】

中国期刊全文数据库 前10条

1 卞凯;;基于强化学习的城市交通区域协调控制研究[J];电子技术;2011年08期

2 夏丽丽;;连续状态-连续行动强化学习[J];电脑知识与技术;2011年19期

3 祝宇虹;毛俊鑫;;基于人工情感与Q学习的机器人行为决策[J];机械与电子;2011年07期

4 刘卫红;周义莲;;强化学习方法在Web服务组合中的应用比较研究[J];计算机应用与软件;2011年07期

5 黄付亮;张荣国;陈大川;刘焜;;基于联合博弈的多Agent学习[J];计算机与数字工程;2011年06期

6 张文柱;邵丽娜;;异构无线网络中基于强化学习的频谱管理算法[J];西安电子科技大学学报;2011年04期

7 宋毅;刘政宇;徐秋景;;基于CSocKet的网络应用五子棋设计与实现[J];电脑知识与技术;2011年16期

8 李昭阁;;强化学习,更新观念,发挥校园网作用[J];学周刊;2011年12期

9 ;玩游戏得大奖 中国移动“第二届棋牌大赛”火爆进行中[J];数字生活;2011年08期

10 许培;薛伟;;基于Q-learning的一种多Agent系统结构模型[J];计算机与数字工程;2011年08期

中国重要会议论文全文数据库 前10条

1 文锋;陈宗海;陈春林;;基于RLS-TD和值梯度的强化学习方法用于LQR控制问题[A];’2004系统仿真技术及其应用学术交流会论文集[C];2004年

2 卓睿;陈宗海;陈春林;;强化学习在移动机器人导航上的应用[A];’2004系统仿真技术及其应用学术交流会论文集[C];2004年

3 张伟;李建更;张家旺;;多智能体强化学习在机器人足球比赛中的应用[A];2005年中国智能自动化会议论文集[C];2005年

4 张家旺;韩光胜;张伟;;基于ASPL模型的多智能体强化学习在RoboCup中的应用[A];2005中国机器人大赛论文集[C];2005年

5 敬斌;田野;;Robocup中的传球策略[A];2005中国机器人大赛论文集[C];2005年

6 陈春林;陈宗海;卓睿;;分层式强化学习的定性空间表达[A];’2004系统仿真技术及其应用学术交流会论文集[C];2004年

7 涂自然;王维;梁以业;禹建丽;;基于强化学习的自适应变步长机器人路径规划算法[A];2003年中国智能自动化会议论文集（上册）[C];2003年

8 叶道年;陈卫东;;机器人团队协作的强化学习[A];2004中国机器人足球比赛暨学术研讨会论文集[C];2004年

9 方宝富;王浩;姚宏亮;杨静;周晋;;Q学习在机器人足球中的应用[A];2004中国机器人足球比赛暨学术研讨会论文集[C];2004年

10 潘凌寒;程显毅;;RoboCup仿真比赛中机器学习问题的研究[A];2004中国机器人足球比赛暨学术研讨会论文集[C];2004年

中国重要报纸全文数据库 前10条

1 记者 谭云东;[N];湖南日报;2009年

2 记者 刘琰;[N];周口日报;2009年

3 王握文 刘文韬;[N];湖南日报;2004年

4 江西 应凯;[N];电脑报;2004年

5 房鹏;[N];中国电脑教育报;2003年

6 本报记者 赵博;[N];文汇报;2009年

7 谭育才;[N];赤峰日报;2008年

8 通讯员张兆方 张虎;[N];酒泉日报;2009年

9 章斌、特约记者夏吉龙;[N];人民武警;2010年

10 葛会忠;[N];中国体育报;2010年

中国博士学位论文全文数据库 前10条

1 金钊;加速强化学习方法研究[D];云南大学;2010年

2 徐明亮;强化学习及其应用研究[D];江南大学;2010年

3 陈学松;强化学习及其在机器人系统中的应用研究[D];广东工业大学;2011年

4 仲宇;分布式强化学习理论及在多机器人中的应用研究[D];哈尔滨工程大学;2003年

5 李誌;基于视觉听觉语义相干性的强化学习系统的研究[D];太原理工大学;2012年

6 郭庆;多Agent系统协商中若干关键技术的研究[D];浙江大学;2003年

7 戴朝晖;基于混合抽象机制的多智能体系统动态分层强化学习算法研究[D];中南大学;2012年

8 杨东勇;多机器人协作的学习与进化方法[D];浙江大学;2005年

9 庄晓东;多移动机器人运动控制策略的强化学习研究[D];中国海洋大学;2005年

10 孙碧波;基于学习行为的噪声交易者情绪演化研究[D];复旦大学;2005年

中国硕士学位论文全文数据库 前10条

1 莫建文;机器自学习博弈策略研究与实现[D];广西师范大学;2002年

2 尹晓虎;多Agent协同的强化学习方法研究[D];国防科学技术大学;2003年

3 宋梅萍;多移动机器人协作任务的分布式决策控制系统[D];哈尔滨工程大学;2003年

4 卢方国;强化学习在个性化信息Agent的应用研究[D];广东工业大学;2004年

5 郭一明;基于强化学习的劣化系统维修策略研究[D];合肥工业大学;2011年

6 钱征;基于强化学习的倒立摆控制研究[D];北京工业大学;2005年

7 王瑞霞;基于强化学习的倒立摆控制[D];北京工业大学;2005年

8 顾鑫;个性化智能信息检索系统研究[D];哈尔滨工程大学;2004年

9 张驰;基于ROBOCUP的多智能体系统设计与实现[D];北京工业大学;2004年

10 袁继彬;大规模Markov系统基于性能势学习的NDP优化方法研究[D];合肥工业大学;2005年

  本文关键词：机器自学习博弈策略研究与实现，由笔耕文化传播整理发布。