基于场景镜头内数据相关性的集群渲染优化与研究

发布时间：2017-04-18 21:11

  本文关键词：基于场景镜头内数据相关性的集群渲染优化与研究，，由笔耕文化传播整理发布。

【摘要】：在国家文化产业振兴的大背景下,中国的CG影视产业已经开始呈现爆发式增长,CG电影逐步向着超高清、3D电影等方向发展。随着画质越来越高,画面越来越细腻,渲染一帧图像所需的计算量日益增加,渲染电影动画中的一帧图像往往需要数个小时,这带来的结果是渲染整个电影动画的整体时间越来越长。渲染电影动画,单个计算机的计算能力是难以满足其巨大的计算能力需求的,采用集群进行并行渲染成为一种常用的加快整体渲染时间的方法。采用集群并行渲染时,传统的渲染管理软件都是将渲染任务作为普通的任务来处理的,并没有考虑到渲染应用的特殊性质,比如渲染任务与任务之间的在时间上的连续性、渲染任务需要的数据上的相关性等。经过研究发现,同一个渲染镜头内存在共享数据,多个并行渲染的任务之间都需要访问相同的静态几何数据和纹理数据,针对该特性,本文对集群上的并行渲染做了特定优化处理。本文的主要工作是在集群渲染环境下,围绕同一个镜头内的渲染帧任务之间存在共享的几何数据和纹理数据的特性,即帧任务之间的数据相关性,所展开的研究。为了能够利用镜头内帧任务的数据上的相关性,需要将并行执行的、所处理的任务同属一个镜头的渲染引擎进程,通过消息通信的方式连接成为一个整体,由这个整体统一管理整个镜头中的共享数据,本文称每个这样的整体为一个渲染单元,称负责管理共享数据的部分为共享数据管理。每一个渲染单元负责处理同属于一个镜头的渲染任务。当渲染单元内的节点需要访问共享数据时,需要向共享数据管理发出数据请求,然后共享数据管理针对该请求做相应操作。由于渲染单元作为一个整体来处理同属一个镜头的帧任务,这意味着需要对用户任务进行多级调度：镜头级任务调度、帧任务调度。其中前者在渲染管理软件进行,而后者由渲染单元负责处理。本文中实现的数据管理模块设计上参考了分布式文件系统的设计方法,支持位置透明性、数据访问透明性和数据复制等特性：位置透明性和数据访问透明性使得渲染引擎及其使用的三方库可以透明的使用共享数据管理,无需进行大量的应用代码修改,并且在需要时可以方便的切换至使用操作系统库进行文件访问的状态。由于渲染既是一个计算密集型应用,同时也是数据密集型应用,为了避免对正常渲染造成影响,共享数据管理只能将共享数据分散存放在整个渲染单元的各个计算节点上,这带来了异地数据访问的问题。本文中介绍了三种可用来实现异地数据访问的方法,基于MPI单边通信、基于RDMA和基于TCP协议栈的方法,并实现和测试了基于RDMA的方法。本文中所做工作为国家863项目《真实感动漫渲染系统应用与研究》的一部分,渲染引擎为项目组自主开发的Bleman, Bleman是符合Renderman规范的渲染引擎。
【关键词】：集群系统 渲染 MPI RDMA
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：J954;TP391.41
【目录】：

• 摘要8-10
• ABSTRACT10-12
• 第1章 绪论12-17
• 1.1 课题背景及研究意义12-13
• 1.2 国内外的研究和发展状况13-14
• 1.3 本文主要工作14-15
• 1.4 本文组织结构15-17
• 第2章 相关基础知识17-24
• 2.1 集群系统17-18
• 2.2 渲染相关知识18-19
• 2.3 消息通信编程模型与Infiniband网络19-24
• 2.3.1 消息通信编程模型19-21
• 2.3.2 InfiniBand网络21-22
• 2.3.3 RDMA相关知识22-24
• 第3章 渲染单元框架设计与实现24-37
• 3.1 渲染管理系统整体框架介绍24-25
• 3.2 场景镜头内任务的数据相关性25-26
• 3.3 渲染单元26-31
• 3.3.1 渲染单元简介26-27
• 3.3.2 渲染单元设计与实现27-28
• 3.3.3 渲染单元与渲染管理服务器通信28-31
• 3.4 多级任务调度方法31-32
• 3.5 实验结果与分析32-35
• 3.6 本章小结35-37
• 第4章 共享数据管理架构与实现37-54
• 4.1 共享数据管理理论基础37-40
• 4.1.1 渲染时间构成分析37-38
• 4.1.2 集群系统并行渲染的数据访问瓶颈38-40
• 4.2 共享数据管理架构40-42
• 4.2.1 共享数据管理架构概述40
• 4.2.2 共享数据管理的三个执行阶段40-42
• 4.3 共享数据的访问透明性42-45
• 4.3.1 共享数据访问透明性方法43-44
• 4.3.2 关键技术难点44-45
• 4.4 异地内存数据访问45-50
• 4.4.1 基于MPI单边通信的异地内存访问方法47-48
• 4.4.2 基于RDMA的异地内存访问方法48-49
• 4.4.3 基于TCP协议栈的异地内存访问方法49-50
• 4.5 实验结果与分析50-53
• 4.5.1 功能测试50-51
• 4.5.2 性能测试51-53
• 4.6 本章小节53-54
• 第5章 总结与展望54-56
• 5.1 本文主要工作54-55
• 5.2 未来工作展望55-56
• 参考文献56-60
• 致谢60-62
• 攻读学位期间参与的科研项目及获奖情况62-63
• 附件63

【参考文献】

中国期刊全文数据库 前1条

1 田绍亮;左明;吴绍伟;;一种改进的基于动态反馈的负载均衡算法[J];计算机工程与设计;2007年03期

中国硕士学位论文全文数据库 前2条

1 景华钧;基于OpenPBS的机群渲染管理系统的设计与实现[D];山东大学;2009年

2 徐越;面向高性能计算的分布式内存文件缓存系统[D];华中科技大学;2013年

  本文关键词：基于场景镜头内数据相关性的集群渲染优化与研究，由笔耕文化传播整理发布。

本文编号：315755