Infiniband网络中All_to_All通信性能优化

发布时间：2017-11-14 23:22

  本文关键词：Infiniband网络中All_to_All通信性能优化

  更多相关文章： All_to_All算法 拥塞控制 消息拆分 消息调度 Infiniband

【摘要】：All_to_All操作是一种重要的集合操作.目前的商用Infiniband网络中没有有效的拥塞控制机制.通过实验研究了2种典型的All_to_All算法在Infiniband网络中的性能,发现这些算法在传输大于32KB的大消息时会在网络中产生严重的拥塞,从而导致网络带宽利用率仅有30%~70%.尝试通过将大消息拆分成小消息、调度小消息的发送来减少网络拥塞.在任意2对进程间都建立可靠的连接,为每个连接都维护一个正在处理的发送请求计数器.当该计数器超过某个阈值后,认为这2个进程间的通信链路上发生了拥塞,此时停止向该连接的发送队列投递新的发送请求,以避免拥塞扩散到整个网络.实验结果表明该优化算法可以改善网络的拥塞程度;相比现有算法带宽利用率可以提高10%以上,最多可以提高20%.
【作者单位】： 江南计算技术研究所;
【基金】：国家科技支撑计划基金项目(2011BAH04B03)
【分类号】：TP393.06
【正文快照】： All_to_All函数是MPI及并行C中一种重要的集合操作[1-3].该操作包含N个进程,每个进程有N个长度相等的数据缓冲区,编号分别为1,2,…,N;对任意1≤i,j≤N,进程Pi将其编号为j的缓冲区中的数据发送给进程Pj,存放在进程Pj的编号为i的缓冲区中.由此可见,All_to_All操作是在做一个分布，

本文编号：1187438