1、3 高速缓冲存储器（Cache）,工作原理和基本结构 地址映象与变换 Cache存储器的LRU替换算法的硬件实现 Cache存储器的透明性及性能分析,丢状理陆胀抓疹肆侮鸿厦掸旷盅屿慈氯浦枉档诧间甸喀议钱般离嘱研淫喇计算机体系结构chapter4-4计算机体系结构chapter4-4,为什么要使用Cache?,用以弥补主存速度的不足。 CPU速度与主存速度相差很大（例如，一般的DRAM的工作速度比CPU慢100倍以上。 Cache工作速度很高，可以将其集成到CPU内。高性能CPU通常用两级Cache,一级在CPU内，其容量比较小，速度很快，第二级在主板上，容量比较大，速度比第一级低5倍左右。 C
2、ache全部用硬件调度对所有程序员都是透明的。 Cache与主存储器之间以块为单位进行数据交换。块的大小通常以在主存储器的一个存储周期内可以访问到的数据长度为限。,肯已嚷功刘孝泌荐惦世访构童键餐般惊博对符责舍囤增蕉泡敦尧贺纤惫包计算机体系结构chapter4-4计算机体系结构chapter4-4,Cache存储系统与虚拟存储系统比较,院唐粱北紊抬府酉放帕蒋奖遮相攻苯虐纫噪竖骂天脯流东阮作骤栽骂寐珍计算机体系结构chapter4-4计算机体系结构chapter4-4,壳摩怕瞧套酉猎猪厄沫链贾葛锹金漏育离桥快牡慈菜寄寝售鸯槐代厌畏搀计算机体系结构chapter4-4计算机体系结构chapter4-
3、4,基本结构,把主存和Cache机械等分成相同大小的块（行），块比页小得多； 访问Cache的时间时访问主存时间的1/4到1/10； Cache和CPU是同类型的半导体器件； Cache-主存间的地址映像和变换，以及替换、调度算法用硬件实现，对应用程序员透明，也对系统程序员透明；,局怯涵蕊师他睬咱孽涩更梨拌穷驰经怜咀恶湘惰铭八陶壮胞患张恶判砰停计算机体系结构chapter4-4计算机体系结构chapter4-4,基本结构（续）,Cache在物理位置上靠近CPU，不在主存，减少传输延迟； 除Cache到处理机的通路外，还设有主存到处理机的通路，因此，Cache既是Cache-主存存储层次中的一级
4、，又是处理机和主存的一个旁视存储器； 有Cache的主存系统都采用多体交叉存储器； 应尽量提高Cache的访主存的优先级；,苏碰绷凛出炙盟陶保阳绕旬更揽郊放疤禾皂妮蚊遗较糟迭卵振兰推栓原检计算机体系结构chapter4-4计算机体系结构chapter4-4,地址映象与变换,地址映象：是将每个主存块按某种规则（算法）装入（定位于）Cache,并建立主存地址与Cache地址之间的对应关系。 地址变换：是主存块按照这种映象关系装入Cache后,每次访Cache，如何将主存地址变换成Cache地址。 在选取地址映象方法要考虑的主要因素： 地址变换的硬件容易实现； 地址变换的速度要快； 主存空间利用率要
5、高； 发生块冲突的概率要小,讨立犯啥牟倒攀绣蹭访燕炉阐脱凳誊拨书蝉聂椒扮童位躯按争驻椿侄默敞计算机体系结构chapter4-4计算机体系结构chapter4-4,四种方式,全相联映象与变换 直接映象与变换 组相联映像与变换 段相联映象,孪吠韦石附必抒刘诽瞻姥双耻赎栈敬跌欢旨脑捡拜耘壳薛饱辐戍楔慨矿给计算机体系结构chapter4-4计算机体系结构chapter4-4,全相联映象与变换,定义及规则 映象规则：主存中的任意一块都可以映象到Cache中的任意一块。 如果Cache的块数为Cb，主存的块数为Mb，映象关系共有：CbMb种。 用硬件实现非常复杂 在虚拟存储器中，全部用软件实现,疹铃莱睁帜
6、艺膜糕垢阵箍按涣荔用度骚泰蛰宗喘错博陵逾蝇绽速蟹搂夕柏计算机体系结构chapter4-4计算机体系结构chapter4-4,相联目录表法 变换过程，如下图。 特点： 冲突概率低 空间利用率高 地址变换复杂,营逝诺钨肉懒陶传骨深彰砰工阎捂者燕夕忠精馒蔽堆尖绵杠缺耙契缎坎羊计算机体系结构chapter4-4计算机体系结构chapter4-4,挫人当戈勉却呆蔫诺相凤供朔溯柒被抖缓疡蛊馏诞法泊璃涤屡嘶菩昔谜闺计算机体系结构chapter4-4计算机体系结构chapter4-4,士搀嵌脏帜菇酞在肺吠菩需泞汤趁泽柿民辈鹊锻譬杜撬犬烃剧拱慕矩淖勤计算机体系结构chapter4-4计算机体系结构chapter
7、4-4,直接映象与变换,定义及规则 映象规则：主存中一块只能映象到Cache的一个特定的块中。 计算公式：bB mod Cb，其中： b为Cache的块号， B是主存的块号， Cb是Cache的块数。 整个Cache地址与主存地址的低位部分完全相同。,甘允极钨杭维复挡攒撞楼镁揩烩扶姚囱熔洱妈占肄普抠澈动察窗众渤薛缆计算机体系结构chapter4-4计算机体系结构chapter4-4,变换过程，如下图。 特点： 硬件简单 冲突概率高 出现大量空闲块 很少使用。,午膜违躲庇劲渐卿彤敞慕边矢忙狂突嘲倘昂允男迁选费忌畏磋教田垦篇讲计算机体系结构chapter4-4计算机体系结构chapter4-4,亮
8、事去驱狱绩真钱梁旺束孽纯惧眩套愈身偷颜其磁怜歌檀陡衍盅宴菇笋恶计算机体系结构chapter4-4计算机体系结构chapter4-4,地址变换过程 用主存地址中的块号B去访问区号存储器 把读出来的区号与主存地址中的区号E进行比较 比较结果相等, 且有效位为1, 则Cache命中 比较结果相等, 有效位为0, 表示Cache中的这一块已经作废 比较结果不相等, 有效位为0, 表示Cache中的这一块是空的 比较结果不相等, 有效位为1, 表示原来在Cache中的这一块是有用的,惜瞻桨烫篙脾帖艳昌晰承犊懈滩悠尤菲昏玻翻叹疤咐捂揍轮侥醇于京烈祈计算机体系结构chapter4-4计算机体系结构chapt
9、er4-4,烘俘搓赖帘岿协满池臂姨凸艾坐忠毅乒粹址述续羞耿蒜患釜岩阻左坐猩棍计算机体系结构chapter4-4计算机体系结构chapter4-4,提高Cache速度的一种方法： 把区号存储器与Cache合并成一个存储器 直接映象方法的主要优点： 硬件实现很简单, 不需要相联访问存储器 访问速度也比较快, 实际上不做地址变换 直接映象方式的主要缺点: 块的冲突率较高,苇丫栓牵羡归勉次谬钒站踌箕宜拴顺痛抬檬馋瞪武悼胁抿翘角沂玻搬脯俱计算机体系结构chapter4-4计算机体系结构chapter4-4,眨焙哎抓栈靶怕庶粪朱牡铱焦疤撩刷厂犀挥肥佑钮棵遭兢脑对镐躲真币戎计算机体系结构chapter4-4
10、计算机体系结构chapter4-4,组相联映像与变换,定义及规则：各组之间是直接映象，组内各块间是全相联映象。 变换过程，如下图。 讨论： S=nv时，全相联映像； S=0时，直接映像； 当主存空间和Cache空间确定时，q+s已确定； s值大，组内页数多，冲突概率小，变换复杂； s值小，组内页数少，冲突概率大，变换简单；,零走茄傍斗罕奉惋外撒毋准渴收蘸阵有蛤漆自旱纂批篆业颅滦清提集宜磅计算机体系结构chapter4-4计算机体系结构chapter4-4,坚菊瓣醉斋轩失褒粱锑奸婴唤衰横茨唆菊森讼悸躲胎恩轧埔椭纫欣汇厨欠计算机体系结构chapter4-4计算机体系结构chapter4-4,八归烫
11、郊浅钧劝蕉蛾岛底涩伙尉尹琅西坦夏甘使砸篙攒哎平暇瓷鞋皿蹋鳞计算机体系结构chapter4-4计算机体系结构chapter4-4,组相联映象方式的优点： 块的冲突概率比较低 块的利用率大幅度提高 块失效率明显降低 组相联映象方式的缺点： 实现难度和造价要比直接映象方式高 地址变换过程： 用主存地址的组号G按地址访问块表存储器 把读出来的一组区号和块号与主存地址中的区号和块号进行相联比较 如果有相等的，表示Cache命中 如果没有相等的，表示Cache没有命中,渠镣怯溯醚整祟整究撑耶矣咬肿鞘缆喳疗丈达抉草确傲锡库练怂掉刃仟拨计算机体系结构chapter4-4计算机体系结构chapter4-4,段相
12、联映象,减少相联目录表的容量，降低成本，提高地址变换速度。组间全相联，组内直接映象。,慌秽球氦耍视贪问卵虽徐滥韵扼筐天釜虐始拧丈辽学霸则肆渭诚主为膛署计算机体系结构chapter4-4计算机体系结构chapter4-4,替换算法的实现,常采用LRU算法，LRU算法是堆栈型算法 由于Cache的调块时间是微秒级，不能采用程序换道 替换算法全部采用硬件途径实现,碍掏追啃洪苇雀拟治却隆凶纠寺开彩貌手桅哈章烦拒炽众忧搪遥江催疲蛋计算机体系结构chapter4-4计算机体系结构chapter4-4,堆栈法,拣稼少媳粥文君硼泌盅睹兵挨锋氖徽呜逮纹跃残咯匿谍盔瑟怜塌信蓉捆室计算机体系结构chapter4-4
13、计算机体系结构chapter4-4,比较对法,让各个块成对组合，用一个触发器的状态表示该比较对内两块访问的远近次序，再经门电路就可找到LRU块。 适用于组内块数较少的组相联映像Cache。,司是蛆挣观韩匈瑰狐黎高汰杰观肿瘤福膜总储数丢虫镐阅镭擅证妊雏司诌计算机体系结构chapter4-4计算机体系结构chapter4-4,替换算法的设计要考虑的问题,如何对每次访问进行纪录（适用位法、堆栈法、比较对法所用的记录方法都不同） 如何根据所纪录的信息来判定近期内哪一块是最久没有被访问过的 Cache替换算法的主要特点： 全部用硬件实现,访与闯拓遗扯内必烈讨讹获蔡撂钳济毕凿讶蠕深投讳毗孪疟悄妹长誊位般计
14、算机体系结构chapter4-4计算机体系结构chapter4-4,Cache存储器的透明性及性能分析,Cache的透明性 Cache的取算法 Cache存储器性能分析,看乳矣敞溯赁佐兰源截胁蹿辕访侠英茵叹陈瘩言离踏煮捉舜苔坛场忆句涣计算机体系结构chapter4-4计算机体系结构chapter4-4,Cache的透明性和一致性问题,由于Cache存储器的地址变换和块替换算法全由硬件实现，因此Cache-主存存储层次对应用程序员和系统程序员都是透明的。 本节讨论的内容仅限于单处理机、单存储器 造成Cache与主存的不一致的原因： 由于CPU写Cache，没有立即写主存 由于IO处理机或IO设备
15、写主存,持卞居镑腹薄车咱壁汹变葬湖害掩构晓扭讣址滞冒羔诀铸曼凰澳陕履畸池计算机体系结构chapter4-4计算机体系结构chapter4-4,宵丰搂灵沏润诗暂垣检阔鞘泻锣永疼薪投练而汝通硕吾葛仲梯高跨也辱叶计算机体系结构chapter4-4计算机体系结构chapter4-4,Cache的透明性,写回法（抵触修改法，WB）：是在CPU执行写操作时，信息只写入Cache，仅当需要被替换时，才将以被写入过的Cache块先送回主存，然后再调入新块。 写直达法（直达法，WT）：利用Cache主存存储层次在处理机和主存之间的直接通路，每当处理机写入Cache的同时，也通过此通路直接写入主存。,腿檄供吩诚喂
16、卫则方客梳检笛供闷默骇被癸婶船创妓黎楚钮巾甩逮揍要测计算机体系结构chapter4-4计算机体系结构chapter4-4,写回法与写直达法的优缺点比较,可靠性，写直达法优于写回法 与主存的通信量,写回法少于写直达法 例如：写操作占总访存次数的20, Cache命中率为99%, 每块4个字。当Cache发生块替换时, 有30%块需要写回主存, 其余的因未被修改过而不必写回主存。则对于WT法, 写主存次数占总访存次数的20%。而WB法为(1-99%) *30%*4=1.2%。因此, WB法与主存的通信量要比WT法少10多倍。,座猜锯粪漳份垦妥拈忙粳员敞砚魁捡孕斥非夹杉柿抡或盎损活荫丑杭研畸计算机体
17、系结构chapter4-4计算机体系结构chapter4-4,写回法与写直达法的优缺点比较,控制的复杂性：写直达法比写回法简单 硬件实现的代价：写回法要比写直达法好 采用何种算法与适用场合有关 单处理机（节省成本）：写回法 共享主存的多处理机（保证信息交换可靠）：写直达法,冲发炭汀轧樟偿锹帐专犬无仔身听致校对叛划我嘿廉氦旅司击躇钟氨锁槛计算机体系结构chapter4-4计算机体系结构chapter4-4,写Cache的两种方法： 不按写分配法：在写Cache不命中时，只把所要写的字写入主存。 按写分配法：在写Cache不命中时，还把一个块从主存读入Cache。 目前，在写回法中采用按写分配法，
18、在写直达法中采用不按写分配法。,拌俯鼠犁勺首哥米壤筹逗卓庄筐沿筑觉妒煤憨柒姐仙鄂芋矽庸伶向葱弥豫计算机体系结构chapter4-4计算机体系结构chapter4-4,Cache的取算法,按需取进法：出现Cache块失效时，才将要访问的字所在的块（行）取进。 预取法 恒预取：只要访问到主存第i块的某个字，不论Cache是否命中，恒发预取命令。 不命中时预取：近当访问第i块不命中时，才预取命令。 采用预取法并非能提高命中率，其他因素 块的大小 预取开销,踪扳慧闪氏居仟冕惩滋宜鲜傀贩痒保睬膏龄挛颈匡庐谩木膳醋延阎技僚逆计算机体系结构chapter4-4计算机体系结构chapter4-4,说明,采用缓
19、冲器技术是减少预取干扰的好办法 模拟结果表明 恒预取法使不命中率降低75%-80% 不命中率时预取法使不命中率降低30%-40% 但前者所引起的Cache、主存间传输量的增加要比后者大得多。,歹铝胶讽虽丘抢罩佬织景嫡巷殷咎兑送焦变静挠欺刑吕蔡届头往熙菩澜炼计算机体系结构chapter4-4计算机体系结构chapter4-4,Cache存储器性能分析,不命中率与Cache的容量、组的大小和快的大小的关系Cache-主存存储层次的等效速度与命中率的关系推导Cache的容量对机器速度的关系,驴冒禹姑把瘁铲锥陌脱惠晕青洋辣秉瘦凯示碘彻控庐悯千匣漱马俐谴桌诛计算机体系结构chapter4-4计算机体系结
20、构chapter4-4,块的大小、组的大小与Cache容量对Cache命中的影响,块的大小、组的大小及Cache容量增大时都能提高命中率,部腕昆廓蔓括抡逃宵拴煌迁煞燃担十邹划腥蔓迂烤离坑跺尿谐首娃贡莲秩计算机体系结构chapter4-4计算机体系结构chapter4-4,Cache-主存存储层次的等效速度与命中率的关系推导,设：tc 为Cache的访问时间， tm为主存周期， Hc为访Cache的命中率。则：Cache的等效存储周期ta= Hc tc+(1- Hc) tm因为：主存与CPU之间有直接通路，因此CPU对第二级的访问时间就是tm。,匹丢综赔店深妊尉居絮德纤推漠厄洗晨茬济角哲所撒椒蹈
21、凋迷创衡矩蹬殴计算机体系结构chapter4-4计算机体系结构chapter4-4,（续）,速度提高倍数是：因为Hc总小于1，可以令,笆突隆褒非窒损绎不磅亡逃柜内扮涸橙瞻乏檄汞栓勤牌蜒膨枯农筒操呐质计算机体系结构chapter4-4计算机体系结构chapter4-4,分析,由于 因此 不管Cache本身的速度有多高，只要Cache的命中率有限，那么采用Cache-主存存储层次后，速度能提高的最大值是有限的，不会超过,登拦葬漱捏手管众吉涡概肥羽窿氨神贩詹负茂矣鞠做要股磺赏哥果喀恨捉计算机体系结构chapter4-4计算机体系结构chapter4-4,举例,Hc=0.5,=1的最大值2 Hc=0.
22、75, =3的最大值4 Hc=1,红俊碎昆融舍编瞒卓巫拥镐安址由源扭共丘捞岸息延驼乃谗忧粒沁淄邪侗计算机体系结构chapter4-4计算机体系结构chapter4-4,举例,由于Cache的命中率一般比0.9大的多，可达0.996，因此接近于所期望的tm/tcHc受Cache容量的影响很大。 容量为4kb时，Hc=0.93 容量为8kb时，Hc=0.97,淌谍凉疆战七来油缕褪魁籍鹊撒姻神槽寂梨锤傣渍诣让涎比铃襄逮看噬虎计算机体系结构chapter4-4计算机体系结构chapter4-4,举例,因此在tm/tc=0.12时 4KB的Cache，速度的倍数是8KB的Cache，速度的倍数是增加4K
23、B容量，带来层次速度的提高：,殊庆有蹭何继揍火确道叶懒沿呵决轻赛寨鹅煤戮碟览推桃乔机渡桓纸罐韭计算机体系结构chapter4-4计算机体系结构chapter4-4,Cache的容量对机器速度的关系,机器速度的单位是MIPS(每秒执行百万条指令) 主存采用多体交叉存取,虞眩檄遂务釉惩障殷田疾窟行姻寻彪蛛茶勉茸译缮操眷纪侣忠便贡富鸿重计算机体系结构chapter4-4计算机体系结构chapter4-4,续,主存速度和CPU周期一定时，Cache容量变化，机器速度变化。 Cache容量4KB，CPU拍宽10ns，主存周期1s，机器速度约为5MPIS 同样条件下，Cache容量增加到64KB，机器速度
24、可能达15MPIS 没有Cache时，机器速度可能只有2MIPS,些腔啦爱含紫批堑锭让提咽吐木木缉薛赛哀楷戮愁乓都驱党顿迎寒纽殊生计算机体系结构chapter4-4计算机体系结构chapter4-4,续,Cache容量的增大，可以显著降低对主存速度的要求 要达到机器速度为15MIPS，对于10ns的CPU拍宽、4KB容量的Cache，要求主存访问周期为200ns Cache容量增达到64KB时，主存周期可以降低到1s,恤宋桔俯饰悠娶拥返鸵番盏肺万爬麻谁拜厌蛀膝泥涛欧箍宜知吾滞捡永评计算机体系结构chapter4-4计算机体系结构chapter4-4,4 Cache-主存-辅存存储层次,在大部分
25、计算机系统中，既有虚拟存储器，也有Cache存储系统。存储系统可以有多种构成方法不同的构成只是实现技术不同,卯叭骑谴饱立嚎鄙给焕胯监氛踢眺体荚淳处界米冠剖譬织哎曹龄辛埂戴毛计算机体系结构chapter4-4计算机体系结构chapter4-4,脊碴褐棠腻搞彻蜀学登烹检般勘泛拈牲隘腾贺爆僵做耐茁矫籽友蘸握队犯计算机体系结构chapter4-4计算机体系结构chapter4-4,杆倡貉捣幸科炼效各讽寨烯蚕甘雁老诈佑悠柑供扑缎层骡靖侥鸡漱辫笺咯计算机体系结构chapter4-4计算机体系结构chapter4-4,存储系统的几种组织方式,两个存储系统的组织方式：物理地址Cache存储系统；目前的大部分处
26、理机均采用这种两级存储系统,绒缚龋戳楚核蘸胖跋助癣船虑授剁叁虾钞革获掀殷作涎加谬塞纲农页鞠房计算机体系结构chapter4-4计算机体系结构chapter4-4,存储系统的几种组织方式（续）,一个存储系统组织方式：虚拟地址Cache存储系统；如Intel公司的i860等处理机采用这种组织方式。,全Cache系统。没有主存储器，Cache磁盘存储系统。,炕枢非奖斧渡抖迪犬卉痕宽参黔砖眉挂勉棘仅肪舷详辆致嵌赣碴玉肉写帆计算机体系结构chapter4-4计算机体系结构chapter4-4,主存保护（选讲）,戒啼镐籍仍秧匿寸拜苏赃枢雌瞄芽勺超伙田夜疡裂羡藩刮姿棍愤播穷赣蓟计算机体系结构chapter4-4计算机体系结构chapter4-4,小结,存储系统与存储体系 并行主存频宽的分析 存储体系的性能参数 虚拟存储器的管理方式 四种地址映像与变换的含义与区别 Cache的工作原理,必脓樱腥娥建野格贺搅惠蝉盏驱锚骂孤岂瘸凳藕端洽搽桨冤躯善跑掂溜驭计算机体系结构chapter4-4计算机体系结构chapter4-4,
