图解缓存淘汰算法 LRU、LFU | 最近最少使用、最不经常使用算法 | go语言实现

写在前面

无论是什么系统,在研发的过程中不可避免的会使用到缓存,而缓存一般来说我们不会永久存储,但是缓存的内容是有限的,那么我们如何在有限的内存空间中,尽可能的保留有效的缓存信息呢? 那么我们就可以使用 LRU/LFU算法 ,来维持缓存中的信息的时效性。

LRU 详解

原理

LRU (Least Recently Used:最近最少使用)算法在缓存写满的时候,会根据所有数据的访问记录,淘汰掉未来被访问几率最低的数据。也就是说该算法认为,最近被访问过的数据,在将来被访问的几率最大。

流程如下:
在这里插入图片描述
假设我们有这么一块内存,一共有26个数据存储块。

  1. 当我们连续插入A、B、C、…Z的时候,此时内存已经插满
  2. 那么当我们再插入一个6,那么此时会将内存存放时间最久的数据A淘汰掉。
  3. 当我们从外部读取数据C的时候,此时C就会提到头部,这时候C就是最晚淘汰的了。

其实流程来说很简单。我们来拆分一下的话,不难发现这就是在维护一个双向链表

代码实现

定义一个存放的数据块结构

type item struct {key   stringvalue any// the frequency of keyfreq int
}

定义LRU算法的结构体

type LRU struct {dl       *list.List // 维护的双端队列size     int // 当前的容量capacity int // 限定的容量storage map[string]*list.Element // 存储的key
}

获取某个key的value的函数,如果存在这个key,那么我们就把这个值移动到最前面MoveToFront,否则返回一个nil。

func (c *LRU) Get(key string) any {v, ok := c.storage[key]if ok {c.dl.MoveToFront(v)return v.Value.(item).value}return nil
}

当我们需要put进去一些东西的时候。会分以下几个步骤

  1. 是否已经存在,如果已经存在则,直接返回,并且将key移动到最前面。
  2. 如果没有存在,但是已经是到极限容量了,就把最后一个Back(),淘汰掉,然后在塞入。
  3. 塞入的话,是塞入到最前面PushFront
func (c *LRU) Put(key string, value any) {e, ok := c.storage[key]if ok {n := e.Value.(item)n.value = valuee.Value = nc.dl.MoveToFront(e)return}if c.size >= c.capacity {e = c.dl.Back()dk := e.Value.(item).keyc.dl.Remove(e)delete(c.storage, dk)c.size--}n := item{key: key, value: value}c.dl.PushFront(n)ne := c.dl.Front()c.storage[key] = nec.size++
}

以上就是LRU算法的所有内容了,那我们看一下LFU算法。

LFU

原理

LFU全称是最不经常使用算法(Least Frequently Used),LFU算法的基本思想和所有的缓存算法一样,一定时期内被访问次数最少的页,在将来被访问到的几率也是最小的。

相比于LRU(Least Recently Use)算法,LFU更加注重于使用的频率LRU是其实可以看作是频率为1的LFU的。

在这里插入图片描述

和LRU不同的是,LFU是根据频率排序的,当我们插入的时候,一般会把新插入的放到链表的尾部,因为新插入的一定是没有出现过的,所以频率都会是1 , 所以会放在最后。

所以LFU的插入顺序如下:

  1. 如果A没有出现过,那么就会放在双向链表的最后,依次类推,就会是Z、Y。。C、B、A的顺序放到频率为1的链表中。
  2. 当我们新插入 A,B,C 那么A,B,C就会到频率为2的链表中
  3. 如果再次插入A,B那么A,B会在频率为3中。C依旧在2中
  4. 如果此时已经满了 ,新插入一个的话,我们会把最后一个D移除,并插入 6

在这里插入图片描述

代码

定义一个LFU的结构体:

// LFU the Least Frequently Used (LFU) page-replacement algorithm
type LFU struct {len     int // lengthcap     int // capacityminFreq int // The element that operates least frequently in LFU// key: key of element, value: value of elementitemMap map[string]*list.Element// key: frequency of possible occurrences of all elements in the itemMap// value: elements with the same frequencyfreqMap map[int]*list.List // 维护一个频率和list的集合
}

我们使用LFU算法的话,我们插入的元素就需要带上频率了

// initItem to init item for LFU
func initItem(k string, v any, f int) item {return item{key:   k,value: v,freq:  f,}
}

如果我们获取某个元素,那么这个元素如果存在,就会对这个元素的频率进行加1

// Get the key in cache by LFU
func (c *LFU) Get(key string) any {// if existed, will return valueif e, ok := c.itemMap[key]; ok {// the frequency of e +1 and change freqMapc.increaseFreq(e)obj := e.Value.(item)return obj.value}// if not existed, return nilreturn nil
}

增加频率

// increaseFreq increase the frequency if element
func (c *LFU) increaseFreq(e *list.Element) {obj := e.Value.(item)// remove from low frequency firstoldLost := c.freqMap[obj.freq]oldLost.Remove(e)// change the value of minFreqif c.minFreq == obj.freq && oldLost.Len() == 0 {// if it is the last node of the minimum frequency that is removedc.minFreq++}// add to high frequency listc.insertMap(obj)
}

插入key到LFU缓存中

  1. 如果存在就对频率加1
  2. 如果不存在就准备插入
  3. 如果溢出了,就把最少频率的删除
  4. 如果没有溢出,那么就放到最后
// Put the key in LFU cache
func (c *LFU) Put(key string, value any) {if e, ok := c.itemMap[key]; ok {// if key existed, update the valueobj := e.Value.(item)obj.value = valuec.increaseFreq(e)} else {// if key not existedobj := initItem(key, value, 1)// if the length of item gets to the top line// remove the least frequently operated elementif c.len == c.cap {c.eliminate()c.len--}// insert in freqMap and itemMapc.insertMap(obj)// change minFreq to 1 because insert the newest onec.minFreq = 1// length++c.len++}
}

插入一个新的

// insertMap insert item in map
func (c *LFU) insertMap(obj item) {// add in freqMapl, ok := c.freqMap[obj.freq]if !ok {l = list.New()c.freqMap[obj.freq] = l}e := l.PushFront(obj)// update or add the value of itemMap key to ec.itemMap[obj.key] = e
}

找到最少的链表,并且删除

// eliminate clear the least frequently operated element
func (c *LFU) eliminate() {l := c.freqMap[c.minFreq]e := l.Back()obj := e.Value.(item)l.Remove(e)delete(c.itemMap, obj.key)
}

以上就是所有LFU的算法实现了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2869527.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

VS2022实现简单控件的缩放

private float X;//当前窗体的宽度private float Y;//当前窗体的高度public Form1(){InitializeComponent();}// 将控件的宽,高,左边距,顶边距和字体大小暂存到tag属性中private void setTag(Control cons){foreach (Control con in cons.Con…

C语言之归并排序

目录 一 简介 二 代码实现 三 时空复杂度 A.时间复杂度: B.空间复杂度: C.总结: 一 简介 归并排序(Merge Sort)是一种基于分治策略的高效排序算法,其基本思想是将一个大问题分解为若干个规模较小且相…

鸿蒙Harmony应用开发—ArkTS声明式开发(容器组件:RowSplit)

将子组件横向布局,并在每个子组件之间插入一根纵向的分割线。 说明: 该组件从API Version 7开始支持。后续版本如有新增内容,则采用上角标单独标记该内容的起始版本。 子组件 可以包含子组件。 RowSplit通过分割线限制子组件的宽度。初始化…

数据可视化-ECharts Html项目实战(2)

在之前的文章中,我们学习了如何创建简单的折线图,条形图,柱形图并实现动态触发,最大最小平均值。想了解的朋友可以查看这篇文章。同时,希望我的文章能帮助到你,如果觉得我的文章写的不错,请留下…

11.进程的同步与互斥

11.进程的同步与互斥 计数信号量及其初始化 和王道里面学的PV操作一摸一样,带个count变量,带个阻塞队列 //D:\code\x86\code\start\start\source\kernel\include\ipc\sem.h #ifndef OS_SEM_H #define OS_SEM_H#include "tools/list.h"/*** 进程同步用的计数信号量*…

linux源配置:ubuntu、centos

1、ubuntu源配置 1)先查电脑版本型号: lsb_release -c2)再编辑源更新,源要与上面型号对应 参考:https://midoq.github.io/2022/05/30/Ubuntu20-04%E6%9B%B4%E6%8D%A2%E5%9B%BD%E5%86%85%E9%95%9C%E5%83%8F%E6%BA%90/ /etc/apt/…

插入排序:一种简单而有效的排序算法

插入排序:一种简单而有效的排序算法 一、什么是插入排序?二、插入排序的步骤三、插入排序的C语言实现四、插入排序的性能分析五、插入排序的优化六、总结 在我们日常生活和工作中,排序是一种非常常见的操作。比如,我们可能需要对一…

Echo框架:高性能的Golang Web框架

Echo框架:高性能的Golang Web框架 在Golang的Web开发领域,选择一个适合的框架是构建高性能和可扩展应用程序的关键。Echo是一个备受推崇的Golang Web框架,以其简洁高效和强大功能而广受欢迎。本文将介绍Echo框架的基本特点、使用方式及其优势…

Golang协程详解

一.协程的引入 1.通过案例文章引入并发,协程概念 见:[go学习笔记.第十四章.协程和管道] 1.协程的引入,调度模型,协程资源竞争问题 通过上面文章可以总结出Go并发编程原理: 在一个处理进程中通过关键字 go 启用多个协程,然后在不同的协程中完成不同的子任…

智慧公厕建设的重要性

智慧公厕建设一直被视为提升城市管理水平的重要举措。作为一个关键的城市基础设施,智慧公厕不仅可以改善公共卫生管理,还能提升城市居民的社会民生生活质量。此外,智慧公厕建设还能促进城市的可持续发展,降低能源消耗,…

科研绘图一:箱线图(添加贝赛尔曲线)

R语言绘图系列—箱线图贝赛尔曲线 (一): 科研绘图一:箱线图(添加贝赛尔曲线) 文章目录 R语言绘图系列---箱线图贝赛尔曲线(一): 科研绘图一:箱线图(添加贝赛尔曲线&…

数据结构/C++:红黑树

数据结构/C:红黑树 概念实现基本结构插入uncle为红色节点uncle为黑色节点 总代码展示 概念 红黑树是一种二叉搜索树,一般的二叉搜索会发送不平衡现象,导致搜索效率下降,于是学者们开始探索如何让二叉搜索树保持平衡,这…

unity学习(60)——选择角色界面--MapHandler2-MapHandler.cs

1.新建一个脚本&#xff0c;里面有static变量loadingPlayerList using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks;namespace Assets.Scripts.Model {internal class LoadData{public static List<Pl…

R语言中的常用基础绘图函数 直方图,箱线图,条形图,散点图

目录 R语言中的绘图参数 绘图函数 1.plot函数绘制散点图 2.hist函数绘制直方图 如何修饰直方图? 如何在直方图上标注各组频数&#xff1f; 使用text函数把某些信息标注在直方图上 如何在直方图上添加概率密度曲线&#xff1f; 3.boxplot函数绘制箱线图 4.barplot函数…

JVM虚拟机:通过jconsole远程连接解决JVM报错

本文重点 前面我们介绍过的一些工具都是使用命令行的方式来帮助我们完成&#xff0c;本文我们将使用一种图形化界面的方式来远程连接&#xff0c;然后完成关于JVM的检测任务。 jconsole jconsole是一个JVM的检测工具&#xff0c;这个工具任何安装了Java的电脑上都有的&#…

手机网络连接性能API接口:查询手机网络连接性能状态

手机在网状态查询服务是一项非常方便的服务&#xff0c;可以帮助我们随时了解一个手机号码的在网状态。不论是查询自己的手机号码&#xff0c;还是查询他人的手机号码&#xff0c;这个服务都可以帮助我们获取准确的信息。今天&#xff0c;我想和大家介绍一个非常好用的手机在网…

GitHub Actions持续部署

一、概述 1.1Github Action介绍 什么是Github Action ? GitHub Actions是GitHub提供的CI/CD&#xff08;持续集成/持续部署&#xff09;服务。它允许你在GitHub仓库中自动化、定制和执行你的软件开发工作流。你可以发现、创建和分享用于执行任何你想要的工作的操作&#xff0…

《计算机视觉中的深度学习》之目标检测算法原理

参考&#xff1a;《计算机视觉中的深度学习》 概述 目标检测的挑战&#xff1a; 减少目标定位的准确度减少背景干扰提高目标定位的准确度 目标检测系统常用评价指标&#xff1a;检测速度和精度 提高精度&#xff1a;有效排除背景&#xff0c;光照和噪声的影响 提高检测速度…

Spark-Transformation以及Action开发实战

文章目录 创建RDDTransformation以及ActionTransformation开发Action开发RDD持久化共享变量创建RDD RDD是Spark的编程核心,在进行Spark编程是,首要任务就是创建一个初始的RDDSpark提供三种创建RDD方式:集合、本地文件、HDFS文件 集合:主要用于本地测试,在实际部署到集群运…

FAN3224TMX门极驱动器中文资料PDF数据手册引脚图参数价格图片功能特性

产品概述&#xff1a; FAN3223-25 系列双 4A 门极驱动器以较短的开关间隔提供高峰值电流脉冲&#xff0c;用于在低侧开关应用中驱动 N 沟道增强模式 MOSFET。该驱动器提供 TTL 或 CMOS 输入阈值。内部电路将输出保持在低电平&#xff0c;直到电源电压处于运行范围内&#xff0…