linux内核原理--页高速缓存,回写,页框回收

1.页高速缓存
我们主要分析下磁盘文件的页高速缓存

struct address_space {struct inode		*host;	struct radix_tree_root	page_tree;	spinlock_t		tree_lock;unsigned int		i_mmap_writable;struct prio_tree_root	i_mmap;	struct list_head	i_mmap_nonlinear;spinlock_t		i_mmap_lock;	unsigned int		truncate_count;	unsigned long		nrpages;pgoff_t			writeback_index;struct address_space_operations *a_ops;unsigned long		flags;	struct backing_dev_info *backing_dev_info;spinlock_t		private_lock;struct list_head	private_list;	struct address_space	*assoc_mapping;
} __attribute__((aligned(sizeof(long))));

页高速缓存通过上述结构实现.
每个磁盘文件拥有一个address_spacepage_tree是一个页框容器.容器内每个页框均存储了来自关联文件指定偏移下的一页数据.
i_mmap是一个vma容器.容器内每个vma均是针对此文件某个区域的一个vma
i_mmap_nonlinear是一个vma容器.容器内每个vma采用非线性映射的方式和此文件建立映射.
a_ops用于提供一组操作集合.以便实现内存,后备存储器两者间的数据交互.

page_tree是一颗多叉树,叶子节点是代表一个页框的page指针.linux下每个节点一般的分叉数是64
根据文件尺寸,我们可以计算文件页框数.根据文件页框数可以为其构建这样一颗多叉树,来快速定位指定文件指定页框的page对象.
在这里插入图片描述

假设基树的分叉是,那么对于一个文件尺寸在页框[5, 16]之间的文件对象而言,它的基树高度是2.利用基树可快速查找文件指定偏移的页框是否已经存在于基树中.

文件对象页高速缓存中的每个页框均位于文件对象的基树内.对于文件中页高速缓存中没缓存的页框,基树中叶子节点相应槽内容为null.针对节点所有槽均为null的节点,一般节点会直接移除.相应的上层节点对于槽位置将为null
在这里插入图片描述
上述是文件尺寸在页框[5, 16]之间的文件对象只有页框0,1,2,3位于页高速缓存时其基树的情况示意图.

有了页高速缓存,对文件的读,写,均先通过页高速缓存,这有助于减少和磁盘的直接交互次数.提升IO效率.
页高速缓存下,还搭配预读机制,以便进一步提升缓存命中率,提升IO效率.

2.回写
通过文件映射和页高速缓存我们可以读取文件数据,在内存中对其进行修改.
为了保证数据一致性,当文件页在内存被修改后,需要写会磁盘来同步.

linux提供了两种回写机制.
(1). 通过后台线程定时回写
后台线程定期运行,检测存在脏页时,对脏页执行回写处理.
(2). 通过系统调用显式请求数据同步
如通过fsyncfsyncdata来显式请求将文件在内存的脏页刷新到磁盘.

3.页框回收
为了应对物理内存有限下,系统需要分配新的物理内存而可能无法找到可用的空闲物理内存满足分配的场景.
系统需要页框回收机制.

(1). 通过将很少使用的部分物理内存页换出到块设备交换区,我们可以获得更多的空闲内存页.
值的注意的是内核自身使用的物理内存页不会被换出.
(2). 通过将标记为脏的文件映射页执行同步处理,我们可以直接释放这个页框.以便获得更多的空闲内存页.
(3). 通过直接释放非脏的文件映射页,我们可以获得更多的空闲内存页.

linux可以同时支持多个磁盘交换区,每个交换区可以基于硬盘分区实现,也可基于磁盘文件实现.
在交换区和物理页框之间,类似页高速缓存,存在交换高速缓存结构.

当某个属于匿名映射的物理页框由于页框回收需要写入交换区时,先将其加入相应交换区对象的交换高速缓存结构,在写入完毕后,再从交换高速缓存结构移除.

当某个共享的匿名映射页框由于页框回收需要写入交换区时,先将其加入相应交换区对象的交换高速缓存结构,利用反向映射修改每个使用该页框的页表项,使其指向交换区某位置.在写入完毕,且所有相关进程的页表项均修改完毕后,再从交换高速缓存结构移除.此后,某个进程再次访问此交换页,则需分配页框,页框加入交换高速缓存,执行从交换区读取数据填充页框的操作,在填充完成后,修改进程页表使其指向内存页.只有,所有相关进程均再次访问此交换页,且进程页表均被修改指向内存页后,才可将此页从交换高速缓存结构移除.

交换高速缓存存在的意义是:
每当进程访问某个线性地址,通过页表项获知对应页框位于交换区某位置时,可先尝试访问交换区对象的交换高速缓存,如访问到,则无需执行缓慢的磁盘io,直接修改进程页表指向交换缓存中页即可.只有交换缓存结构搜索不到,才需执行分配页框,页框添加到交换缓存,执行磁盘io来填充页框这样的流程.

指的注意的是:
交换区存在的意义在于配合页框回收,逻辑上扩大物理内存.
当换出页位于交换高速缓存期间,页框并未被释放,只有页框换出完成且页框从交换高速缓存结构移除后,页框才能被释放完成回收.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2805966.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

2023最新简绘AI开源版支持MJ绘画,AI问答

应用介绍 本文来自:2023最新简绘AI开源版支持MJ绘画,AI问答 - 源码1688 简介: 简绘AI开源版,从闲鱼上买的,搭建教程如下 测试环境:NginxPHP7.4MySQL5.6 图片:

com.alibaba.nacos.api.exception.NacosException: Request nacos server failed

问题描述 安装nacos2.0以上版本,启动报错:com.alibaba.nacos.api.exception.NacosException: Request nacos server failed com.alibaba.nacos.api.exception.NacosException: Request nacos server failed: at com.alibaba.nacos.client.naming.remote.gprc.Nami…

2024022402-数据库恢复技术

数据库恢复技术 什么是事务 事务(Transaction)是用户定义的一个数据库操作序列,这些操作要么全做,要么全不做,是一个不可分割的工作单位 事务和程序是两个概念 在关系数据库中,一个事务可以是一条SQL语句,一组SQL语…

Movelt使用笔记-Movelt Setup Assistant

目录 Setup Assistant配置1 Start 加载urdf模型3 Virtual joints 虚拟关节5 Robot Poses 机器人位姿7 Passive Joints 被动关节8 Controllers 控制器9 Simulation 仿真10 3D Perception 3D感知11 Author Information 作者信息12 Configuration Files 配置文件启动MoveIt!Setup…

潇洒郎:2024 IDEA、Pycharm获取最新激活码获取方式

IDEA获取最新激活码 https://idea.javatiku.cn/ 手机打开,看到验证码,30分钟有效,输入验证码 获取到最新激活码

Vue.js+SpringBoot开发超市商品管理系统

目录 一、摘要1.1 简介1.2 项目录屏 二、研究内容2.1 数据中心模块2.2 超市区域模块2.3 超市货架模块2.4 商品类型模块2.5 商品档案模块 三、系统设计3.1 用例图3.2 时序图3.3 类图3.4 E-R图 四、系统实现4.1 登录4.2 注册4.3 主页4.4 超市区域管理4.5 超市货架管理4.6 商品类型…

IT廉连看——C语言——数组

IT廉连看——C语言——数组 一、一维数组的创建和初始化 1.1 数组的创建 数组是一组相同类型元素的集合。 数组的创建方式: type_t arr_name [const_n]; //type_t 是指数组的元素类型 //const_n 是一个常量表达式,用来指定数组的大小 数组创建…

onlyoffice api开发

编写代码 按照https://api.onlyoffice.com/editors/basic编写代码 <html> <head><meta charset"UTF-8"><meta name"viewport"content"widthdevice-width, user-scalableno, initial-scale1.0, maximum-scale1.0, minimum-scal…

Linux应用-ElasticSearch安装

ElasticSearch安装部署 简介 全文搜索属于最常见的需求&#xff0c;开源的 Elasticsearch &#xff08;以下简称 es&#xff09;是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。 Elasticsearch简称es&…

TLS握手证书链的校验

看一遍忘一遍&#xff0c;还是自己写一遍&#xff0c;看看这次能记多久。 在TLS握手过程中&#xff0c;通过证书校验认证服务端的身份和交换加密秘钥&#xff0c;握手完成之后后续就可以进行加密数据传输。 在浏览器地址栏上点击锁的图标&#xff0c;能打开查看证书的详细信息…

【大模型 数据增强】NeuScraper:神经网络抓取工具,超传统网页抓取工具20%

NeuScraper&#xff1a;神经网络抓取工具&#xff0c;从网页中提取主要内容 提出背景流程框架精细拆解 效果对比 提出背景 论文&#xff1a;https://arxiv.org/pdf/2402.14652.pdf 代码&#xff1a;https://github.com/OpenMatch/NeuScraper 假设我们需要从一个新闻网站上抓…

TensorRT及CUDA自学笔记003 CUDA编程模型、CUDA线程模型及其管理、CUDA内存模型及其管理

TensorRT及CUDA自学笔记003 CUDA编程模型、CUDA线程模型及其管理、CUDA内存模型及其管理 各位大佬&#xff0c;这是我的自学笔记&#xff0c;如有错误请指正&#xff0c;也欢迎在评论区学习交流&#xff0c;谢谢&#xff01; CUDA编程模型 我们使用CUDA_C语言进行CUDA编程&am…

备战蓝桥杯---基础算法刷题2

题目有一点水&#xff0c;不过还是有几个好题的&#xff0c;我在这分享一下&#xff1a; 很容易想到先往最高处跳再往最低处跳&#xff0c;依次类推&#xff0c;那怎么保证其正确性呢&#xff1f; 证法1. 在此&#xff0c;我们从0开始&#xff0c;假设可以跳到a,b,c(a<b<…

js之事件代理/事件委托

事件代理也叫事件委托&#xff0c;原理&#xff1a;利用DOM元素的事件冒泡&#xff0c;指定一个事件的处理程序就可以管理某一类型的所有事件。 事件冒泡和事件捕获 如上图所示&#xff0c;事件传播分成三个阶段&#xff1a; 捕获阶段&#xff1a;从window对象传导到目标节点&…

即时设计和Axure对比,哪一个好用?

无论是国外页面设计工具&#xff0c;页面设计工具的发展从来没有停滞过&#xff0c; Axure&#xff0c;无论是国产设计工具即时设计&#xff0c;其功能都在不断更新迭代&#xff0c;为设计带来更高效的设计体验。今天对比两个设计工具&#xff0c;帮你找到最适合自己的&#xf…

C#与VisionPro联合开发——串口通信

串口通信 串口通信是一种常见的数据传输方式&#xff0c;通过串行接口&#xff08;串口&#xff09;将数据以串行比特流的形式进行传输。在计算机和外部设备之间&#xff0c;串口通信通常是通过串行通信标准&#xff08;如RS-232&#xff09;来实现的。串口通信可以用于连接各…

在Ubuntu中使用python

目录 一、利用vim使用python 1、下载vim 2、使用vim创建python文件 3、编辑完成后的vim操作 4、如何运行 5、vim常见操作 二、安装Jupyter 1、更新系统 2、安装pip 注&#xff1a;pip无法应用的原因及解决方案 3、安装Jupyter 4、打开Jupyter 三、安装其他Python模…

如何食用Kaggle的Course中的exercise?

前言 读完本文只需要几分钟&#xff0c;读完后你将知道&#xff1a; 如何连接kaggle的反馈系统如何检查代码正确性如何查看提示如何查看答案。 关于Setup 通常最上面的会有一块代码&#xff0c;它的功能是连接kaggle的反馈系统&#xff0c;这样才能执行能够提供反馈的代码。…

离散数学(一) 集合

属于关系 表示 枚举法&#xff1b; 叙述法&#xff1b; 文氏图法 基数 空集 全集 全集是相对唯一的 相等关系 有相同元素看作一个元素 包含关系 幂集 集合运算 并集 交集 补集 差集 对称差集 定理 可数集合与不可数集合 自然数集 等势 如果存在集合A到集合B的双射(又称一一…

kafka为什么性能这么高?

Kafka系统架构 Kafka是一个分布式流处理平台&#xff0c;具有高性能和可伸缩性的特点。它使用了一些关键的设计原则和技术&#xff0c;以实现其高性能。 上图是Kafka的架构图&#xff0c;Producer生产消息&#xff0c;以Partition的维度&#xff0c;按照一定的路由策略&#x…