聊聊go语言中的GMP模型

写在文章开头

我们都知道go语言通过轻量级线程协程解决并发问题,按照go语言的思想这些协程运行完成后即焚,那么go语言如何保证并发线程有序获取协程呢?

在这里插入图片描述

带着这个问题我们从go语言底层的源码来阐述这个问题:

在这里插入图片描述

Hi,我是 sharkChili ,是个不断在硬核技术上作死的 java coder ,是 CSDN的博客专家 ,也是开源项目 Java Guide 的维护者之一,熟悉 Java 也会一点 Go ,偶尔也会在 C源码 边缘徘徊。写过很多有意思的技术博客,也还在研究并输出技术的路上,希望我的文章对你有帮助,非常欢迎你关注我的公众号: 写代码的SharkChili

因为近期收到很多读者的私信,所以也专门创建了一个交流群,感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加,点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述

协程GMP模型详解

GMP模型工作原理

本质上go语言采用了GMP模型:

  1. g:即goroutine,也就是我们说的协程。
  2. m:可以直接理解为执行协程的线程。
  3. p:和线程绑定,真正进行逻辑处理的处理器。

基于gmp模型,每个处理器绑定一个线程,而线程都会分配一个协程队列,为了避免多线程运行协程总是要到全局队列上锁导致的并发冲突导致程序性能下降。go语言提出每个处理器获取协程队列时先上锁然后直接从全局队列中获取一批的协程到本地队列再运行:

在这里插入图片描述

基于这个基础go语言对每一个线程的利用都做到的极致的压榨,一旦线程对应协程队列为空时,且全局的协程队列也为空的时候,当前处理器p就会采取stealWork窃取其他处理器的本次队列中窃取任务,尽可能不让这个线程停止功能,以提升线程利用率:

在这里插入图片描述

此后每当新建一个协程,它就会随机找到一个处理器p的队列,若发现其队列已满无法容纳自己,这个协程就会被存放到协程队列中,等待p下次批量获取:

在这里插入图片描述

源码印证

了解gmp的工作流程后,我们就可以通过源码的方式印证这个问题,首先来看看处理器模型的源码,通过runitme2.go可知处理器p的结构:

  1. 通过m指针指向绑定的线程。
  2. 通过runqheadrunqtail标明当前处理器协程队列的地址范围,再通过runq指定队列长度。
  3. 通过 runnext标明下一个要执行的协程的地址。
type p struct {//唯一标识id          int32// m的指针m           muintptr   // back-link to associated m (nil if idle)// 协程队列队首和队尾偏移量runqhead uint32runqtail uint32//本地队列数组runq     [256]guintptr//下一个要执行的协程地址runnext guintptr//......	
}	

每个处理器p都会从主协程g0开始调用schedule方法不断执行队列中的协程,如下源码所示,拿到处理器对应的线程后通过findRunnable中找到可运行的协程并执行:

func schedule() {//获取当前处理器的线程mp := getg().m//......top:pp := mp.p.ptr()//......//获取可运行的协程gp, inheritTime, tryWakeP := findRunnable() // blocks until work is available//......//执行协程execute(gp, inheritTime)
}

步入proc.gofindRunnable方法就可以看到我们上文所说的协程调度过程了,首先从本地队列获取,若没有则上锁从全局队列中批量获取协程,明确确认上述两个队列都没有任务再从其他处理器的本地队列中窃取协程运行:

func findRunnable() (gp *g, inheritTime, tryWakeP bool) {mp := getg().mtop:pp := mp.p.ptr()//......// 先从本地队列获取if gp, inheritTime := runqget(pp); gp != nil {return gp, inheritTime, false}// 本地队列没有则到全局队列获取if sched.runqsize != 0 {lock(&sched.lock)gp := globrunqget(pp, 0)unlock(&sched.lock)if gp != nil {return gp, false, false}}//上述情况都不符合则尝试通过stealWork窃取其他处理器本地队列的协程if mp.spinning || 2*sched.nmspinning.Load() < gomaxprocs-sched.npidle.Load() {if !mp.spinning {mp.becomeSpinning()}gp, inheritTime, tnow, w, newWork := stealWork(now)if gp != nil {// Successfully stole.return gp, inheritTime, false}//......}goto top
}

这里我们不妨看看从全局队列获取协程的源码proc.go,本质上就是通过重量级锁获取一批协程调用runqput存入队列中:

func globrunqget(pp *p, max int32) *g {//上锁assertLockHeld(&sched.lock)//若全局队列为空直接返回if sched.runqsize == 0 {return nil}//获取全局队列的大小和处理器数计算出n,经过各种逻辑处理后这个n就是最后要获取的协程数n := sched.runqsize/gomaxprocs + 1if n > sched.runqsize {n = sched.runqsize}if max > 0 && n > max {n = max}if n > int32(len(pp.runq))/2 {n = int32(len(pp.runq)) / 2}//扣减全局队列大小sched.runqsize -= n//获取协程,并通过runqput存入当前处理器的本地队列中gp := sched.runq.pop()n--for ; n > 0; n-- {gp1 := sched.runq.pop()runqput(pp, gp1, false)}return gp
}

而窃取协程的代码也在proc.go中,它会再三确认当前处理器没有可运行协程后到其他非空闲协程中窃取:

func stealWork(now int64) (gp *g, inheritTime bool, rnow, pollUntil int64, newWork bool) {pp := getg().m.p.ptr()ranTimer := falseconst stealTries = 4for i := 0; i < stealTries; i++ {stealTimersOrRunNextG := i == stealTries-1//获取可以可窃取的处理器p2for enum := stealOrder.start(fastrand()); !enum.done(); enum.next() {if sched.gcwaiting.Load() {// GC work may be available.return nil, false, now, pollUntil, true}p2 := allp[enum.position()]//如果遍历到自己则跳过if pp == p2 {continue}//......//明确确认p2非空闲后窃取其协程存入本地队列中运行if !idlepMask.read(enum.position()) {if gp := runqsteal(pp, p2, stealTimersOrRunNextG); gp != nil {return gp, false, now, pollUntil, ranTimer}}}}return nil, false, now, pollUntil, ranTimer
}

小结

本文通过图解结合源码印证的方式介绍了go语言中gmp如何实现高效并发,希望对你有帮助。

我是 sharkchiliCSDN Java 领域博客专家开源项目—JavaGuide contributor,我想写一些有意思的东西,希望对你有帮助,如果你想实时收到我写的硬核的文章也欢迎你关注我的公众号: 写代码的SharkChili
因为近期收到很多读者的私信,所以也专门创建了一个交流群,感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加,点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2981143.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

gitee / github 配置git, 实现免密码登录

文章目录 怎么配置公钥和私钥验证配置成功问题 怎么配置公钥和私钥 以下内容参考自 github ssh 配置&#xff0c;gitee的配置也是一样的&#xff1b; 粘贴以下文本&#xff0c;将示例中使用的电子邮件替换为 GitHub 电子邮件地址。 ssh-keygen -t ed25519 -C "your_emai…

【C语言__指针02__复习篇12】

目录 前言 一、数组名的理解 二、使用指针访问数组 三、一维数组传参的本质 四、冒泡排序 五、二级指针 六、指针数组 七、指针数组模拟二维数组 前言 本篇主要讨论以下问题&#xff1a; 1. 数组名通常表示什么&#xff0c;有哪两种例外情况&#xff0c;在例外情况中…

BootStrap框架学习

1、BootStrap是一套现成的css样式集合 中文文档&#xff1a;www.bootcss.com 响应式布局&#xff1a;pc端&#xff0c;手机端都可适配 特点&#xff1a;集成了html,css,javascript工具集&#xff0c;12列格网&#xff0c;基于jquery&#xff0c; 下载&#xff1a;http://v3…

【java毕业设计】 基于Spring Boot+mysql的高校心理教育辅导系统设计与实现(程序源码)-高校心理教育辅导系统

基于Spring Bootmysql的高校心理教育辅导系统设计与实现&#xff08;程序源码毕业论文&#xff09; 大家好&#xff0c;今天给大家介绍基于Spring Bootmysql的高校心理教育辅导系统设计与实现&#xff0c;本论文只截取部分文章重点&#xff0c;文章末尾附有本毕业设计完整源码及…

【AI写作】未来科技趋势:揭秘DreamFusion的革新力量

首先&#xff0c;这篇文章是基于笔尖AI写作进行文章创作的&#xff0c;喜欢的宝子&#xff0c;也可以去体验下&#xff0c;解放双手&#xff0c;上班直接摸鱼~ 按照惯例&#xff0c;先介绍下这款笔尖AI写作&#xff0c;宝子也可以直接下滑跳过看正文~ 笔尖Ai写作&#xff1a;…

泛微 E-Office UserSelect接口存在未授权访问漏洞

声明&#xff1a; 本文仅用于技术交流&#xff0c;请勿用于非法用途 由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失&#xff0c;均由使用者本人负责&#xff0c;文章作者不为此承担任何责任。 简介 老洞 泛微e-office系统是标准、易用、快速部署上线…

4G车牌识别如何实现低功耗AOV唤醒拍照?

车牌识别摄像机&#xff0c;一般的做法是有线方式&#xff0c;并且采用有线网络或者是RJ45网络&#xff0c;如果换个方式&#xff0c;比如在野外工地&#xff0c;矿场&#xff0c;需要识别一些车牌&#xff0c;上传到服务器平台&#xff0c;要考虑的是无线&#xff0c;无电&…

vue项目启动npm install和npm run serve时出现错误Failed to resolve loader:node-sass

1.常见问题 问题1&#xff1a;当执行npm run serve时&#xff0c;出现Failed to resolve loader: node-sass&#xff0c;You may need to install it 解决方法&#xff1a; npm install node-sass4.14.1问题2&#xff1a;当执行npm run serve时&#xff0c;出现以下错误 Fa…

小程序AI智能名片S2B2C商城系统:解锁内容深耕新境界,助力品牌企业高效定制内容策略

在数字化时代&#xff0c;内容营销已成为品牌企业获取市场份额、增强用户黏性的关键武器。然而&#xff0c;面对海量的互联网信息和复杂多样的社交媒体平台&#xff0c;如何有效地深耕内容&#xff0c;成为众多品牌企业面临的难题。 传统的内容分类与识别方式&#xff0c;往往依…

开源贡献代码之​探索一下Cython

探索一下Cython 本篇文章将会围绕最近给Apache提的一个feature为背景&#xff0c;展开讲讲Cython遇到的问题&#xff0c;以及尝试自己从0写一个库出来&#xff0c;代码也已经放星球了&#xff0c;感兴趣的同学可以去下载学习。 0.背景 最近在给apache arrow提的一个feature因为…

STM32 学习13 低功耗模式与唤醒

STM32 学习13 低功耗模式与唤醒 一、介绍1. STM32低功耗模式功能介绍2. 常见的低功耗模式&#xff08;1&#xff09;**睡眠模式 (Sleep Mode)**:&#xff08;2&#xff09;**停止模式 (Stop Mode)**:&#xff08;3&#xff09;**待机模式 (Standby Mode)**: 二、睡眠模式1. 进入…

MongoDB数据恢复—拷贝MongoDB数据库文件后无法启动服务的数据恢复案例

服务器数据恢复环境&#xff1a; 一台Windows Server操作系统服务器&#xff0c;服务器上部署MongoDB数据库。 MongoDB数据库故障&检测&#xff1a; 工作人员在未关闭MongoDB数据库服务的情况下&#xff0c;将数据库文件拷贝到其他分区。拷贝完成后将原MongoDB数据库所在分…

图像处理之Retinex算法(C++)

图像处理之Retinex算法&#xff08;C&#xff09; 文章目录 图像处理之Retinex算法&#xff08;C&#xff09;前言一、单尺度Retinex&#xff08;SSR&#xff09;1.原理2.代码实现3.结果展示 二、多尺度Retinex&#xff08;MSR&#xff09;1.原理2.代码实现3.结果展示 三、带色…

探索ChatGPT在提高人脸识别与软性生物识准确性的表现与可解释性

概述 从GPT-1到GPT-3&#xff0c;OpenAI的模型不断进步&#xff0c;推动了自然语言处理技术的发展。这些模型在处理语言任务方面展现出了强大的能力&#xff0c;包括文本生成、翻译、问答等。 然而&#xff0c;当涉及到面部识别和生物特征估计等任务时&#xff0c;这些基于文…

STM32,复位和时钟控制

外部时钟 HSE 以后需要用到什么就这样直接拿去配就行了

用户中心 -- 插件使用 插件使用思路

易错注意点 1 5.1启动类 & 入口类 需保持一致 网址&#xff1a; 第一节课&#xff0c;用户管理--后端初始化&#xff0c;项目调通。二次翻工2-CSDN博客 一、 用户管理 框架 网址&#xff1a; 用户管理 --汇总 -- 明细-CSDN博客 1.2 更改路径&#xff0c;并生效 网址…

使用linux,c++,创作一个简单的五子棋游戏

#include <iostream> #include <vector> #include <unordered_map> using namespace std; // 棋盘大小 const int BOARD_SIZE 15; // 棋子类型 enum ChessType { EMPTY, BLACK, WHITE }; // 棋盘类 class ChessBoard { private: vect…

【Transformer】detr之decoder逐行梳理(三)

every blog every motto: You can do more than you think. https://blog.csdn.net/weixin_39190382?typeblog 0. 前言 detr之decoder逐行梳理 1. 整体 decoder由多个decoder layer串联构成 输入 tgt: query是一个shape为(n,bs,embed),内容为0的tensormemory: encoder最…

BERT-CRF 微调中文 NER 模型

文章目录 数据集模型定义数据集预处理BIO 标签转换自定义Dataset拆分训练、测试集 训练验证、测试指标计算推理其它相关参数CRF 模块 数据集 CLUE-NER数据集&#xff1a;https://github.com/CLUEbenchmark/CLUENER2020/blob/master/pytorch_version/README.md 模型定义 imp…

【北京迅为】《iTOP-3588开发板系统编程手册》-第20章 socket 应用编程

RK3588是一款低功耗、高性能的处理器&#xff0c;适用于基于arm的PC和Edge计算设备、个人移动互联网设备等数字多媒体应用&#xff0c;RK3588支持8K视频编解码&#xff0c;内置GPU可以完全兼容OpenGLES 1.1、2.0和3.2。RK3588引入了新一代完全基于硬件的最大4800万像素ISP&…