Presto之Driver个数

一. 前言

        在Presto的Stage Performace中,每个Operator中都会有Driver个数的显示,如下图所示。本文主要介绍Presto中是如何决定Driver的个数的。

二. Driver个数

       在Presto中,一个pipeline中启动多少个Driver,是由此Pipeline处理的Split个数决定的。代码实现的流程如下所示:

blocked = split.process();DriverSplitRunner::processFordriverFactory.createDriver

        因此Presto在处理每个Split的时候,都会创建一个Driver来处理该Split,Driver中包含处理该Split的所有Operator。

       既然Operator的个数决定了Driver的个数,那么Operator的个数又是怎么决定的呢?

       在Presto中,Operator的个数在TableScan中和非TableScan处理不太一样,如下将详细说明两者的区别。

     TableScanOperator的Split个数决定流程:

     TableScan的Split格式是有Connector的ConnectorSplitManager::getSplits接口决定的,在SourcePartitionedScheduler中,会通过调用ConnectorSplitManager的split获取所有的split进行调度,整体的代码执行流程:

SourcePartitionedSchedulerschedulescheduleGroup.nextSplitBatchFuture = splitSource.getNextBatchConnectorAwareSplitSource::getNextBatchsource.getNextBatch     ==> 调用到connector的getSplits接口获取所有的splits,因此connector返回的split的个数就是tablescan的split的个数

        非TableScan算子的Driver个数则是由DriverInstanceCount决定的,在SqlTaskExecution::scheduleDriversForTaskLifeCycle中根据DriverInstanceCount的个数决定创建多少个Driver来处理数据:

       DriverInstanceCount的设置值不同的Operator设置的不一样,比如ExchangeOperator的个数是由task_concurrency参数决定的,主要的代码实现流程为:

      LocalExecutionPlanner::createRemoteSource中决定DriverInstanceCount:

    又如TableWrite的个数则是由task_writer_count参数决定的:

 

三 . Driver个数的意义

      更多的Driver意味着更多的并发去同时处理数据,往往也意味着更好的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/1620905.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

新增收货地址【项目 商城】

新增收货地址【项目 商城】 新增收货地址1 新增收货地址-数据表创建2 新增收货地址-创建实体类3 新增收货地址-持久层3.1 各功能的开发顺序3.2 规划需要执行的SQL语句3.3 接口与抽象方法3.4 配置SQL映射 测试4 新增收货地址-业务层4.1 规划异常4.2 接口与抽象方法 测试5 新增收…

epoll() 多路复用 和 两种工作模式

1.epoll API 介绍 typedef union epoll_data {void *ptr;int fd;uint32_t u32;uint64_t u64; } epoll_data_t;struct epoll_event {uint32_t events; /* Epoll events */epoll_data_t data; /* User data variable */ };常见的Epoll检测事件:- EPOLLIN- EPOLLOUT- …

农村农产品信息展示网站的设计与实现(论文+源码)_kaic

摘 要 随着软件技术的迅速发展,农产品信息展示的平台越来越多,传统的农产品显示方法将被计算机图形技术取代。这种网站技术主要把农产品的描述、农产品价格、农产品图片等内容,通过计算机网络的开发技术,在互联网上进行展示,然后通过计算机网…

如何识别计算机病毒,怎样识别计算机病毒

电脑病毒不仅影响电脑的正常使用,有时候还会威胁到我们的个人信息包括财务信息的安全。下面就让学习啦小编教大家怎样识别计算机病毒吧。 识别计算机病毒的方法 病毒一般通过自我隐藏的方式来达到自己的目的,那么病毒一般都隐藏在系统的什么地方呢?一般…

计算机病毒为了隐藏,识别计算机病毒的方法

识别计算机病毒的方法 病毒为了能随系统启动而自启动对电脑进行危害操作,通常会把自己设置为自动启动。更有甚者,它们还会将自己注册成系统服务,优先于其他程序启动。下面是小编收集整理的识别计算机病毒的方法,欢迎阅读。 识别计…

可以查杀计算机病毒的软件,怎样彻底查杀计算机病毒

电脑中毒后很可能后导致电脑出现无法开机,卡死等各种的情况,那么怎样彻底查杀计算机病毒呢?学习啦小编分享了彻底查杀计算机病毒的方法,希望对大家有所帮助。 彻底查杀计算机病毒方法一 打开腾讯电脑管家,并找到杀毒页面 选择【闪电查杀】等…

检查和清除计算机病毒可以使用,如何深入检查和杀死计算机病毒

当我们的计算机感染病毒时!如果我们想深入查杀,该怎么办?以下是学习编辑器深入检查和杀死计算机病毒的方法的详细介绍!希望对您有帮助! 一种深度检测计算机病毒的方法: 垃圾清除软件建议安装金山卫士,它可以…

2. 两数相加(中等系列)

给你两个 非空 的链表,表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的,并且每个节点只能存储 一位 数字。 请你将两个数相加,并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外,这两个数都不会以 0 …

如何根据公司名称来筛选快递

在查询快递物流的时候,如果想要对快递公司名称一致的单号进行筛选,该怎么办呢?不知道如何操作的宝贝们,下面请随小编一起来试试。 需要哪些工具? 快递批量查询高手 快递单号若干 怎么快速查询? 首先&…

关于名字

为什么80%的码农都做不了架构师?>>> 书不尽言,言不尽意。言者所以在意,得意而忘言。先从程序里的变量名说起。作为程序员,我们知道,大部分时候,我们要求程序中的变量名是唯一的。比如数据库里的…

2023-2029全球与中国电子级丙二醇甲醚醋酸酯市场现状及未来发展趋

电子级丙二醇甲醚醋酸酯的定义 丙二醇甲醚醋酸酯(PMA),也称丙二醇单甲醚乙酸酯,是一种无色、有特殊气味的高级溶剂。PMA分子中既有醚键,又有羰基,羰基又形成了酯的结构,同时又有烷基;PMA同一分子中极性与非…

2022-2028年中国低温固化粉末涂料行业市场发展调研及未来前景规划报告

报告类型:产业研究 报告格式:电子版、纸介版、电子+纸介 出品单位:智研咨询-产业信息网 智研咨询发布的《2022-2028年中国低温固化粉末涂料行业市场发展调研及未来前景规划报告》共十四章。首先介绍了低温固化粉末涂料行业市场发展环境、低温固化粉末涂料整体运行态势等,…

2022-2028年中国化工催化剂行业市场全景评估及发展趋势研究报告

报告类型:产业研究 报告格式:电子版、纸介版、电子纸介 出品单位:智研咨询-产业信息网 智研咨询发布的《2022-2028年中国化工催化剂行业市场全景评估及发展趋势研究报告》共十四章。首先介绍了化工催化剂行业市场发展环境、化工催化剂整体运…

2022年全球市场环氧活性稀释剂总体规模、主要生产商、主要地区、产品和应用细分研究报告

本文研究全球市场、主要地区和主要国家环氧活性稀释剂的销量、销售收入等,同时也重点分析全球范围内主要厂商(品牌)竞争态势,环氧活性稀释剂销量、价格、收入和市场份额等。 针对过去五年(2017-2021)年的历…

2021年全球强化采油表面活性剂收入大约202.3百万美元,预计2028年达到297.1百万美元

本文研究全球市场、主要地区和主要国家强化采油表面活性剂的销量、销售收入等,同时也重点分析全球范围内主要厂商(品牌)竞争态势,强化采油表面活性剂销量、价格、收入和市场份额等。 针对过去五年(2017-2021&#xff0…

Modbus转Profinet网关连接三菱变频器博图快速配置

本案例将分享如何使用兴达易控的modbus转profinet网关(XD-MDPN100)来连接西门子1200系列plc,并实现三菱变频器的485通讯兼容转modbusTCP通信。通过在博图中进行配置,我们可以实现设备之间的连接和通信。 首先,我们需要…

[好书推荐] 之 <趣化计算机底层技术>

趣化计算机底层技术 底层技术优势购买 底层技术 相信很多老铁跟我一样, 在深入了解底层技术的时候 — — 就很头大 很多书籍看上去跟一个 老学究 一样, 说的话不是我们这些小白看的懂得… 看不懂就会 打击我们的自信心我们就有可能找一堆理由去玩(理所应当地去玩的那一种, 反…

基于flowplayer的视频缩略图的视频预览

前言 不得不吐槽一下咯,年终奖发了不到半个月的工资,心醉了,心凉了!不过技术知识是属于自己的东西,有新的想法,学到新的知识还是的总结出来,和大家分享分享! 最近一直在忙公司的项…

php myflow,WordPress安装使用Flowplayer简易指南

本文是简单易懂的现代魔法系列文章的第二弹~ 一、Flowplayer简介FlowPlayer 是一个用Flash开发的在Web上的视频播放器,可以很容易将它集成在任何的网页上。支持HTTP以及流媒体传输。 最新版本为5.1.1,最新版本使用纯 HTML5 CSS3 实现的原生 VIDEO 标签&…

爬虫(bilibili热门课程记录)

什么是爬虫?程序蜘蛛,沿着互联网获取相关信息,收集目标信息。 一、python环境安装 1、先从Download Python | Python.org中下载最新版本的python解释器 2、再从Download PyCharm: Python IDE for Professional Developers by JetBrains中下…