IBM LSF学习(是什么)

碎碎念:这里主要介绍,LSF是什么,本人秉承的写作原则或者技术学习原则,“是什么”,“为什么”,“怎么用”。
这里借鉴了这几篇文章并进行自我理解:
https://blog.csdn.net/qq_43653083/article/details/116941134
https://baijiahao.baidu.com/s?id=1719288628928460618&wfr=spider&for=pc
https://www.zhihu.com/column/c_1309608453988253696

当前环境

目前随着数据量和应用计算能力的提升,因此需要更高的性能的管理工具和分析工具。在传统的高性能计算中常出现,资源出现不均匀处理,周期泄露等多种问题。由于当前的经济压力,组织中也正在寻找更好的方法来提高IT的性能,减少开支,并且满足市场需要。因此要完成这些需求需要有针对性的计算管理方案和软件。这些方案可以帮助创建,继承和管理分布式计算环境。加速应用程序的性能,减少运行时间。
由此:LSF应运而生

LSF是什么

LSF是IBM旗下的一款分布式集群管理软件,主要是负责资源调度和批处理作业的调度,它给用户统计的访问接口,用户可以透明的访问整个集群资源。LSF具有良好的可伸缩性以及高可用性。几乎支持所有的主流操作系统,高性能环境中不可或缺的软件。因此如果进大厂或者重要的研究机构是需要进一步学习的。

LSF系统国内应用例子

http://scc.ustc.edu.cn/zh_CN/ 中科大超算中心
http://www.sccas.cn/gb/index.html 中科院超算中心
http://www.ssc.net.cn/ 上海超算中心

LSF的优点

  • 优化资源利用,降低成本
  • 以高达150倍的吞吐量实现更快的时间结果
  • 将大规模性能提升至新水平
  • 提高用户和管理员的工作效率
  • 通过智能数据管理节省计算周期

LSF管理

简单来说,它有一组很好的管理资源策略,这也是无数人的心血结晶。它允许您调度高负责的内容,又利用正确分配作业。如下图:请添加图片描述
图中左边是非管理,可以发现资源被的大量的浪费,右图通过管理,可以很少的浪费资源。
具有以下特点:

  • 提高相应性能
  • 实现更好,更快,更智能的计算
  • 减少操作和基础设施成本
  • 提高生产力和资源共享
  • 增强用户体验
  • 对现有资产进行投资

LSF管理和调度

在分布式管理和调度方面,LSF 的功能可谓应有尽有,仅仅调度策略,就有数十种,比如先来先服务 (FCFS)、抢占 (Preemption)、资源需求 (Resource Requirement)、公开共享 (Fair share Scheduling)、服务水平的资源保障 (Guarantee SLA)、资源预订 (Resource Reservations)、回填调度 (Backfill Scheduling)、亲和调度 (Affinity Scheduling) 等。

LSF 家族

这里LSF为小型集群和大型分布式环境都可以进行配置,下面是配置。请添加图片描述

“大师兄” LSF AC

主要为集群用户和管理员提供灵活的操作界面,即用户可以通过浏览器实现作业的基本操作,例如暂停,开始,恢复,重新排队。而且AC也有很多脚本可以使用。
支持电脑端和客户端
在这里插入图片描述

“二师兄” LSF PM

在一些 LSF 的应用场景中,很多作业之间有依赖关系,特别是近几年来的容器化,微服务化,并行化作业愈发盛行,面对错综复杂的作业依赖关系,如果没有一套流水线的管理工具,那对于这些用户来说,简直就是灾难。

PM的使命:LSF用户可以在作业提交前,图形化的勾勒出作业的先后顺序,和驱动事件,然后再执行。这样就可以直观的查看运行情况和容易出错的任务。

同时,用户可以通过 LSF PM 设置一些驱动事件,比如文件事件(比如文件产生或者消失的时候,触发某些作业),时间事件(可以在特定的时间或者周期性的触发作业的运行)等。LSF PM 拥有 CS 模式的客户端,同时也已经集成到了 LSF AC 的 Web 界面中了。
在这里插入图片描述

“三师兄” LSF RTM

LSF RTM 是 LSF 集群管理员的福音,LSF 集群管理员可以通过 LSF RTM 的 Web 仪表盘来全面的、实时的监视、报告和管理集群和工作负载,极大程度上提高了集群资源利用率和用户生产率,以及控制或降低了用户的成本。同时LSF RTM 支持监控应用程序许可证服务器和集群中的用户和用户组。通过 LSF RTM 直观的 Dashboard,可以轻松有效的监控多个 LSF 集群,完成管理员日常的集群维护工作。
在这里插入图片描述

总结

总体来说LSF是一个性能非常好的系统资源管理工具,通过这个工具可以有效管理多个计算机资源。以及存储空间。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/351253.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

微软服务器操作系统指什么意思,现代服务器操作系统:你绝对想不到是什么!...

大家好,小编又和大家见面了。上一篇文章,我们了解了Windows Server 2008,今天,我们讲一讲Windows Server 2012。 Windows Server 2012(开发代号:Windows Server 8)是微软的一个服务器系统。这是Windows 8的服务器版本&…

直播选择 RTC 还是 RTMP?

RTC 实时直播 RTC(Real Time Communication)实时音视频通信,它最大的特点就是低延时和无卡顿。从功能流程上说,它包含了采集、编码、前后处理、传输、解码、缓冲、渲染等诸多环节,每一个细分环节,还有更细…

灰度测试是什么意思

本文章,百度论坛知乎等处查询,了解灰度测试,方便学习。本文章只限学习。文章可能内容多,我进行了网上查询终结,还需细看整理,如有重复内容请见谅,我也正在了解,方便手机携带查看。 …

MySQL安装流程 及 8.0与5.7区别

一、MySQL版本介绍 1、MySQL 8.0 窗口函数:MySQL 8.0版本支持窗口函数,这是数据分析工作中非常常用的一类函数。窗口函数可以让用户在单个查询中跨多个行检索数据,并在查询结果中对数据执行计算。隐藏索引:在MySQL 8.0版本中&am…

探究Cache缓存功能---【pytest】

前言 pytest运行完用例之后会生成一个 .pytest_cache的缓存文件夹,用于记录用例的ids和上一次失败的用例。 1、跑自动化时经常会出现这样一个情况,一轮自动化跑完后零星出现了几个失败测试用例,无法断定失败的原因,所以可能需要重…

浏览器插件检测淘宝订单是否淘客下单

1、插件安装 。 2、获取接口秘钥 ,获取之后请将接口秘钥填写到本插件中。 3、登录淘宝/天猫已卖出报表列表,点击【检测淘客】按钮,等待返回检测结果;

帝国CMS淘宝客插件,帝国自动调用淘宝客插件链接自动转换

插件功能 可以根据根据设置的字段自动调用淘宝客商品数量,适用于各种资讯和导购站 具体看演示地址,可根据自己的样式来调用数据

淘宝客接入PHP(一)

1、文件位置 extend/tbk文件里面 2、引入tbk的sdk Loader::import(TopSdk, EXTEND_PATH."/tbk/taobaoke");3、修改autoload文件 直接运行报一下错误,是因为这个类给了namespace的原因。 两种解决方案,1、删除namespace 2、修改为spl_autoloa…

淘宝开放平台Api的小试牛刀(获取淘宝客推广商品信息)

最近在学习淘宝开放平台,属于初学小菜鸟,有一点点小成就给大家分享一下。 要做这个东西,第一步你必须注册为淘宝开发方平台的开发人员。地址:http://open.taobao.com/index.htm 点击加入开放平台, 配图:…

淘宝客高手必备的14大WordPress插件

做淘宝客相信没有人不知道WP的。WordPress一款是用PHP语言和MySQL数据库开发的开源程序。由于WP的安装和使用都非常简单,并且 功能非常强大,可使用的插件和模板数量非常庞大,目前WordPress已经成为国外内主流的Blog搭建平台。WordPress的好处…

java淘宝客开发(一)

java淘宝客开发(一) java淘宝客开发(一)基础 网站建设与权限申请OAuth2权限权限开发测试淘宝客私域用户管理能力调研结果 java淘宝客开发(一) 淘宝客基于CPS模式,带货分佣,这几年短…

电动力学专题:电磁场规范不变性与规范自由度

对称性,不变性,相对性,协变形 在现代物理学中常常被认为具有相同的含义(好拗口) 规范与规范的自由度 保证电磁场物理量不改变的情况下,有多组势可供选择,而每组势可以称为一个规范 规范不变性…

淘宝客工具箱源码,一键转链,淘口令解析 淘宝客中间页生成

淘宝客工具箱,方便淘宝客推广者在微信朋友圈、微信群等渠道进行推广淘口令,生成中间页用于安全推广措施。 因为自己有好几个微信号,都是学生,所以本人做了1年淘宝客,一个月赚个两三千也是钱啊。但是微信做淘客&#x…

Wordpress淘宝客专用链接跳转插件Pretty Link Lite

很多做淘宝客的朋友在网页优化方面需要一种网址跳转服务,虽然目前有很多网站推出免费的短网址服务,但是也容易导致权重流失,因此多数Wordpress站长肯定更需要这种基于自己域名的短网址跳转插件,可以设置一个简洁的站内链接重定向至…

wordpress古腾堡淘宝客插件,支持京东淘宝

做网站的时候需要插入一些推广商品,在网上找了一圈,要么收费,要么不支持wordpress的古腾堡编辑器,我找到晋哥哥博客和wptao的,wptao的收费,晋哥哥的只支持经典编辑器。不符合我的需求,我就看文档…

如何才能做好企业内部客服知识管理?

企业内部客服知识管理是指企业通过对客户服务过程中所涉及的信息、知识和技能进行系统化、规范化、科学化、数字化的管理,提高企业内部客服人员的服务质量和效率,帮助企业提高客户满意度,增强客户黏性,提高企业的市场竞争力。本文…

公司大规模裁员的时间轴

正如我们常说的公司在大规模裁员之前是有很多征兆的,不是就拍怕脑袋决定的。 这次公司的裁员真的属于教科书级别的裁员,因此觉得记录下公司整个过程的时间轴是有意义的,希望能够给所有朋友有个参考。 也很想知道的是,如果是你&am…

面试专题:java虚拟机(2)

8.垃圾收集有哪些算法,各自的特点? 标记清除 直接将要回收的对象标记,发送gc的时候直接回收:特点回收特别快,但是回收以后会造成 很多不连续的内存空间,因此适合在老年代进行回收,CMS(current…

uniapp(二) 之 uniapp 搭建与组件库的引用

小扩展: rpx(responsive pixel):可以根据屏幕宽度自适应。规定屏幕宽度为750rpx。如果iphon6上,屏幕宽度为375px,共有750个像素,则750rpx 375培训 750物理像素,1rpx 0.5px 1物理像素。 页面跳转&#xff…

linux进程管理工具supervisor安装卸载、子配置文件详解、遇到的问题、supervisor group群组管理、启动一个springboot项目示例、update命令注意点

简介 Supervisor是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启。 它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动,这样只要在…