书生·浦语大模型全链路开源体系介绍

背景介绍

随着人工智能技术的迅猛发展，大模型技术已成为当今人工智能领域的热门话题。2022 年 11 月 30 日，美国 OpenAI 公司发布了 ChatGPT 通用型对话系统 并引发了全球 的极大关注，上线仅 60 天月活用户数便超过 1 亿，成为历史上用户增长最快的互联网 应用产品。2023 年 3 月 14 日，OpenAI 公司再次发布了升级版模型 GPT-4 又展现 出了更高阶的能力，再一次实现了技术飞跃，并在全球范围掀起大模型发展浪潮。不仅国外科技巨头纷纷加码布局，推动大模型产业的快速落地，国内的头部企业也积极追赶步伐，竞相抢滩大模型的新赛道，抢抓认知智能大模型带来的历史机遇，下图为ChatGPT的发布时间线。
[图片]
在OpenAI发布GPT3.5后，各大模型厂商积极跟进，相继推出各类大模型。国内本土已经发布近80款参数量在十亿量级以上的大模型，主要有华为、阿里、百度、腾讯等，亦有清华大学等高校机构。
在这里插入图片描述
专用大模型： 针对特定任务，一个模型解决一个问题，比如适用于围棋比赛的围棋大模型
在这里插入图片描述
通用大模型： 一个模型应对多种任务、多种模态

大模型介绍

书生·浦语大模型开源历程：
在这里插入图片描述
书生·浦语大模型系列：
在这里插入图片描述
以20B开源大模型为例，其性能全面领先相近量级的开源模型（包括Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型），以不足三分之一的参数量，达到Llama2-70B水平。
在这里插入图片描述

大模型开源开放体系

在这里插入图片描述
数据： 开放了书生万卷，具有2TB数据，涵盖多种模态与任务
预训练： 开源了InternLM-Train框架，支持并行训练，进行了极致优化，速度达到3600 tokens/sec/gpu
微调： 开源了XTuner框架，支持 全参数微调，支持LoRA等低成本微调
部署： 开源了LMDeploy框架，支持全链路部署，性能领先，每秒生成2000+ tokens
评测： 开源OpenCompass框架，支持全方位评测，性能可复现，80套评测集，40万道题目
应用： 开源了Lagent、AgentLego项目，支持多种智能体，支持代码解析器多种工具调用

数据-书生万卷

在这里插入图片描述
在这里插入图片描述

预训练

在这里插入图片描述

微调

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评测

在这里插入图片描述
OpenCompass提供的评测集
在这里插入图片描述
OpenCompass 开源评测平台架构
在这里插入图片描述
OpenCompass的亮点
在这里插入图片描述
OpenCompass支持的模型
在这里插入图片描述

部署

在这里插入图片描述

LMDeploy 提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务

在这里插入图片描述

智能体应用

在这里插入图片描述
轻量级智能体框架Lagent
在这里插入图片描述
多模态智能体工具箱 AgentLego
在这里插入图片描述

总结

总之书生浦语是一个大模型全链路开源体系，为开发者提供了从数据集准备到模型训练、部署和应用的全套解决方案。通过该体系，开发者可以自由定制和扩展模型，满足不同场景下的需求。

本文提到的相关框架工具地址：
OpenDataLab: https://opendatalab.com/home
书生万卷：https://opendatalab.com/OpenDataLab/WanJuan1_dot_0
预训练框架：https://github.com/InternLM/InternEvo
微调框架XTuner：https://github.com/InternLM/xtuner
部署框架LMDeploy：https://github.com/InternLM/lmdeploy
Lagent：https://github.com/InternLM/lagent
AgentLego：https://github.com/InternLM/agentlego
评估框架OpenCompass: https://github.com/open-compass/opencompass

作者其他不相干的专栏，也来看看：

  • Prometheus+Grafana 实践派

Prometheus来自CNCF的产品，云原生时代监控产品； Grafana是一款开源的指标可视化工具，拥有大量的插件和图表工具来查询，展示您的指标，本专栏从基础知识开始学习，逐渐进阶，最终实现企业级统一监控目标

  • Loki + Tempo

一步步学习Grafana家族的轻量型聚合日志框架-Loki，链路追踪框架-Tempo

  • Spring Boot 3.x

Spring Boot 具有 Spring 一切优秀特性，Spring 能做的事，Spring Boot 都可以做，本专栏将全面介绍Spring Boot特性，继而对其进行全面的源码分析，不再犀牛望月，Spring Boot 版本：3.x

  • Spring Security

使用Spring Security版本5.7.2

  • Spring Boot Admin2

SBA2 源码解析

  • 阿提小作

作者平时心血来潮开发的小系统，都在运行玩了一段时间后停了

等等，还有其他很多

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/2813717.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

开源人脸检测模型MTCNN简单的例子

开源人脸检测模型MTCNN简单的例子

阅读本文之前可以先参阅----神经网络中的重要概念 如何快速入门深度学习 当使用MTCNN模型进行人脸检测时，你可以使用Python编程语言和相应的深度学习库来实现。下面是一个简单的例子，演示了如何使用MTCNN模型进行人脸检测： 首先，…
阅读更多...
每日学习总结20240227

每日学习总结20240227

每日总结 20240227 1.如何将字符串通过串口以十六进制进行传输 将文件名或者文件内容通过串口传输，再解析，拼接成源文件 1.1 文件转换 1.1.1 转十六进制 在Linux中，你可以使用 xxd 命令将文本文件转换为十六进制格式。以下是如何在Linux中…
阅读更多...
天翼云登录参数JavaSrcipt逆向

天翼云登录参数JavaSrcipt逆向

天翼云登录参数 password 、comParam_curTime、comParam_seqCode、comParam_signature JavaSrcipt逆向 目标网站 https://m.ctyun.cn/wap/main/auth/login?redirect/my 目标参数 要逆向的有 password、comParam_curTime、comParam_seqCode、comParam_signature 四个参数 …
阅读更多...
【蓝桥杯嵌入式】蓝桥杯嵌入式第十四届省赛程序真题，真题分析与代码讲解

【蓝桥杯嵌入式】蓝桥杯嵌入式第十四届省赛程序真题，真题分析与代码讲解

🎊【蓝桥杯嵌入式】专题正在持续更新中，原理图解析✨，各模块分析✨以及历年真题讲解✨都已更新完毕，欢迎大家前往订阅本专题🎏 🎏【蓝桥杯嵌入式】蓝桥杯第十届省赛真题 🎏【蓝桥杯嵌入式】蓝桥…
阅读更多...
软件测试笔记（三）：黑盒测试

软件测试笔记（三）：黑盒测试

1 黑盒测试概述 黑盒测试也叫功能测试，通过测试来检测每个功能是否都能正常使用。在测试中，把程序看作是一个不能打开的黑盒子，在完全不考虑程序内部结构和内部特性的情况下，对程序接口进行测试，只检查程序功能是否按…
阅读更多...
Web前端3D JS框架和库 整理

Web前端3D JS框架和库 整理

在WebGL库和SVG/Canvas元素的支持下，JavaScript变得惊人的强大。几乎可以为网络构建任何东西，包括基于浏览器的游戏和本地应用，许多最新的突破性功能都在3D上运行。 为此，「数维图小编」整理了19个交互式3D Javascript库和框架&am…
阅读更多...
开心的金明

开心的金明

好久没发文章了，随着这一题开始2024年吧！ 题目描述 金明今天很开心，家里购置的新房就要领钥匙了，新房里有一间他自己专用的很宽敞的房间。更让他高兴的是，妈妈昨天对他说：“你的房间需要购买哪些物品&…
阅读更多...
每日一练：LeeCode-235、二叉搜索树的最近公共祖先【二叉搜索树+DFS+从上往下】

每日一练：LeeCode-235、二叉搜索树的最近公共祖先【二叉搜索树+DFS+从上往下】

本文是力扣每日一练：LeeCode-235、二叉搜索树的最近公共祖先【二叉搜索树DFS从上往下】 学习与理解过程，本文仅做学习之用，对本题感兴趣的小伙伴可以出门左拐LeeCode。 给定一个二叉搜索树, 找到该树中两个指定节点的最近公共祖先。 百度百…
阅读更多...
idea2023新UI风格不见了怎么办？

idea2023新UI风格不见了怎么办？

用了一段时间idea2023,有一天不知道点了什么，整个UI又变成了2022的风格 如果想换成2023的UI风格怎么办？ 点击file->setting->new UI->勾选Enable new UI，restart就可以回到最新版本的UI了 新风格
阅读更多...
wu-framework-parent 项目明细

wu-framework-parent 项目明细

wu-framework-parent 介绍 springboot 版本3.2.1 wu-framework-parent 是一款由Java语言开发的框架，目标不写代码但是却能完成功能。 框架涵盖无赖ORM( wu-database-lazy-starter)、仿生组件 、easy框架系列【Easy-Excel、easy-listener、easy-upsert】 授权框架(…
阅读更多...
【C++进阶】STL容器--list底层剖析（迭代器封装）

【C++进阶】STL容器--list底层剖析（迭代器封装）

目录 前言 list的结构与框架 list迭代器 list的插入和删除 insert erase list析构函数和拷贝构造 析构函数 拷贝构造 赋值重载 迭代器拷贝构造、析构函数实现问题 const迭代器 思考 总结 前言 前边我们了解了list的一些使用及其注意事项，今天我们进一步深入…
阅读更多...
对于大前端开发来说，转鸿蒙开发究竟是福还是祸？

对于大前端开发来说，转鸿蒙开发究竟是福还是祸？

从铺天盖地的市场消息来看，华为即将面世的鸿蒙NEXT系统已经势不可挡了 想必大家都已经迫不及待地想要进行尝试。 估计大家都有着同样的疑问： 会不会是下一个风口？转鸿蒙应用开发难吗？ 会不会是下一个风口？ 自从鸿蒙…
阅读更多...
C++：类与对象（3）

C++：类与对象（3）

创作不易，感谢三连 一、深入解析构造函数 如上图，在一般情况下，我们认为A类中的_a1和_a2只不过是声明，并没有开空间，而真正的空间开辟是在【定义】的时候，也就是我们根据这个类实例化出整个对象的时候。 …
阅读更多...
高级RAG：从理论到 LlamaIndex 实现，解决原始 RAG 管道的局限性

高级RAG：从理论到 LlamaIndex 实现，解决原始 RAG 管道的局限性

原文地址：Advanced Retrieval-Augmented Generation: From Theory to LlamaIndex Implementation 如何通过在 Python 中实现有针对性的高级 RAG 技术来解决原始 RAG 管道的局限性 2024 年 2 月 19 日 如何通过在 Python 中实现有针对性的高级 RAG 技术来解决 naiv…
阅读更多...
【LeetCode刷题】146. LRU 缓存

【LeetCode刷题】146. LRU 缓存

请你设计并实现一个满足 LRU (最近最少使用) 缓存 约束的数据结构。 实现 LRUCache 类： LRUCache(int capacity) 以 正整数 作为容量 capacity 初始化 LRU 缓存int get(int key) 如果关键字 key 存在于缓存中，则返回关键字的值，否则返回 -…
阅读更多...
【数据结构】B树，B+树，B*树

【数据结构】B树，B+树，B*树

文章目录 一、B树1.B树的定义2.B树的插入3.B树的中序遍历 二、B树和B*树1.B树的定义2.B树的插入3.B*树的定义4.B树系列总结 三、B树与B树的应用 一、B树 1.B树的定义 1. 在内存中搜索效率高的数据结构有AVL树，红黑树，哈希表等，但这是在内存…
阅读更多...
SpreadJS+vue3练手使用

SpreadJS+vue3练手使用

SpreadJS的练手使用 // 首先在 package.json 这个文件里{"name": "app-admin","private": true,"version": "0.0.0","type": "module","scripts": {"dev": "vite",&quo…
阅读更多...
前端——WEB-API那些有意思的api

前端——WEB-API那些有意思的api

1.URL和URLSearchParams 一个用于解析URL&#xff0c;一个用于查询URL的Parmas <script >let url http://zyfp-fof.ss.gofund.cn/list?type0&dst1let urlApinew URL(url)let dstnew URLSearchParams(urlApi.search).get(dst)console.log(dst);</script> 我…
阅读更多...
猫头虎分享已解决Bug || 节点失联（Node Disconnection）：NodeLost, ClusterNodeFailure

猫头虎分享已解决Bug || 节点失联（Node Disconnection）：NodeLost, ClusterNodeFailure

博主猫头虎的技术世界 &#x1f31f; 欢迎来到猫头虎的博客 — 探索技术的无限可能&#xff01; 专栏链接&#xff1a; &#x1f517; 精选专栏&#xff1a; 《面试题大全》 — 面试准备的宝典&#xff01;《IDEA开发秘籍》 — 提升你的IDEA技能&#xff01;《100天精通鸿蒙》 …
阅读更多...
web.py架构使用database接口连接mysql

web.py架构使用database接口连接mysql

安装mysql sudo apt-get update sudo apt-get install mysql-server sudo apt-get install mysql-client测试mysql systemctl status mysql.service配置mysql //修改密码 sudo mysql -u root -p set password for 用户名localhost password(新密码); //修改root的host属性…
阅读更多...
最新文章

Copyright @ 2022~2023