如何使用 PyTriton 在 Python 中部署 AI 模型
off999 2024-11-25 15:55 19 浏览 0 评论
如何使用 PyTriton 在 Python 中部署 AI 模型
AI 模型无处不在，以聊天机器人、分类和摘要工具、用于分割和检测的图像模型、推荐模型等形式出现。AI 机器学习 (ML) 模型有助于实现许多业务流程的自动化，从数据中生成见解，并提供新的体验。
Python 是 AI/ML 开发中最流行的语言之一。在这篇文章中，您将学习如何使用NVIDIA Triton Inference Server 通过新的 PyTriton 接口在 Python 代码和环境中提供模型服务。
更具体地说，您将学习如何在 Python 开发环境中使用生产类工具对AI模型进行原型化和测试推理，以及如何使用 PyTriton 接口进行生产。您还将了解与 FastAPI 或 Flask 等通用 web 框架相比，使用 PyTriton 的优势。这篇文章包括几个代码示例，以说明如何激活高性能批处理、预处理和多节点推理;并实施在线学习。
通过减少指令缓存丢失提高 GPU 性能
GPU 是专门为高速处理大量数据而设计的。它们拥有大量的计算资源，称为流式多处理器 (SMs)，以及一系列的设施来为它们提供数据：高带宽到内存、相当大的数据缓存，以及在活动团队数据耗尽时切换到其他工作团队 (warps) 而无需任何开销的能力。
然而，数据饥饿仍然可能发生，许多代码优化都集中在这个问题上。在某些情况下，SM 缺少的不是数据，而是指令。这篇文章介绍了一个由于指令缓存丢失而导致 GPU 工作负载变慢的调查。它描述了如何识别这个瓶颈，以及消除它以提高性能的技术。
认识到问题
这项研究的起源是基因组学领域的一个应用，其中需要解决将 DNA 样本的小片段与参考基因组比对的许多小而独立的问题。背景是众所周知的 Smith-Waterman 算法 (但这本身对讨论并不重要)。
在功能强大的 NVIDIA H100 Hopper GPU 的中型数据集上运行该程序，具有114 个 SM，显示出良好的前景。NVIDIA Nsight Compute (NCU) 工具可以分析一个程序在 GPU 上的执行情况，它证实了 SM 在进行有用的计算时非常忙，但有一个障碍。
构成整体工作负载的许多小问题 (每个问题由自己的线程处理) 可以同时在 GPU 上运行，因此并非所有的计算资源都一直被充分利用。这表示为一个小而非整数的波。GPU 的工作被划分为称为线程块的块，一个或多个可以驻留在 SM 上。如果一些 SM 收到的线程块比其他 SM 少，那么它们将耗尽工作，并且在其他 SM 继续工作时必须空闲。
用线程块完全填充所有 SM 构成一个波。NCU 尽职尽责地报告每个 SM 的波数。如果这个数字恰好是 100.5，这意味着并非所有的 SM 都有相同的工作量要做，并且有些 SM 被迫空闲。但分布不均的影响并不大。大多数情况下，SM上的负载是平衡的。例如，如果波的数量只有 0.5，情况就会改变。在更大比例的时间里，SM 经历了不均匀的工作分配，这被称为 “尾部” 效应。
*本文转载自 NVIDIA英伟达
*与 NVIDIA 产品相关的图片或视频（完整或部分）的版权均归 NVIDIA Corporation 所有。
相关推荐
- 推荐一款Python的GUI可视化工具（python 可视化工具）
-
在Python基础语法学习完成后，进一步开发应用界面时，就需要涉及到GUI了，GUI全称是图形用户界面（GraphicalUserInterface，又称图形用户接口），采用图形方式显示的计算机操...
- 教你用Python绘制谷歌浏览器的3种图标
-
前两天在浏览matplotlib官方网站时，笔者无意中看到一个挺有意思的图片，就是用matplotlib制作的火狐浏览器的logo，也就是下面这个东东（网页地址是https://matplotlib....
- 小白学Python笔记:第二章 Python安装
-
Windows操作系统的python安装：Python提供Windows、Linux/UNIX、macOS及其他操作系统的安装包版本，结合自己的使用情况，此处仅记录windows操作系统的python...
- Python程序开发之简单小程序实例(9)利用Canvas绘制图形和文字
-
Python程序开发之简单小程序实例（9）利用Canvas绘制图形和文字一、项目功能利用Tkinter组件中的Canvas绘制图形和文字。二、项目分析要在窗体中绘制图形和文字，需先导入Tkinter组...
- 一文吃透Python虚拟环境（python虚拟环境安装和配置）
-
摘要在Python开发中，虚拟环境是一种重要的工具，用于隔离不同项目的依赖关系和环境配置。本文将基于windows平台介绍四种常用的Python虚拟环境创建工具：venv、virtualenv、pip...
- 小白也可以玩的Python爬虫库，收藏一下
-
最近，微软开源了一个项目叫「playwright-python」，作为一个兴起项目，出现后受到了大家热烈的欢迎，那它到底是什么样的存在呢？今天为你介绍一下这个传说中的小白神器。Playwright是...
- python环境安装+配置教程（python安装后怎么配置环境变量）
-
安装python双击以下软件：弹出一下窗口需选择一些特定的选项默认选项不需要更改，点击next勾选以上选项，点击install进度条安装完毕即可。到以下界面，证明安装成功。接下来安装库文件返回电脑桌面...
- colorama，一个超好用的 Python 库!
-
大家好，今天为大家分享一个超好用的Python库-colorama。Github地址：https://github.com/tartley/coloramaPythoncolorama库是一...
- python制作仪表盘图（python绘制仪表盘）
-
今天教大家用pyecharts画仪表盘仪表盘(Gauge)是一种拟物化的图表，刻度表示度量，指针表示维度，指针角度表示数值。仪表盘图表就像汽车的速度表一样，有一个圆形的表盘及相应的刻度，有一个指针...
- 总结90条写Python程序的建议（python写作）
-
1.首先 建议1、理解Pythonic概念—-详见Python中的《Python之禅》 建议2、编写Pythonic代码 （1）避免不规范代码，比如只用大小写区分变量、使用容易...
- [oeasy]python0137_相加运算_python之禅_import_this_显式转化
-
变量类型相加运算回忆上次内容上次讲了是从键盘输入变量input函数可以有提示字符串需要有具体的变量接收输入的字符串输入单个变量没有问题但是输入两个变量之后一相加就非常离谱添加图片注释，不超过1...
- Python入门学习记录之一:变量（python中变量的规则）
-
写这个，主要是对自己学习python知识的一个总结，也是加深自己的印象。变量（英文：variable），也叫标识符。在python中，变量的命名规则有以下三点：>变量名只能包含字母、数字和下划线...
- 掌握Python的"魔法":特殊方法与属性完全指南
-
在Python的世界里，以双下划线开头和结尾的"魔法成员"（如__init__、__str__）是面向对象编程的核心。它们赋予开发者定制类行为的超能力，让自定义对象像内置类型一样优雅工...
- 11个Python技巧 不Pythonic 实用大于纯粹
-
虽然Python有一套强大的设计哲学（体现在“Python之禅”中），但总有一些情况需要我们“打破规则”来解决特定问题。这触及了Python哲学中一个非常核心的理念：“实用主义胜于纯粹主义”...
- Python 从入门到精通 第三课 诗意的Python之禅
-
导言：Python之禅，英文名是TheZenOfPython。最早由TimPeters在Python邮件列表中发表，它包含了影响Python编程语言设计的20条软件编写原则。它作为复活节彩蛋...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)