KubeShare: A Framework to Manage GPUs as First-Class and Shared Resources in Container Cloud * 精简概括 *.1 What KubeShare，一个用于在 Kubernetes 中支持 GPU 共享的框架. *.2 Why GPU 虚拟化在容器中却做得很有限。实现 GPU 共享以提高 GP...

GaiaGPU: Sharing GPUs in Container Clouds * 精简概括 *.1 What GaiaGPU，用于在容器之间共享 GPU memory and computing resources *.2 Why 提高 GPU 利用率 基于容器的 GPU 虚拟化仍处于初始阶段 *.3 How 根据 Kubernetes 的设备插件框架将物理 GPU 划...

解题记录 11 月总结 本月有价值的题目： 11-12 Range 模块：平衡二叉搜索树的模板 11-13 区域和检索 - 数组可修改 ：线段树的模板 11-14 阈值距离内邻居最少的城市：Dijkstra 的模板 11-17 最大和查询：有难度的题目，单调栈 11-19 三个无重叠子数组的最大和：滑动窗口，动态规划 11-23 HTML 实体解析器：字符串替...

部署测试 Gemini 1. System Structure Gemini 由三部分组成： Scheduler：一个守护进程，管理令牌。基于在资源配置文件（resource-config.txt）中提供的信息，调度器确定要授予令牌的对象。客户端只有在持有有效令牌时才能启动 CUDA 核心。 hook library：一个拦截 CUDA 相关函数调用的库。它利用 LD_PRE...

Gemini: Enabling Multi-Tenant GPU Sharing Based on Kernel Burst Estimation * 精简概括 *.1 What *.2 Why *.3 How 0 Abstract Gemini，一个用户空间运行时调度框架，以支持多租户和弹性分配。 关键思想是引入内核突发（kernel burst）的概念，它指的是一组连续的...

使用张量表达式和 Schedule 1 TVM 中的 Schedule 原语 通过 TVM 提供的各种原语来调度计算。 from tvm import te Scheduel 是一组计算转换，用于指定执行特定操作的策略和顺序。 声明变量：n = te.vat("n") Scheduel 可由算子列表创建，它默认以行优先的方式串行计算张量 lower 会将计算从定义转换为实际可...

TVM 学习笔记：进阶 1 TVM 原理 TVM 是一个开源的深度学习编译器，适用于 CPU、GPU、ARM 等多种硬件架构 从 TensorFlow、PyTorch 或 ONNX 等框架导入模型 翻译成 TVM 的高级模型语言 Relay Realy 是神经网络的功能语言和中间表示（IR），应用图级优化 pass 来优化模型 ...

VMware 虚拟机扩展硬盘大小 增加 VMware 虚拟硬盘容量： 关闭 Ubuntu 虚拟机，在设置中更改硬盘大小，保存设置 在 Ubuntu 内部扩展文件系统： 安装 gparted： sudo apt install gparted 启动 gparted： sudo gparted ...

Paella: Low-latency Model Serving with Software-defined GPU Scheduling * 精简概括 *.1 What Paella，是一个用于在共享 GPU 上进行低延迟机器学习推断的轻量级框架 实现了调度器的软件化，这允许 Paella 服务平台根据任意性能/公平性指标精确地调度每个 CUDA 内核 *.2 Why 模型服...

TVM 学习笔记：部署与运行 1 TVM 原理 TVM 是一个开源的深度学习编译器，适用于 CPU、GPU、ARM 等多种硬件架构 从 TensorFlow、PyTorch 或 ONNX 等框架导入模型 翻译成 TVM 的高级模型语言 Relay Realy 是神经网络的功能语言和中间表示（IR），应用图级优化 pass 来优化模型 ...