因为最近要部署Qwen3.5系列的模型在内网使用，如Qwen3.5-9b，原来使用的vllm需要升级到0.17.0，而原来的cuda12.2版本不满足要求，需要的cuda版本必须是12.9及以上，所以内网的GPU的服务器需要连接到外网来进行升级显卡驱动及cuda版本。
升级前的版本：
首先要把旧的显卡驱动和cuda删除。
查看并卸载 APT 方式安装的 NVIDIA 和 CUDA 包。
# 查看已安装的包 如果不是apt方式安装的，这里可能没有输出信息
dpkg -l | grep nvidia
dpkg -l | grep cuda
# 卸载 NVIDIA 相关包
sudo apt-get autoremove --purge nvidia-*
# 卸载 CUDA 相关包
sudo apt-get autoremove --purge cuda-*
# 卸载 NCCL（与 CUDA 版本配套）
sudo apt-get autoremove --purge *nccl*
卸载Runfile方式安装的驱动和cuda
# 卸载 NVIDIA 驱动（如果存在 runfile 安装的版本）
sudo /usr/bin/nvidia-uninstall
# 卸载 CUDA（如果通过 runfile 安装）
# 注意：将路径中的版本号替换为实际安装的版本
sudo /usr/local/cuda-12.2/bin/cuda-uninstaller
# 删除残留的 CUDA 目录
sudo rm -rf /usr/local/cuda-12.2
sudo rm -rf /usr/local/cuda # 如果软链接指向旧版本
清理残留配置信息
# 彻底移除所有 CUDA 残留包
sudo apt-get --purge -y remove 'cuda*'
sudo apt-get --purge -y remove 'nvidia*'
# 自动清理无用依赖
sudo apt autoremove
sudo apt autoclean
# 检查是否还有残留的 CUDA 相关文件
dpkg -l | grep -E "nvidia|cuda"
# 如有输出，使用以下命令逐个删除残留包（替换为实际包名）
# sudo dpkg -P 具体包名
重启系统并验证已卸载
sudo reboot
nvidia-smi # 应显示"command not found"或驱动版本消失
nvcc --version # 应显示"command not found"
获取对应系统版本的安装文件，可以选runfile或deb方式。
这里使用deb的文件安装，自动管理依赖，方便后续升级
# 1. 下载 CUDA 12.9 的 deb 安装包
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.1-1_all.deb
# 2. 安装 keyring
sudo dpkg -i cuda-keyring_1.1-1_all.deb
# 3. 更新 APT 源
sudo apt update
# 4. 安装 CUDA 12.9（会自动安装配套的 NVIDIA 驱动）
sudo apt install cuda-12-9
安装NVIDIA驱动
apt install nvidia-utils-570-server
sudo apt-get install -y cuda-drivers
配置环境变量
# CUDA 12.9 环境变量
export CUDA_HOME=/usr/local/cuda-12.9
export PATH=$PATH:$CUDA_HOME/bin
export LD_LIBRARY_PATH=$CUDA_HOME/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
# 使配置生效
source ~/.bashrc
验证是否升级成功
nvidia-smi
nvcc --version
可能会出现错误：
Failed to initialize NVML: Driver/library version mismatch
NVML library version: 575.57
这是因为内核加载的驱动版本与用户空间的 NVML 库版本不一致，最后需要重启，重启后内核会加载新版本的驱动模块。
sudo reboot
重启后就正常了。
最后的升级成功后：
所有的操作如下：
这个升级还是挺顺利挺快的，没出现太多问题，但这个Ubuntu20.04最多就是升级到12.9.1版本了，后面再升级到13以上就要升级操作系统了。
接下来的就是使用vllm及下载qwen3.5-9b模型文件部署及测试了。
支付宝微信扫一扫，打赏作者吧～本文链接：https://www.kinber.cn/post/6500.html 转载需授权！
推荐本站淘宝优惠价购买喜欢的宝贝:
您阅读本篇文章共花了： 
