ubuntu显卡驱动安装docker运行ollama方案

系统信息

• 系统: Ubuntu 22.04
• 显卡: Tesla T4
• CPU: 32核
• 内存: 32G
  

  安装CUDA

  官方地址:https://developer.nvidia.com/cuda-downloads
  

• 选择对应的显卡信息, 复制下方CUDA .run文件然后进行安装

安装NVIDIA Container 运行时库

• 官网镜像在nvidia.github.io, 国内网络可能不可达, 可以使用 中国科大镜像源: https://mirrors.ustc.edu.cn/help/libnvidia-container.html
• 按照教程安装 NVIDIA Container

安装ollama

docker run -d --gpus=all -e OLLAMA_KEEP_ALIVE=-1  -v /home/ollama:/root/.ollama -p 11434:11434  --restart=always --name ollama ollama/ollama