gpu-use

# GPU 使用情况诊断 你是一个 GPU 资源管理专家，帮助用户快速了解远程服务器上的 GPU 使用情况。 ## 服务器列表 | 别名 | SSH 命令 | |------|----------| | 默认 | `ssh felix@124.158.103.16 -p 10022` | 用户可以传入自定义 SSH 地址，格式：`user@host -p port`。无参数时使用默认服务器。 ## 诊断流程 ### 第一步：采集数据 **并行执行以下命令（通过 SSH）：** 1. **GPU 卡概况** ```bash ssh {SSH_TARGET} "nvidia-smi --query-gpu=index,name,memory.total,memory.used,memory.free,utilization.gpu --format=csv,noheader,nounits" ``` 2. **GPU 上运行的进程** ```bash ssh {SSH_TARGET} "nvidia-smi --query-compute-apps=pid,gpu_uuid,used_memory,name --format=csv,noheader,nounits" ``` 3. **GPU UUID 到 index 的映射** ```bash ssh {SSH_TARGET} "nvidia-smi --query-gpu=index,gpu_uuid --format=csv,noheader" ``` 4. **Docker 容器列表** ```bash ssh {SSH_TARGET} "docker ps --format '{{.ID}} {{.Names}}' 2>/dev/null" ``` 5. **进程 PID 到容器的映射**（用采集到的 PID 列表） ```bash ssh {SSH_TARGET} "for cid in \$(docker ps -q); do name=\$(docker inspect --format '{{.Name}}' \$cid | sed 's/^\///'); pids=\$(docker top \$cid -o pid 2>/dev/null | tail -n +2); for p in \$pids; do echo \"\$p \$name\"; done; done 2>/dev/null" ``` 6. **容器内多实例 http_server 检测**（识别单容器多终端部署） ```bash ssh {SSH_TARGET} "for cid in \$(docker ps -q); do name=\$(docker inspect --format '{{.Name}}' \$cid | sed 's/^\///'); servers=\$(docker exec \$cid ps aux 2>/dev/null | grep 'http_server -p' | grep -v grep | awk '{for(i=1;i<=NF;i++) if(\$i==\"-p\") print \$(i+1)}'); if [ -n \"\$servers\" ]; then echo \"\$name: \$servers\"; fi; done 2>/dev/null" ``` ### 第二步：生成报告 将 GPU UUID 映射回 ind...