ROCm 支持 PyTorch、TensorFlow、JAX、vLLM、SGLang、ONNX Runtime、Hugging Face 等主流 AI 框架，并持续扩展生态。下面按类别梳理。

深度学习框架

- PyTorch：支持最成熟，覆盖训练和推理，官方提供 ROCm 版 Docker 镜像和 pip 安装包。

- TensorFlow：支持训练和推理，Linux 下支持完整。

- JAX：支持推理，ROCm 7.14 已支持 JAX 0.10.0。

推理引擎与服务

- vLLM：完整支持，ROCm 7.14 提供 Day-0 支持，vLLM 0.32.0 还针对 Radeon 和 Ryzen AI 做了 Attention 后端优化。

- SGLang：支持，提供官方 Docker 镜像。

- ONNX Runtime：支持，含 INT8/INT4 量化推理。

- llama.cpp：支持高效推理，适合本地部署。

模型生态与工具

- Hugging Face：支持超过 300 万个模型，新开源模型发布当天即可运行。

- Megatron-LM：支持大规模分布式训练。

- DeepSpeed：ROCm 7.14 已原生支持。

- Triton：AMD 与 OpenAI 合作，针对 Instinct MI455X 优化 GPT 级负载。

本地开发与部署

- 锐龙 AI 平台：支持 PyTorch、vLLM、llama.cpp、Ollama、ComfyUI、LM Studio 等，适合本地跑大模型和扩散模型。

- Windows 支持：ROCm 7 起，Radeon 和 Ryzen AI 平台在 Windows 上支持 PyTorch。


ROCm 10 在哪些方面强化了对 AI 大模型应用的技术支持

ROCm 10 对 AI 大模型的支持扩展主要集中在推理框架、模型微调、开发工具链和硬件覆盖这几个方面，核心是让 AMD 显卡在跑大模型时更省事、更快。

推理框架支持

- vLLM 和 SGLang 达到生产就绪：可直接在 AMD Instinct、Radeon 和 Ryzen 硬件上运行 LLM 推理，无需从源码编译整个栈，官方已验证并回馈上游社区。

- 新增对 llama.cpp 的 ROCm 10 支持：提供 Linux 和 Windows 预编译二进制，AMD GPU 用户可直接运行模型，无需自己编译。

- ONNX Runtime 有了 ROCm 10 专用执行提供程序：下载的.onnx 模型可直接在 Radeon 显卡上跑，省去环境配置麻烦。

- ComfyUI 优化扩展：针对图像和视频生成模型的优化进一步增强。

模型微调与本地开发

- 新增对 Unsloth 的支持：在 Ryzen AI MAX 平台上支持大模型快速、内存高效的本地微调，配合 LoRA、QLoRA 技术降低内存需求，无需依赖云即可本地微调。

- ROCm.AI 平台全面开放：整合 ROCm CLI、AMD Skills 和 Hyperloom 三大能力，其中 Hyperloom 可自主完成推理负载的剖析、瓶颈定位、优化和验证闭环。

开发工具与生态

- AMD Skills 接入主流 AI 编码助手：将 ROCm 验证过的知识注入 Claude Code、Cursor、Codex 等工具，辅助编写 AMD 硬件优化代码。

- ROCm CLI 统一命令行入口：提供环境安装、模型服务、诊断与运行时管理，支持多版本运行时激活与回滚。

- ROCm Core SDK 模块化重构：Windows 和 Linux 统一 SDK 定义和发布节奏，退役 Windows 独立 HIP SDK，解决跨平台适配难题。

硬件与性能

- 新增支持 Radeon RX 9050（4GB/8GB 版）：消费级显卡也能跑完整 ROCm AI 推理栈，可本地部署 Phi-3.5、Qwen2.5-1.5B、Llama3.2-3B 等小模型。

- 扩展虚拟化支持：通过 IOMMU + SR-IOV 技术在 EPYC 服务器上实现多租户隔离的 ROCm 容器调度。

- 性能提升明显：官方数据显示，配置 ROCm.AI 的 ROCm 10 相比 ROCm 7，推理性能平均提升 3.3 倍，训练性能平均提升 2.4 倍。

> 需要说明的是，3.3 倍推理性能数据基于 ROCm 7.0 对比、且使用包含优化内核的预览版配置，普通用户初次上手可能仍需代码调优才能达到理想性能。