本文介绍了陈天奇 TVM 团队提出的使用 AMD 显卡进行大模型推理的解决方案，通过优化方法，AMD Radeon RX 7900 XTX 的性能可以达到英伟达 RTX 4090 的 80%。作者还介绍了 MLC-LLM，该工具提供了高性能通用部署，使得 AMD GPU 在大语言模型推理中具备竞争力。文章指出，通过软件的改进和优化，解决硬件短缺问题是可能的，并提供了具体的实现方案和性能测试结果。