Andrej Karpathy 介绍了 speculative execution，这是一种优化方法，可以帮助大模型解决内存限制的问题。通过使用「Speculative decoding」技术，大模型可以先由小模型进行预测，然后再用大模型进行审核修正，从而减少内存访问需求。这种技术的有效性在于大多数预测都是相对简单的，因此即使是小模型也能进行准确的预测。这种奇怪的技巧可以加速大模型的推理过程，并优化时间性能。