Mistral AI发布最强7B模型，击败13B版Llama 2，基于Transformer架构，采用滑动窗口和分组查询注意力机制等优化策略，提高性能。滚动缓冲区缓存、预填充和分块机制进一步提高效率。Mistral的性能超越13B参数的Llama 2，微调过程简单，只需一块3090。