本文实现 FlashAttention-2 的前向传播，具体包括：为 Q、K、V 设计分块策略；流式处理 K 和 V 块而非物化完整注意力矩阵；实现在线 softmax 算法保证数值稳定性；支持因果和非因果两种注意力模式；用 Triton autotuner 自动调优内核配置；最后用 PyTorch 验证正确性。

Learn how to create a simple neural network, and a more accurate convolutional neural network, with the PyTorch deep learning library PyTorch is a Python-based tensor computing library with high-level ...