在当前的检索增强生成（RAG）系统中，我们面临着一个经典的“不可能三角”：上下文窗口的限制、检索准确性与推理效率之间的矛盾。传统的 RAG 往往将检索器（Retriever）和生成器（Generator）作为两个割裂的系统进行优化，导致大量 Token 被粗暴地塞入上下文 ...

在深度学习的世界中，交叉熵损失函数（Cross-Entropy Loss Function）是一个无可争议的重要工具，尤其是在分类任务中。这篇文章将详细探讨交叉熵损失的实际应用，以帮助我们理解其在提升模型性能方面的关键作用。我将结合实际案例来阐述这一点，并适时穿插 ...

在本文中，我们提出了一种新的损失函数调和损失（Harmonic Loss），作为标准交叉熵损失（cross-entropy loss）的替代方案，用于训练神经网络和大规模语言模型（LLMs）。调和损失由于其尺度不变性和有限收敛点的设计，使得模型具有更强的可解释性并实现更快的 ...

选择正确的损失函数对于训练机器学习模型非常重要。不同的损失函数适用于不同类型的问题。本文将总结一些常见的损失函数，并附有易于理解的解释、用法和示例 均方误差损失(MSE) 均方误差（Mean Squared Error，简称 MSE）损失是在监督学习中，特别是在回归 ...

Cross-entropy loss和Focal loss是在训练深度神经网络进行分类问题时最常见的选择。然而，一般来说，一个好的损失函数可以采取更灵活的形式，并且应该为不同的任务和数据集量身定制。 通过泰勒展开来逼近函数，作者提出了一个简单的框架，称为PolyLoss，将损失 ...

单阶段物体检测（One-stage Object Detection）方法在模型训练过程中始终面临着样本分布严重不均衡的问题，来自香港中文大学的研究者们在论文 Gradient Harmonized Single-stage Detector提出了一个新的视角——梯度分布上看待样本数量和难易不均衡。直接把 cross entropy 产生 ...