本文介绍了Wide & Deep模型和DCN（Deep & Cross Network）模型的原理、实现及其在处理特征学习中的应用。文章详细描述了Wide部分的简单线性变换和Deep部分的多层感知机结构，并解释了如何通过Cross Network改进Wide部分以显式建模特征之间的交叉。...

This is a blog post on the implementation of DecisionTree algorithm using C++....

本文介绍了FM模型，这是一种统计学模型，用于处理高维稀疏数据和特征交叉，能捕捉特征之间的关系。FM模型通过引入低秩因子向量来减少计算参数的数量，并增加对特征交互作用的捕捉，特别关注二阶相互作用。该模型采用梯度下降法优化损失函数，并通过因子向量学习用户与物品之间的相互作用。在推荐系统中，FM模型可用于预测用户对物品的评分或点击概率，通过分析用户与商品的特征相互作用来进行预测。...

本文深入探讨了协同过滤算法，包括User CF和Item CF两种基本方法及其优缺点。同时，文章还详细讨论了矩阵分解技术在推荐系统中的应用，包括特征值分解、奇异值分解（SVD）和梯度下降法的基本原理、优点与缺点。此外，文章指出了当前协同过滤模型面临的挑战以及潜在的改进方向。...

本文分析了机器学习中分类任务常用MSE而非CE的原因，并从分布角度、优化角度进行了详细讨论。文章指出，MSE假设数据服从高斯分布，而现实中长尾分布也很常见，直接使用MSE可能导致效果不佳。同时，文中还提到在优化的角度上，如果分类问题使用MSE作为损失函数，是非凸优化，难以求出最优解。...

本文详细推导了XGBoost的原理，包括损失函数的定义、目标函数的优化以及正则化方法。文章还介绍了XGBoost的训练方法和常见的疑难点，如训练速度慢、并行化问题、高维特征处理和过拟合缓解等。...

AI摘要: AI摘要: 本文介绍了LightGBM的基本原理、工程实现亮点以及相对于XGBoost的改进。LightGBM是微软开发的一种梯度提升决策树（GBDT）模型，具有训练速度快和内存占用少的特点。文章详细阐述了直方图近似法、GOSS单边梯度采样、EFB互斥特征捆绑等技术细节，并比较了与XGBoost的不同之处。...