一、背景
1）梯度消失问题
我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。
可以看到，假设现在需要更新b1，w2,w3,w4参数因为随机初始化偏向于0，通过链式求导我们会发现，w1w2w3相乘会得
Stacking集成学习在各类机器学习竞赛当中得到了广泛的应用，尤其是在结构化的机器学习竞赛当中表现非常好。今天我们就来介绍下stacking这个在机器学习模型融合当中的大杀器的原理。并在博文的后面附有相关代码实现。
总体来说，stacking集成算法主要是一种基于“标签”的学习，有以下的特点
1 最优化概论
(1) 最优化的目标
最优化问题指的是找出实数函数的极大值或极小值，该函数称为目标函数。由于定位(f(x))的极大值与找出(-f(x))的极小值等价，在推导计算方式时仅考虑最小化问题就足够了。极少的优化问题，比如最小二乘法，可以给出封闭的解析解(由正规方程得到)。然而，大多数优化
深度学习——手动实现残差网络 辛普森一家人物识别
目标
通过深度学习，训练模型识别辛普森一家人动画中的14个角色
最终实现92%-94%的识别准确率。
数据
ResNet介绍
论文地址 https://arxiv.org/pdf/1512.03385.pdf
残差网络(ResNet)是微软亚洲
阿拉伯语NLPMorphological Analyzer (SARF)المحلل الصرفي Autocorrector & Spellerالمصحح الآلي والمدقق الإملائيNamed Entity Recognizer (NER)DiacritizerPar
1. 奇异值分解（SVD）
（1）奇异值分解
已知矩阵(bm{A} in R^{m times n}), 其奇异值分解为：
[bm{A} = bm{U}bm{S}bm{V}^T
]其中(bm{U} in R^{m times m})，(bm{V} in R^{n times n})是正交矩阵，(b
1. 幂迭代算法（简称幂法）
(1) 占优特征值和占优特征向量
已知方阵(bm{A} in R^{n times n}), (bm{A})的占优特征值是比(bm{A})的其他特征值（的绝对值）都大的特征值(lambda)，若这样的特征值存在，则与(lambda)相关的特征向量我们称为占优特征向量。
Python中的任何序列（可迭代的对象）都可以通过赋值操作进行拆分，包括但不限于元组、列表、字符串、文件、迭代器、生成器等。
元组拆分
元组拆分是最为常见的一种拆分,示例如下：
p = (4, 5)
x, y = p
print(x, y) # 4 5
如果写成
x, y, z = p
那
1、关键字参数(positional argument)和位置参数(keyword argument)
Python函数的参数根据函数在调用时（注意，不是函数定义时）传参的形式分为关键字参数和位置参数。
（1）关键字参数：
关键字参数是指在函数调用传参时，由标识符（如name=）引导的参数，或者放
学习策略
软间隔最大化
上一章我们所定义的“线性可分支持向量机”要求训练数据是线性可分的。然而在实际中，训练数据往往包括异常值(outlier)，故而常是线性不可分的。这就要求我们要对上一章的算法做出一定的修改，即放宽条件，将原始的硬间隔最大化转换为软间隔最大化。
给定训练集
[begin{al
简介
Pycharm是python编程过程中最为推荐的编辑调试软件之一，其使用简单，界面友好，也成了学习Python路上必须学会的软件之一，本篇教程简单介绍一下windows用户从安装到日常使用的基本功能，其他系统也可简单参考。
软件安装
Python安装
Pycharm作为Python编辑调试工
在人工智能课程中学习线性回归一章时，高阶线性回归需要用到PolynomialFeatures方法构造特征。
先看一下官方文档对于sklearn.preprocessing.PolynomialFeatures方法的解释：
Generate polynomial and interaction
论文引入
近年来推荐系统公平性成为新的热点，在所有解决公平性问题的方法中，因果推断显得格外靓眼。我们以论文《Recommendations as treatments: Debiasing learning and evaluation》[1]做为引入，来看看因果推断是怎么应用在推荐系统公平性研
接下来我总共花了将近四天时间才将论文《Towards Long-term Fairness in Recommendation》[1]理解透彻。因为该论文用到了强化学习(Reinforcement Learning)，而强化学习不像之前的生成对抗网络(GAN)一样简洁明了，涉及的数学知识非常多。
这几天我的主要任务是对论文《Towards Long-term Fairness in Recommendation》[1] 中所描述的算法进行编程实现，然后测试该算法的效果并记录。以下分模型算法细节实现、数据集、模型评估准则、测试结果记录四个部分来描述我的工作。
模型算法细节实现
由论文描述可
做为最后一篇论文阅读记录，我决定对我目前为止粗读和精读的论文进行一次总结，然后陈述一些个人对该研究领域的见解和想法。
论文总结归纳
推荐系统中的偏差和不公平现象是随着推荐算法的诞生就与生俱来的，而不是人为故意产生的。目前我读过的论文中包括的一些典型的偏差和其主要的解决方案如下：
(1) 人口平等
接下来我花一天时间精读了论文《Learning Fair Representations for Recommendation: A Graph-based Perspective》[1]，将论文的结构和核心思想进行了详细地梳理，之后准备使用Pytorch框架对该论文进行复现。
论文创新点
该论文
一.什么是机器学习
在开始正式的学习之前，可能需要先了解几个概念，机器学习(Machine Learning简称ML），人工智能(Artificial Intelligence简称AI)和深度学习(Deeping Learning简称DL)，人工智能顾名思义通过人工的方式实现机器的智能，是最终
基于矩阵的CF算法，一共有很多种，这里给大家解析一下，我们进行对用户对物品评分矩阵进行分解的原因是：我们可以对用户对物品评分矩阵进行分解，得到两个矩阵，一个矩阵是关于用户的，一个矩阵是关于物品的。这种情况下，用户矩阵的每一个用户自己都会对应着一个隐向量，每一个物品矩阵的物品也会有一个自己的有关自己
这几天我的主要任务是调试和运行之前根据论文《Learning Fair Representations for Recommendation: A Graph-based Perspective》所编写的代码，然后测试该模型的效果并记录。以下分数据集描述、模型评估策略、超参数调整、测试结果记录四
友情链接：
客服
