## 心得

#1、关注如何判断新老模型的结构优劣；
#2、新模型如何快速追上老模型。
#3、在以体育为特色的视频推荐中，在线学习尤为重要，
#   不同天、一天的不同时段，各项指标会因为体育直播会带来很大的波动。
#4、在线学习 ( OnlineLearning ) 代表了一系列机器学习算法，特点是每来一个样本就能训练
#（也可以是很少的几个），
#能够根据线上反馈数据，实时快速地进行模型调整，使得模型及时反映线上的变化，提高线上预测的准确率。
#从实践的情况来看，先不论线上的收益，仅当FTRL训练的更快，使用的资源更少，就足以吸引各大公司使用。
#online learning是基于stream的data，无法直接对目标优化，普遍会选择regret作为优化目标。
#https://zhuanlan.zhihu.com/p/36410780
#5、在线学习要解决的核心问题，在于SGD优化算法在Online模式下，由于训练周期短且样本实时到达，
#样本本身数量小，分布不均衡，难以得到最优解尤其是稀疏解。稀疏解的意义，一是避免模型过拟合，
#提升模型的泛化能力（对模型的实际效果很重要）。二是减少参数量，提高模型的计算性能（对实际上线应用很重要）。
#6、因为在线学习一次只能根据少数几个样本更新参数，随机性较大，所以需要一种稳健的优化方式，
#而 regret 字面意思是 “后悔度”，意即更新完不后悔。 
#7、OGD ( onlinegradientdescent ) 是传统梯度下降的 online 版本
#在线梯度下降算法的最小化目标并非优化误差(optimization error)，而是regret
#8、后悔度
#当我们进行online learning的时候，假设我们最终能够获取到的全部样本数量为T，
#但是当我们在某一个时刻t只能获取到从1到t-1时刻的样本
#但是有一个问题，我们不能在t时刻观察到最终所有的数据，所以我们希望在每一个时刻做出的决策和最终观察到
#所有数据的时候做出的决策不要有太大差异，因为我们将online learning的优化目标定为后悔度。
#补充：一次曝光后用户点了a，上报上来了，但是不代表其余内容不会被点击。
#这些结论需要在t时刻之后才能被观察到。