#!/usr/bin/env python
# coding: utf-8

# # 先算出`损失函数`
# 
# $$\widehat{p}=\sigma(\theta^{T}\cdot x_{b})=\frac{1}{1+e^{\theta^{T}\cdot x_{b}}}$$
# 
# 估计的代表概率
# 
# MSE：损失函数？
# 
# 不能推导出正规方程解、没有数学公式解；只能使用梯度下降法
# 
# 不能直接套公式，算出数学解
# 
# 也是个凸函数，没有局部最优解，只有唯一的一个全局最优解
# 
# 

# ## 梯度下降法
# $$J(\theta)=-\frac{1}{m} \sum_{i=1}^{m}y^{(i)}log(\sigma(X_{b}^{(i)}\theta))+(1-y^{(i)})log(1-\sigma(X_{b}^{(i)}\theta))$$
# 
# - 对 $\theta$ 的每一维度求导
# 
# ### 先解决 $\sigma$函数的导数
# 
# $$\frac{J(\theta)}{\theta_{j}}=\frac{1}{m} \sum_{i=1}^{m}(\sigma(X_{b}^{(i)}\theta)-y^{(i)})X_{j}^{(i)}$$
# $$=\frac{1}{m} \sum_{i=1}^{m}(\widehat{y}^{(i)}-y^{(i)})X_{j}^{(i)}$$
# 
# $\sigma(X_{b}^{(i)}\theta)$ 第i行乘以 $\theta$ 就是逻辑回归中预测第i行对应的概率是多少！
# 
# 计算梯度，搜索出 `$\sigma$` 值就可以了
# 
# 

# ![](images/09.png)

# ![](images/10.png)

# ![](images/11.png)
# ![](images/12.png)

# ![](images/06.png)
# ![](images/07.png)

# In[ ]: