大家在做梯度下降的时候有没有想过是否可以直接用导数为零来取得参数最优解呢?

1
已邀请:
1

qvxiaobai123 - 看似没有任何兴趣爱好的大一狗 2016-07-05 回答

对于模型产生的优化问题,
如果能通过数学推导得到该优化问题的解析解,当然是最好的,直接代人解析式就得到模型的解。
但是,通常模型产生优化问题是很难求出解析解的,就只能使用数值的方法找到数值解,得到模型的一个近似结果。
数值方法可以使用诸如梯度下降、牛顿迭代之类的方法,使用这些方法也都是有条件的,优化问题不满足这些条件的时候,要么对原优化问题做等价转换使其满足现有优化方法的条件,要么针对该优化问题重新设计寻找近似解的迭代算法。 
 

要回复问题请先登录注册