求助svm大牛，smo算法理解问题

2019-10-30 05:36

jamswan20042019-10-30 05:36

svm里smo算法求ai,即用坐标上升发求极值来更新ai。那原始（未更新的）所有ai到底是哪里来的？？只有一个∑aiyi＝0条件，是不是所有的原始ai是自己瞎设置只要满足∑aiyi＝0？！
hanbing1352019-10-30 05:43
本论坛还有人懂这个？
ppalm2019-10-30 05:43
地板啥都懂
ageg2019-10-30 05:54

初值取零就好了
net.ieee2019-10-30 06:04
涉及到初值稳定性问题，反正是全局找，无非找的时间长点罢了。其实svm的smo看似是全局求解的算法，但实际问题总是局部的，因此结合实际问题一般可以设置比较合适的初值。
jamswan20042019-10-30 07:20
0肯定不行，ai＝0是指那些非支持向量，不参与计算的，只有支持向量（包括软间隙向量）才参与计算。
citroenc52019-10-30 07:33
有没有通俗易懂的线性代数和svm教程？
ageg2019-10-30 07:42
这里说的是初值不是结果。初值取0不影响后面优化的
jamswan20042019-10-30 07:46
那是不是照我所说的，其实任意列些ai的初值即可，只要∑aiyi＝0和ai在0～c之间即可？然后a1a2优化，再a2a3优化，a3a4，……ai优化……完毕？！
谢谢
ageg2019-10-30 07:54
对随便取。一般来说没有其他信息的话就取零，你取其他值也没有把握比零好。
LittleBlue2019-10-30 07:56
回复10#ageg
据说初值可以取随机值，多次重复，可以一定程度上避免局部最小
jamswan20042019-10-30 08:28
是不是这么理解，优化后的a1a2可以继续优化a1a2，可以不断优化，优化到a1a2几乎不变时即是最优的a1a2？多谢回复，一直不彻底理解
jamswan20042019-10-30 10:29
a1a2……ai所有的初值可以在0~C之间任意取，满足∑aiyi＝0即可！

然后开始优化a1a2，然后可以重复很多次迭代以不断优化a1a2最后使之几乎趋向不变并满足kkt条件即算a1a2优化完毕，然后以此类推优化a3a4完毕，优化a5a6完毕……以致全部优化完毕，算最好完结！

这样理解对吧？！谢谢
shannon_sdu2019-10-30 11:15
dl算法里初始值都是random，这样可以保证数值稳定性，svm也一样，ai的值是需要学习的，初始值可以随便设，可以取0，也可以取其他，所以为了保证数值稳定性干脆random
jamswan20042019-10-30 11:59
好的，

a1a2……ai所有的初值可以在0~C之间任意取，满足∑aiyi＝0即可！

然后开始优化a1a2，然后可以重复很多次迭代以不断优化a1a2最后使之几乎趋向不变并满足kkt条件即算a1a2优化完毕，然后以此类推优化a3a4完毕，优化a5a6完毕……以致全部优化完毕，算最好完结！

这样理解对吧？！谢谢
jamswan20042019-10-31 08:51
搜索svm三重境界，应该是目前网上svm最好的通俗易懂导论了
jamswan20042019-11-05 07:11
一对aiaj优化k次称为外循环，a遍历找配对是内循环？这内循环外循环怎么与我想象的相反？
感觉一对aiaj不断k次优化才是内循环吧！