上一篇记录了简化的单词决策树函数（buildStump()）的实现。下面实现完整AdaBoost算法。
完整AdaBoost算法的伪代码：
对每次迭代：
利用buildStump()函数找到最佳的单层决策树
将最佳单层决策树加入到单层决策树数组
计算alpha
计算新的权重向量D
更新累计类别估计值
如果错误率等于0.0，退出循环
具体实现代码：
def adaBoostTrainDS(dataArr,classLabels,numIt=40):weakClassArr=[]m=shape(dataArr)[0]D=mat(ones((m,1))/m)aggClassEst=mat(zeros((m,1)))for i in range(numIt):bestStump,error,classEst=builsStump(dataArr,classLabels,D)print('D:',D.T)alpha=float(0.5*log((1.0-error)/max(error,1e-16)))bestStump['alpha']=alphaweakClassArr.append(bestStump)print('classEst:',classEst)#为下一次迭代计算Dexpon=multiply(-1*alpha*mat(classLabels).T,classEst)D=multiply(D,exp(expon))D=D/D.sum()#错误率累加计算aggClassEst=aggClassEst+alpha*classEstprint('aggClassEst:',aggClassEst.T)aggErrors=multiply(sign(aggClassEst)!=mat(classLabels).T,ones((m,1)))errorRate=aggErrors.sum()/mprint('错误率：',errorRate)if errorRate==0.0:breakreturn weakClassArrdataMat,classLabels=loadSimpData()
D=mat(ones((5,1))/5)
classifierArray=adaBoostTrainDS(dataMat,classLabels,9)
AdaBoost算法的输入参数包括数据集、类别标签以及迭代次数numIt，其中numIt是在整个AdaBoost算法中唯一需要用户指定的参数。
我们假设迭代次数为9，如果算法在第三次迭代之后错误量为0，那么就会退出迭代过程，这时就不需要执行所有的9次迭代。
函数名称尾部的DS代表的就是单层决策树，它是AdaBoost中最流行的弱分类器（当然并非唯一可用的弱分类器）。上述函数是建立与单层决策树之上的，但是我们也可以很容易对此进行修改以引入其他基分类器。实际上，任意分类器都可以作为基分类器。上述算法会输出一个单层决策树的数组，因此首先需要建立一个新的Python表来对其进行存储。然后，得到数据集中的数据点的数据m，并建立一个列向量D。
向量D非常重要，它包含了每个数据点的权重。一开始，这些权重都赋予了相等的值。在后续的迭代中，AdaBoost算法会在增加错分数据的权重的同时，降低正确分类的权重。D是一个概率分布向量，因此其所有的元素之和为1.0。为了满足要求，一开始的所有元素都会被初始化乘1/m，同时，程序还会建立另一个列向量aggClassEsr，记录每个数据点的类别估计累计值。
AdaBoost算法的核心在于for循环，该循环运行numIt次或者直到训练错误率为0为止。循环中的第一件事就是利用buildStump()函数建立一个单层决策树。该函数的输入为权重向量D，返回的则是利用D而得到的具有最小错误率的单层决策树，同时返回的还有最小错误率以及估计的类别向量。
加下来，需要计算的则是alpha值。该值会告诉总分类器本次单层决策树输出结果的权重。其中的语句max(error,1e-16)用于确保在没有错误时不会发生除零溢出。而后，alpha值加入到bestStump字典中，该字典又添加到列表中。该字典包含了分类所需要的所有信息。
接下来则是计算下一次迭代中需要的新权重向量D。在训练错误率为0时，就要提前结束for循环。此时程序是通过aggClassEst变量保持一个运行时的类别估计值来实现的。该值只是一个浮点数，为了得到二值分类结果还需要调用sign函数，如果总错误率为0，则由break语句中止for循环。
最后输出结果：
dataMat,classLabels=loadSimpData()
D=mat(ones((5,1))/5)
classifierArray=adaBoostTrainDS(dataMat,classLabels,9)
print(classifierArray)
该数组包含3部词典，其中包含了分类所需要的所有信息。