在研究機(jī)器學(xué)習(xí)問題時(shí)，我們經(jīng)常會(huì)在不同的步驟受阻。那么如何應(yīng)對(duì)機(jī)器學(xué)習(xí)中的重大挑戰(zhàn)？為了解決幾乎所有這些步驟，這里列出了我們面臨的所有主要挑戰(zhàn)以及克服這些挑戰(zhàn)可以采取的步驟。為了便于理解，還將這些挑戰(zhàn)歸為不同的子領(lǐng)域，即數(shù)據(jù)準(zhǔn)備，模型訓(xùn)練和模型部署，希望通過閱讀本文，可以幫助大家更好的理解機(jī)器學(xué)習(xí)的意義。

　　數(shù)據(jù)采集：

1.當(dāng)我們開始收集數(shù)據(jù)時(shí)，獲取不完整的數(shù)據(jù)通常令人頭疼。即使我們得到數(shù)據(jù)，也證明是偏差數(shù)據(jù)。偏差是指在數(shù)據(jù)收集或數(shù)據(jù)分析中與事實(shí)不符之處，可能導(dǎo)致錯(cuò)誤的結(jié)論；

2.然后是維數(shù)的詛咒，它是指分析在低維空間中不會(huì)發(fā)生的高維數(shù)據(jù)時(shí)發(fā)生的現(xiàn)象；

3.最后，我們有數(shù)據(jù)稀疏性問題。假設(shè)您有一個(gè)包含很多空值或不可能值的表。這些值表示數(shù)據(jù)中的稀疏性。

要克服的步驟：

1.花費(fèi)適當(dāng)?shù)臅r(shí)間來理解問題以及解決問題所需的正確數(shù)據(jù)集；

2.豐富數(shù)據(jù)；

3.降維技術(shù)。

　　離群值：

1.數(shù)據(jù)中的數(shù)值超出范圍或分類值未知；

2.它顯示出對(duì)平方損失函數(shù)的巨大影響。

要克服的步驟：

1.像binning這樣的離散化技術(shù)可以幫助減少平方損失函數(shù)；

2.強(qiáng)大的方法，例如Huber損失函數(shù)。

　　缺失數(shù)據(jù)：

1.這會(huì)影響信息丟失，從而影響模型的準(zhǔn)確性；

2.當(dāng)關(guān)鍵信息被度量，收集或解釋不正確時(shí)發(fā)生的信息偏差。

要克服的步驟：

1.基于樹的建模技術(shù)可以幫助解決此類問題；

2.離散化還可以幫助減少損失函數(shù)；

3.歸因。

稀疏目標(biāo)變量：

1.當(dāng)主要事件發(fā)生率較低時(shí)會(huì)發(fā)生；

2.目標(biāo)中零或缺失值占絕大多數(shù)。

要克服的步驟：

1.比例過采樣；

2.混合模型；

3.模型訓(xùn)練。

　　過度擬合：

1.過度擬合的主要原因是方差高和偏差低，無法正確歸納。

要克服的步驟：

1.正則化-一種用于通過在誤差函數(shù)中添加附加懲罰項(xiàng)來調(diào)整函數(shù)的技術(shù)；

2.噪聲注入-這種方法是指在訓(xùn)練過程中人為地向輸入數(shù)據(jù)添加“噪聲”；

3.交叉驗(yàn)證-一種用于評(píng)估統(tǒng)計(jì)分析結(jié)果如何概括為獨(dú)立數(shù)據(jù)集的技術(shù)。

　　計(jì)算資源開發(fā)：

1.大多數(shù)時(shí)候，我們執(zhí)行單線程算法實(shí)現(xiàn)；

2.高度可靠的口譯語言。

要克服的步驟：

1.并行訓(xùn)練許多單線程模型；

2.硬件加速，例如GPU和SSD；

3.低級(jí)本機(jī)庫；

4.云-Google Colab筆記本。

集成模型：

1.單個(gè)模型有時(shí)無法提供足夠的準(zhǔn)確性；

2.單一模型還會(huì)導(dǎo)致過度擬合-高方差和低偏差，無法正確歸納。

要克服的步驟：

1.套袋，提升和堆疊等集成模型可以幫助解決問題；

2.有時(shí)將預(yù)測的自定義或手動(dòng)組合有助于提高準(zhǔn)確性。

　　超級(jí)參數(shù)調(diào)整：

1.組合爆炸是問題復(fù)雜性的快速增長，這是由于問題的組合如何受到輸入的影響所致，它是在常規(guī)算法中使用超參數(shù)發(fā)生的。

要克服的步驟：

1.局部搜索優(yōu)化，其中還包括遺傳算法；

2.網(wǎng)格搜索或蘭德搜索技術(shù)有助于從我們提供的參數(shù)中找到最佳的一對(duì)超級(jí)參數(shù)。

　　模型解釋：

1.大量參數(shù)和規(guī)則使模型難以解釋。

要克服的步驟：

1.使用正則化技術(shù)進(jìn)行變量選擇；

2.替代模型；

3.解釋方法，如LIME；

4.偏相關(guān)圖，特征重要性圖可以幫助解釋模型。

　　模型部署：

1.從開發(fā)環(huán)境到操作計(jì)算系統(tǒng)，都必須使用經(jīng)過訓(xùn)練的模型邏輯，以協(xié)助組織做出決策。

要克服的步驟：

1.Web服務(wù)評(píng)分可以幫助人們獲得結(jié)果；

2.任何組織都更容易理解模型輸出的儀表板。

　　模型衰減：

1.自模型創(chuàng)建以來，業(yè)務(wù)問題和市場狀況可能會(huì)發(fā)生變化；

2.新的觀察結(jié)果不在訓(xùn)練數(shù)據(jù)范圍內(nèi)。

要克服的步驟：

1.定期監(jiān)視模型，尤其是在精度降低時(shí)；

2.每當(dāng)數(shù)據(jù)或系統(tǒng)發(fā)生變化而影響模型時(shí)，請(qǐng)定期更新模型。

好了關(guān)于如何應(yīng)對(duì)機(jī)器學(xué)習(xí)中的重大挑戰(zhàn)的信息，介紹到這里就結(jié)束了，想了解更多關(guān)于機(jī)器學(xué)習(xí)的信息，請(qǐng)繼續(xù)關(guān)注中培偉業(yè)。