人工智能是一個(gè)成長(zhǎng)中的行業(yè)，其動(dòng)力來(lái)自大型科技公司、新創(chuàng)公司和大學(xué)研究團(tuán)隊(duì)的進(jìn)步。盡管AI技術(shù)正在快速發(fā)展，但圍繞機(jī)器學(xué)習(xí)安全性的法規(guī)和故障卻是另一回事。無(wú)法保護(hù)ML模型可能會(huì)造成極大的損失。Chatbot漏洞甚至可能導(dǎo)致私人用戶(hù)數(shù)據(jù)被盜。在本文中，我們將研究機(jī)器學(xué)習(xí)網(wǎng)絡(luò)安全的重要性。此外，我們將說(shuō)明ML安全公司如何通過(guò)其Virtual Assistant Shield保護(hù)Chatbot的。

　　為什么機(jī)器學(xué)習(xí)安全性很重要？

保護(hù)機(jī)器學(xué)習(xí)模型免受網(wǎng)絡(luò)攻擊類(lèi)似于確保您的車(chē)輛通過(guò)安全檢查。僅僅因?yàn)槠?chē)可以移動(dòng)并不意味著在公共道路上行駛是安全的。無(wú)法保護(hù)您的機(jī)器學(xué)習(xí)模型可能會(huì)導(dǎo)致數(shù)據(jù)泄露，超參數(shù)盜竊或更糟。

在2019年，該公司起訴其聊天機(jī)器人開(kāi)發(fā)人員，原因是發(fā)生在2017年的乘客數(shù)據(jù)泄露事件。黑客獲得了對(duì)Delta聊天機(jī)器人系統(tǒng)的訪(fǎng)問(wèn)權(quán)限，并修改了源代碼。這使他們可以抓取用戶(hù)輸入的數(shù)據(jù)。這次事故對(duì)達(dá)美航空造成了巨大的損失，導(dǎo)致數(shù)百萬(wàn)美元用于調(diào)查漏洞并保護(hù)受影響的客戶(hù)。

聊天機(jī)器人中的機(jī)器學(xué)習(xí)安全漏洞

聊天機(jī)器人特別容易受到機(jī)器學(xué)習(xí)攻擊，因?yàn)樗鼈冎g經(jīng)常不斷的用戶(hù)交互，而這些交互通常是完全不受監(jiān)督的。我們與Scanta進(jìn)行了交談，以了解聊天機(jī)器人面臨的最常見(jiàn)的網(wǎng)絡(luò)攻擊。

Scanta首席技術(shù)官告訴我們，他們看到的最常見(jiàn)的攻擊之一是 通過(guò)對(duì)抗性輸入進(jìn)行的數(shù)據(jù)中毒攻擊。

　　什么是數(shù)據(jù)中毒？

數(shù)據(jù)中毒是一種機(jī)器學(xué)習(xí)攻擊，其中，黑客污染了機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)。

他們通過(guò)注入對(duì)抗性輸入來(lái)實(shí)現(xiàn)，這些輸入是故意更改的數(shù)據(jù)樣本，旨在誘使系統(tǒng)產(chǎn)生錯(cuò)誤的輸出。

像客戶(hù)服務(wù)聊天機(jī)器人這樣經(jīng)過(guò)用戶(hù)輸入數(shù)據(jù)進(jìn)行持續(xù)訓(xùn)練的系統(tǒng)尤其容易受到此類(lèi)攻擊。大多數(shù)現(xiàn)代的聊天機(jī)器人都可以自動(dòng)操作并在沒(méi)有人工干預(yù)的情況下回答客戶(hù)的詢(xún)問(wèn)。通常，除非查詢(xún)升級(jí)為人員，否則永遠(yuǎn)不會(huì)監(jiān)視聊天機(jī)器人與用戶(hù)之間的對(duì)話(huà)。缺乏監(jiān)督使得聊天機(jī)器人成為黑客利用的主要目標(biāo)。

為了幫助公司保護(hù)其聊天機(jī)器人和虛擬助手，Scanta不斷改進(jìn)其機(jī)器學(xué)習(xí)安全系統(tǒng)VA Shield。

如何保護(hù)聊天機(jī)器人和虛擬助手

Scanta于2016年成立，是一家為聊天機(jī)器人和虛擬助手提供機(jī)器學(xué)習(xí)安全服務(wù)的科技公司。

Scanta的VA Shield是一種機(jī)器學(xué)習(xí)安全系統(tǒng)，可在模型，數(shù)據(jù)集和對(duì)話(huà)級(jí)別保護(hù)聊天機(jī)器人。“ VA Shield使用ML防御ML攻擊。我們?yōu)槊總€(gè)用戶(hù)進(jìn)行行為分析，并標(biāo)記任何異常行為。” CTO 說(shuō)。“行為分析是針對(duì)最終用戶(hù)以及聊天機(jī)器人進(jìn)行的。分析所有輸入，輸出和輸入輸出組合實(shí)體，以檢測(cè)任何惡意活動(dòng)。”

在對(duì)話(huà)級(jí)別，Scanta會(huì)評(píng)估聊天機(jī)器人的輸出，以阻止惡意攻擊并捕獲業(yè)務(wù)見(jiàn)解。“上下文分析是一個(gè)簡(jiǎn)單的概念，其中，聊天機(jī)器人的響應(yīng)是根據(jù)請(qǐng)求的上下文進(jìn)行查看的，” CTO說(shuō)。“此外，對(duì)話(huà)中的下一個(gè)請(qǐng)求是在上一個(gè)請(qǐng)求的上下文中看到的。為了進(jìn)行這些分析，我們使用歷史數(shù)據(jù)。例如，我們查看了用戶(hù)的歷史請(qǐng)求特征和來(lái)自聊天機(jī)器人的響應(yīng)，以及聊天機(jī)器人的響應(yīng)特性。”

　　常規(guī)的IT團(tuán)隊(duì)為什么不能應(yīng)對(duì)這些攻擊？

在與Scanta首席執(zhí)行官交談時(shí)，我問(wèn)他為什么擁有自己的IT團(tuán)隊(duì)的公司會(huì)麻煩外包機(jī)器學(xué)習(xí)安全服務(wù)。這些IT團(tuán)隊(duì)難道不能自己納入ML安全協(xié)議嗎?

“我們與許多公司進(jìn)行了交談，得知這些ML威脅是大多數(shù)人不知道的事情，我感到非常驚訝，” CTO說(shuō)。“現(xiàn)實(shí)是許多人甚至都不知道這是他們必須防止的事情。”

“大多數(shù)IT團(tuán)隊(duì)和安全解決方案都提供網(wǎng)絡(luò)安全和Web應(yīng)用程序防火墻等功能。這種類(lèi)型的安全性不同于Scanta提供的安全性。我們?cè)谟懻摵徒榻B的內(nèi)容處于不同的水平。這遠(yuǎn)遠(yuǎn)超出了消除訓(xùn)練數(shù)據(jù)的偏見(jiàn)。”

在前面提到的達(dá)美航空示例中，有人入侵了聊天機(jī)器人并修改了源代碼。該黑客使他們可以訪(fǎng)問(wèn)私人客戶(hù)數(shù)據(jù)。“這是因?yàn)闆](méi)有人監(jiān)視正在進(jìn)入聊天機(jī)器人的內(nèi)容和正在發(fā)生的內(nèi)容，” CTO說(shuō)。

“這是當(dāng)今機(jī)器學(xué)習(xí)技術(shù)構(gòu)建方式的結(jié)果。但是，必須有一種機(jī)制可以解釋是否有惡意。我們將此系統(tǒng)稱(chēng)為零信任框架。您必須確保所有方面都受到保護(hù)。這與保護(hù)數(shù)據(jù)庫(kù)或網(wǎng)絡(luò)一樣重要。”

我們的日常生活和個(gè)人數(shù)據(jù)越來(lái)越與計(jì)算機(jī)系統(tǒng)交織在一起。隨著現(xiàn)代社會(huì)數(shù)字化的日益發(fā)展，提高數(shù)據(jù)安全性成為當(dāng)務(wù)之急。特別是在像GDPR這樣的組織制定了數(shù)據(jù)法律的情況下，公司比以往任何時(shí)候都更加重要地保護(hù)其私有數(shù)據(jù)和客戶(hù)數(shù)據(jù)。

機(jī)器學(xué)習(xí)模型的更高安全性將使數(shù)據(jù)科學(xué)界和AI技術(shù)的日常用戶(hù)受益。在2020年上半年，我們看到了IBM抵制面部識(shí)別技術(shù)。重要的是，更多大型公司應(yīng)退后一步，將安全和社會(huì)影響放在開(kāi)發(fā)之前。想了解更多關(guān)于網(wǎng)絡(luò)安全的信息，請(qǐng)繼續(xù)關(guān)注中培偉業(yè)。