近年來(lái)隨著AI技術(shù)的規(guī)模化產(chǎn)業(yè)落地，發(fā)展“可信AI”已成為全球共識(shí)，也是未來(lái)人工智能健康發(fā)展的必由之路。9月1日-9月3日，2022世界人工智能大會(huì)（WAIC）期間，可信AI議題也備受業(yè)界關(guān)注。作為人工智能領(lǐng)域代表性企業(yè)，星環(huán)科技在可信AI領(lǐng)域進(jìn)行了諸多探索，在本屆世界人工智能大會(huì)上，星環(huán)科技不僅圍繞可信AI與業(yè)界大咖進(jìn)行了觀點(diǎn)分享，還帶來(lái)了可信AI成果。

9月1日下午，在由中國(guó)信息通信研究院、京東探索研究院聯(lián)合主辦的WAIC 2022 · 可信AI論壇上，星環(huán)科技首席隱私計(jì)算科學(xué)家伊人與中國(guó)信通院華東分院人工智能與大數(shù)據(jù)事業(yè)部主任陳俊琰、京東探索研究院算法科學(xué)家&可信 AI 主任何鳳翔、螞蟻集團(tuán)機(jī)器智能部總經(jīng)理&螞蟻安全天筭實(shí)驗(yàn)室主任王維強(qiáng)、中國(guó)科學(xué)技術(shù)大學(xué)電子工程與信息科學(xué)系副教授田新梅圍繞“共建可信人工智能產(chǎn)業(yè)生態(tài)”進(jìn)行了深度圓桌交流。

9月3日下午，在中國(guó)信通院云計(jì)算與大數(shù)據(jù)研究所、螞蟻集團(tuán)、機(jī)器之心主辦的WAIC 2022 · 可信隱私計(jì)算高峰論壇上，星環(huán)科技高級(jí)研究員夏正勛及研究員唐劍飛還進(jìn)行了《可信AI治理框架探索與實(shí)踐》論文講解，深入介紹以“數(shù)據(jù)可信、算法可信、計(jì)算可信、管理可信”為中心的端到端T-DACM可信AI治理框架。

可信AI前景廣闊，數(shù)據(jù)全生命周期的AI可信是未來(lái)趨勢(shì)

對(duì)于如何開(kāi)放協(xié)同，共建多元化的可信人工智能產(chǎn)業(yè)生態(tài)，伊人表示，在共建可信人工智能產(chǎn)業(yè)生態(tài)的實(shí)踐中，一是對(duì)各行業(yè)不同問(wèn)題，形成跨學(xué)科、專業(yè)化的可信AI解決方案；二是需要做出技術(shù)上的突破來(lái)提供好用的工具對(duì)AI的結(jié)果進(jìn)行評(píng)估和量化，比如減低夏普利值的計(jì)算復(fù)雜度，研發(fā)一些好用的可視化工具；三是需要做到數(shù)據(jù)-AI模型-業(yè)務(wù)全鏈路的可信。

同時(shí)，伊人表示可信AI或者說(shuō)解決AI的信任問(wèn)題是AI規(guī)模應(yīng)用的前提，所以可信AI在整個(gè)企業(yè)應(yīng)用中有著很重要的價(jià)值和前景。從技術(shù)角度看，技術(shù)提升帶來(lái)產(chǎn)業(yè)提升，星環(huán)科技也根據(jù)市場(chǎng)需求研發(fā)了XAI可解釋性以及隱私計(jì)算，以及MLOps模型運(yùn)維組件等，基于軟件幫助客戶能夠理解并信任模型，并且將模型能夠真正應(yīng)用到實(shí)際的生產(chǎn)環(huán)節(jié)中，給企業(yè)帶來(lái)效益的提升；可信人工智能未來(lái)發(fā)展趨勢(shì)是從模型驅(qū)動(dòng)轉(zhuǎn)為數(shù)據(jù)驅(qū)動(dòng)，從數(shù)據(jù)采集、數(shù)據(jù)傳輸、存儲(chǔ)、治理、建模、應(yīng)用的全生命周期來(lái)達(dá)到AI可信；而在治理方面，首先是根據(jù)可信AI的實(shí)踐經(jīng)驗(yàn)形成行業(yè)規(guī)范、標(biāo)準(zhǔn)在全國(guó)進(jìn)行推廣，甚至達(dá)成全世界的共識(shí)。

“數(shù)據(jù)、算法、計(jì)算、管理”，T-DACM端到端的可信AI治理框架

為實(shí)現(xiàn)數(shù)據(jù)-AI模型-業(yè)務(wù)全鏈路的可信，星環(huán)科技從技術(shù)和管理兩個(gè)維度出發(fā)，提出了一種通用的可信AI治理框架T-DACM （Trusted Data & Algorithm & Computation & Management）。T-DACM 可信AI治理框架具體包含可信數(shù)據(jù)、可信算法、可信計(jì)算、可信管理四個(gè)層次，覆蓋了數(shù)據(jù)安全、模型安全、隱私保護(hù)、風(fēng)險(xiǎn)控制、過(guò)程管理、可解釋性、公平倫理、追溯追責(zé)等AI熱點(diǎn)問(wèn)題的解決方法，為企業(yè)及監(jiān)管機(jī)構(gòu)提供了一種可行的可信AI解決方案。

T-DACM 可信AI治理框架由下而上分為四層，分別是可信數(shù)據(jù)（Trusted Data）層、可信算法（Trusted Algorithm）層、可信計(jì)算（Trusted Computation）層與可信管理（Trusted Management）層 ，其中：

可信數(shù)據(jù)層為可信AI提供了數(shù)據(jù)基礎(chǔ)。其具體包含異常數(shù)據(jù)檢測(cè)、偏倚消除、偏見(jiàn)消除、數(shù)據(jù)增強(qiáng)等組件，可以檢測(cè)異常樣本保證模型能夠正常工作，對(duì)異常、異質(zhì)性數(shù)據(jù)進(jìn)行處理，引入公平性算法消除數(shù)據(jù)中的歧視與偏見(jiàn)，通過(guò)樣本變換或者樣本生成來(lái)擴(kuò)增數(shù)據(jù)集，增強(qiáng)模型魯棒性；

可信算法層為可信AI提供安全與強(qiáng)魯棒性的核心能力。其除了現(xiàn)有算法外，還包含因果算法、公平算法、模型增強(qiáng)等算法組件，可以從數(shù)據(jù)中發(fā)現(xiàn)穩(wěn)定特征，提高模型對(duì)不同環(huán)境的適應(yīng)能力，去除模型的決策邏輯對(duì)于弱勢(shì)群體的歧視，提升了模型對(duì)于常見(jiàn)攻擊方式的防御能力；

可信計(jì)算層為可信AI提供可信計(jì)算的能力。其具體包含加密算法、可信計(jì)算、計(jì)算調(diào)度等模組，可以使用加密算法及TPCM（Trusted Platform Control Module）可信平臺(tái)控制模塊保障單方計(jì)算場(chǎng)景下的數(shù)據(jù)安全，使用聯(lián)邦學(xué)習(xí)、聯(lián)邦計(jì)算、多方安全計(jì)算（Secure Multi-Party Computation，MPC）等組件為多方參與的模型訓(xùn)練、模型推理、計(jì)算等提供數(shù)據(jù)安全及隱私保護(hù)；

可信管理層為可信AI提供可追溯、可監(jiān)管、可理解的管理能力。其具體包含追溯追責(zé)、公平倫理查驗(yàn)、可解釋性三個(gè)組件， 可以通過(guò)事故發(fā)生之后的回溯對(duì)責(zé)任進(jìn)行認(rèn)定，分析系統(tǒng)的實(shí)時(shí)行為來(lái)監(jiān)控違反法規(guī)倫理的行為，對(duì)模型的決策邏輯進(jìn)行解釋，為模型的優(yōu)化提供參考。

T-DACM可信AI治理框架基本覆蓋了AI從模型學(xué)習(xí)、模型應(yīng)用到系統(tǒng)管理的全流程，以個(gè)性化保險(xiǎn)定價(jià)為例：可信數(shù)據(jù)層使用Relabelling算法消除數(shù)據(jù)集中對(duì)弱勢(shì)群體的偏見(jiàn)，可信算法層使用Regularization 增強(qiáng)定價(jià)算法的公平性，可信計(jì)算層使用聯(lián)邦學(xué)習(xí)計(jì)算框架在保護(hù)隱私的前提下聯(lián)合第三方銀行數(shù)據(jù)共同建模，定價(jià)結(jié)果更準(zhǔn)確可信，在可信管理層既能回溯某一定價(jià)的決策過(guò)程并作出解釋，也能實(shí)時(shí)檢測(cè)在運(yùn)行過(guò)程中整個(gè)定價(jià)系統(tǒng)是否存在違反法律、倫理規(guī)則的行為。通過(guò)T-DACM可信AI治理框架內(nèi)層與層之間的無(wú)縫協(xié)作保障AI系統(tǒng)全流程的可信性。T-DACM可信AI治理框架可以有效提升模型精度，并解決模型黑盒問(wèn)題。以某銀行授信系統(tǒng)為例，通過(guò)縱向聯(lián)邦學(xué)習(xí)組件利用第三方風(fēng)控?cái)?shù)據(jù)進(jìn)行聯(lián)合建模，從數(shù)據(jù)優(yōu)化的維度提升模型精度至99.2%。對(duì)于客戶資源損失的問(wèn)題，使用隱匿集合求交功能，實(shí)現(xiàn)與第三方社交媒體用戶資源的匹配，從而找到失聯(lián)客戶，并進(jìn)行接觸推廣，最終將失聯(lián)用戶率降低至0.4%。對(duì)于模型黑盒問(wèn)題， 通過(guò)引入模型可解釋模塊，解決了對(duì)客戶的評(píng)分差異無(wú)法解釋的問(wèn)題。星環(huán)科技提出的T-DACM可信AI治理框架結(jié)合數(shù)據(jù)、算法、計(jì)算、管理四個(gè)維度的可信方法，提供了一個(gè)端到端的可信AI解決方案，并率先在產(chǎn)業(yè)界進(jìn)行了實(shí)踐與落地。然而，可信AI是一件任重而道遠(yuǎn)的事情，當(dāng)前模型的黑盒仍未完全解開(kāi)，徹底的可信尚未達(dá)到，相信隨著人們對(duì)AI研究愈加深入、新方法新技術(shù)的不斷提出，可信AI框架必將越來(lái)越完善。