美參院將評估AI演算法偏見提上立法日程：「演算法黑箱」迎來光明？

4月1日，美國2020年總統競選候選人，參議院布克在華盛頓參加「We The People」集會。圖片來源：視覺中國

人工智慧機器學習所做的自動化決策是否客觀？如果演算法帶有偏見，在使用人臉特徵等個人信息后，科技公司或其他實體需要對其演算法產生的決策結果負責嗎？

當地時間4月10日，美國兩位民主党參議員布克（Cory Booker）和懷登（Ron Wyden）聯合提出了《2019演算法問責製法案》（Algorithmic Accountability Act of 2019），試圖對人工智慧機器學習中的偏見和個人敏感信息使用問題進行規制。

法案提出，聯邦貿易委員會 (Federal Trade Commission) 應儘快制定關於“高風險自動決策系統”（high-risk automated decision system）的評估規則，科技企業必須評估演算法是否存在歧視性偏見，以及它們是否對消費者構成隱私或安全風險。

據科技媒體The Verge報道，此項法案主要針對的是在數據領域獲得大量個人信息的科技巨頭們。年收入超過5000萬美元，擁有至少100萬個人或設備信息的公司，或主要業務就是買賣個人數據的科技公司將屬於這項法案主要的規制目標。

2020年美國總統參選人布克在聲明中說，必須採取更有力的措施解決“惡性”歧視在科技平台上的使用，雖然有時候這些科技平台是無意的。

法案的另一發起人懷登對美聯社表示：“計算機正在越來越多地參與到美國人日常生活中的關鍵決策。例如申請人是否可以買房、找什麼工作，甚至是否應將某人送進監獄。當這些公司（根據法案）開始評估和調查的時候，他們將在系統中發現很多帶有偏見的決策意見。”對於人工智慧公司在透明度和公開性方面做出的努力，懷登表示：“很明顯，自我監管在這裡已經失敗。”

在這項法案中，“高風險自動決策系統”主要指涉及種族、膚色、民族、政治見解、宗教、工會成員、遺傳數據、生物特徵數據、健康、性別認同、性取向、刑事定罪或逮捕的個人信息的系統。當這些系統試圖分析或預測個人的工作業績、經濟狀況、健康、個人偏好、利益、行為、所在地點或行動，從而改變個人的合法權利的時候，或當這些系統被用於監測一個大的公共場所時，它們必須被相關法案評估和監測。

對此，科技公司支持的智庫“信息技術和創新基金會 ”(Information Technology And Innovation Foundation) 副主卡斯特羅 (Daniel Castro)  對法案表示了不滿。他說：“如果某個決定有很高風險損害消費者利益，那麼無論是演算法還是個人做出這個決定都是一樣的。用更高標準要求演算法意味著自動化決策在本質上比人類決策更不可信或更危險，但事實並非如此。”

卡斯特羅還表示，這項法案對大公司很不公平。如果公司需要對每一次軟體更新都進行評估的話一定會損害產品開發過程。

美聯社認為，這項法案的提交表明，對數據經濟加強管理正逐漸成為受到兩黨支持的重大議題。一旦法案在國會通過，從社交媒體、在線數據經紀公司、金融演算法到自動駕駛軟體等都將受到影響。

另外，在“高風險自動決策系統”使用的所有信息中，生物特徵是敏感度和風險係數最高的信息之一。在商業領域使用日漸廣泛的人臉識別技術更是讓美國的立法者產生了很大擔憂。就在上個月，民主党參議員施茨（Brian Schatz）和共和党參議員布朗特（Roy Blunt）就提出了《2019商用人臉識別隱私法案》（Commercial Facial Recognition Privacy Act of 2019）。根據這項法案，公司在公共場所使用面部識別技術之前，以及在與第三方共享任何數據之前，都必須徵得人們的同意。

它還將要求評審機構在產品使用之前對其進行測試，努力在前消除演算法偏差和準確性方面的問題，以及要求面部識別技術服務商達到聯邦貿易委員會和國家標準與技術研究所制定的安全標準。

那麼，演算法偏見在實際操作中又是如何產生的呢？

一方面，機器學習演算法相關細節一般屬於專利保護範圍，因此被科技公司嚴格保密。另一方面，演算法本身可以複雜到連代碼創建者都不知道它們是如何工作的。這就是所謂的“黑箱”問題。

科技雜誌《未來主義》的作者戈利普爾（Bahar Gholipour）曾在去年撰文指出，對於演算法“黑箱”的擔憂在計算機科學家群體中已經流傳多年，而在過去的兩年中，關於人工智慧公平性的論文數量激增，反應了人們對這個議題日漸增長的興趣和關心。

湖南師範大學人工智慧道德決策研究所博士，上海瑪娜數據科技發展基金會研究員胡曉萌對界面新聞表示：“（演算法）技術人員通常在自動決策系統的設計、研發、運營等過程中負責一個子集，很少有人可以了解技術的全貌。沒有人了解，也就意味著無人能牢固地、抑或有效地控制技術（的使用和發展）。”

而由於機器學習演算法又是基於歷史數據之上的產物，胡曉萌認為“演算法會不可避免地將價值觀和倫理帶入產品和服務的設計過程中，將價值觀蘊藏於商業決策之中。對於企業來說，考量價值觀和倫理的目的不僅在於解決當前問題和帶來豐厚收益等，更在於決策本身是否會被企業自身和用戶接受、演算法輸出的結果是否會被用戶信賴。”

而對於演算法偏見對社會的整體影響，戈利普爾在文章中稱：“如果這一問題不能得到解決，那它將會摧毀我們的社會。因為這些演算法將確保我們努力掙脫的所有歧視被永久地編碼到我們的未來之中。”

科技雜誌《連線》也曾在2017年發表文章表示，機器學習的自動決策機制對美國憲法所保障的“正當程序權”（due process）產生了威脅。

文章援引紐約大學著名人工智慧研究機構AI Now的報告說，負責刑事司法、衛生和福利等領域的公共機構正越來越多地使用評分系統和軟體來指導或決策重大事件，如准予保釋、判刑、執法等。但政府在使用這些演算法時應當慎重。

AI Now的創始人克勞福德（Kate Crawford）說：“在演算法做出的自動化決定中，我們應當為人們提供和人類決定一樣的正當程序保護。”

布克和懷登在4月10日提出的法案並非立法者們第一次嘗試對演算法“黑箱”問題進行規制。2018年5月25日，《歐盟一般數據保護條例》（GDPR）生效，其中最具爭議性的條款之一就是消費者有自動化決策“解釋權”，並且在某些條件下，消費者有權利不接受完全由（人工智慧）自動化系統做出的重大決定。在這項法案生效前，全球消費者沒有任何法律工具對人工智慧演算法作出的自動化決策進行挑戰或提出異議。

那麼，演算法“黑箱”的不可解釋性是否在技術上完全無解呢？

杜克大學計算機科學、電氣和計算機工程副教授辛魯丁(Cynthia Rudin) 曾對《未來主義》 表示，計算機科學家們擁有建立非“黑箱”的演算法模型的能力。他說：“但是，要讓人們注意到這項工作有一定困難。如果政府機構不再為‘黑箱’演算法買單，那將會有所幫助。如果法官拒絕使用‘黑箱’演算法進行判決，這也會有所幫助。”

對此，胡曉萌認為，在演算法時代，社會的權力運行就在黑箱之中，因此，“對演算法進行法治的目的就在於讓社會權力運行陽光化”。

他表示：“當社會達到萬物互聯的普適計算時代后，一切都被數據化，所有的社會運行可能都是通過演算法（自動決策系統）在支配。到那時演算法（自動決策系統）將成為社會基礎設施的一部分。所以演算法陽光化是勢在必行的，透明化是通往可理解的必要路徑。