免费看成人无码网站|久久久久中文欧美在线二区|午夜精 亚洲精品Aⅴ一区二区三区四区|国产精品自产拍高潮在线

智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制-科技論文

胡元聰1,2,曲君宇1

摘 要:智能無人系統(tǒng)的迅猛發(fā)展使人類獲益良多,但在其開發(fā)與應(yīng)用中也引致了數(shù)據(jù)壟斷、數(shù)據(jù)侵權(quán)、算法霸權(quán)、產(chǎn)品責(zé)任和社會保障等法律問題,亟需加以應(yīng)對和解決。在弱人工智能時代,應(yīng)將智能無人系統(tǒng)作為“產(chǎn)品”以法律客體進(jìn)行對待。同時在堅持尊重人權(quán)原則、社會公平原則、安全可控原則、開放共享原則和權(quán)義統(tǒng)一原則的基礎(chǔ)上,通過構(gòu)建數(shù)據(jù)強(qiáng)制許可與用戶授權(quán)規(guī)則、制定產(chǎn)品安全與算法技術(shù)標(biāo)準(zhǔn)、加重開發(fā)者信息披露與解釋說明義務(wù)、建立產(chǎn)品責(zé)任追溯與責(zé)任分擔(dān)機(jī)制、健全相關(guān)社會保障與公民發(fā)展制度,為智能無人系統(tǒng)的高質(zhì)量發(fā)展提供堅實的法律保障。

一、研究背景與問題

自2017年國務(wù)院政府工作報告提出要培育和壯大人工智能產(chǎn)業(yè)以來,我國掀起了智能無人系統(tǒng)開發(fā)與應(yīng)用的熱潮。基于智能無人系統(tǒng)對社會生產(chǎn)力發(fā)展的巨大推動作用,同時基于對《中國制造2025》提出的“關(guān)鍵崗位機(jī)器人替代”工程目標(biāo)的美好憧憬,政府、企業(yè)、高校等社會各界均投身于智能無人系統(tǒng)的研究中。隨著研究不斷深入,智能無人系統(tǒng)開發(fā)與應(yīng)用中面臨的法律問題也日漸凸顯。因此,如何通過制度革新對這些法律問題加以解決成為了智能無人系統(tǒng)研究中的新焦點。目前,對于智能無人系統(tǒng)開發(fā)與應(yīng)用中面臨哪些法律問題,學(xué)界已研究得較為透徹,《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》《人工智能安全白皮書(2018)》等報告中對此均有涉及,大致可以概括為數(shù)據(jù)壟斷問題、數(shù)據(jù)侵權(quán)問題、算法霸權(quán)問題、產(chǎn)品責(zé)任問題和社會保障問題。但對于如何通過制度革新解決智能無人系統(tǒng)開發(fā)與應(yīng)用中面臨的上述法律問題,現(xiàn)有研究仍然存在不足,一方面對規(guī)制理念的探討尚不全面;另一方面提出的規(guī)制對策也有待細(xì)化,因而迫切需要后續(xù)研究者加以挖掘與拓展。

智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制-科技論文

研究“智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制”需要結(jié)合智能無人系統(tǒng)的現(xiàn)有技術(shù)背景進(jìn)行展開。在目前的弱人工智能時代,智能無人系統(tǒng)不能也沒有必要成為獨立的法律主體,可以作為“產(chǎn)品”以法律客體的形式存在。而根據(jù)法學(xué)的基本原理,法律規(guī)制主要具有兩個功能,一是對法律主體進(jìn)行約束和限制,二是對法律主體提供激勵和保護(hù)。因此,對智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制實質(zhì)上是對智能無人系統(tǒng)中各方主體的法律規(guī)制。其中,智能無人系統(tǒng)的開發(fā)者憑借數(shù)據(jù)壁壘和算法優(yōu)勢,不斷攫取超額利益,所以需要法律予以約束和限制;智能無人系統(tǒng)的消費(fèi)者、受智能無人系統(tǒng)影響的勞動者以及其他利益相關(guān)者的正當(dāng)利益不斷受到侵害,所以需要法律予以激勵和保護(hù)。只有善用法律,對智能無人系統(tǒng)中各方主體辯證地加以規(guī)制,使各方主體的利益達(dá)致均衡,才能妥善解決智能無人系統(tǒng)開發(fā)與應(yīng)用中面臨的法律問題[1]。

基于上述考慮,本文以“問題提出——基本原則——具體對策”為分析框架,試圖闡明智能無人系統(tǒng)開發(fā)與應(yīng)用中面臨的許多法律問題,而這些法律問題阻礙了市場秩序的正常運(yùn)行,可能對個人、社會和國家的利益造成嚴(yán)重?fù)p害,故而亟需對其進(jìn)行法律規(guī)制。本文通過對各類法律價值理念進(jìn)行考量和取舍,提出應(yīng)當(dāng)樹立尊重人權(quán)、社會公平、安全可控、開放共享和權(quán)義統(tǒng)一五項基本原則,為智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制提供理論支撐。并以此為指引,通過構(gòu)建強(qiáng)制許可與用戶授權(quán)規(guī)則、制定產(chǎn)品安全與算法技術(shù)標(biāo)準(zhǔn)、加重信息披露與解釋說明義務(wù)、建立責(zé)任追溯與責(zé)任分擔(dān)機(jī)制、健全相關(guān)社會保障與發(fā)展制度,為智能無人系統(tǒng)的開發(fā)與應(yīng)用提供具體的規(guī)制對策,以保障智能無人系統(tǒng)的高質(zhì)量發(fā)展。

二、智能無人系統(tǒng)開發(fā)與應(yīng)用中的法律問題梳理

(一)智能無人系統(tǒng)開發(fā)中的數(shù)據(jù)壟斷問題

依照德國于2017年發(fā)布的《大數(shù)據(jù)與競爭》中的觀點,數(shù)據(jù)壁壘的形成有兩個前提,一是相關(guān)數(shù)據(jù)具有重要作用,二是其他經(jīng)營者沒有能力獲得數(shù)據(jù)。參照此觀點可以發(fā)現(xiàn),智能無人系統(tǒng)在開發(fā)中可能面臨數(shù)據(jù)壁壘問題[2]。一方面,智能無人系統(tǒng)的開發(fā)離不開海量的數(shù)據(jù)作為支撐。開發(fā)者通過對數(shù)據(jù)進(jìn)行收集、分析和使用,不僅可以充分了解用戶偏好而提供個性化的智能無人系統(tǒng)產(chǎn)品,還可以對智能無人系統(tǒng)產(chǎn)品的應(yīng)用環(huán)境作出更多模擬,促進(jìn)智能無人系統(tǒng)產(chǎn)品性能的優(yōu)化,增強(qiáng)其自主性。因此,相關(guān)數(shù)據(jù)對智能無人系統(tǒng)的開發(fā)具有重要作用[3]。另一方面,對智能無人系統(tǒng)的相關(guān)數(shù)據(jù)進(jìn)行收集,需要開發(fā)者投資相應(yīng)的基礎(chǔ)設(shè)施且需要用戶使用該開發(fā)者的產(chǎn)品。然而許多潛在的開發(fā)者沒有能力進(jìn)行相應(yīng)的前期基礎(chǔ)設(shè)施投資,又或者雖然進(jìn)行了前期投資但卻因為用戶數(shù)量過少而難以收集到足夠的用戶數(shù)據(jù)。就目前的情況看,由于我國對數(shù)據(jù)壟斷的法律規(guī)制仍處于空白狀態(tài),導(dǎo)致開發(fā)者很容易憑借數(shù)據(jù)壁壘進(jìn)行數(shù)據(jù)壟斷。因為其只需要依靠自身掌握大量數(shù)據(jù)資源的優(yōu)勢,拒絕向其他開發(fā)者共享數(shù)據(jù)資源,就可以迫使其他開發(fā)者開發(fā)同類智能無人系統(tǒng)時從頭做起,重復(fù)自己已做的勞動。待其他開發(fā)者完成開發(fā),原開發(fā)者早已通過產(chǎn)品的市場反饋數(shù)據(jù)以及后續(xù)模擬實驗開發(fā)出更先進(jìn)的智能無人系統(tǒng),如此循環(huán)往復(fù),形成完整的周期閉環(huán),其他開發(fā)者只能被迫退出競爭。因此,開發(fā)者可以依靠不斷累積的數(shù)據(jù)在市場競爭中構(gòu)筑最深的“護(hù)城河”,限制其他開發(fā)者進(jìn)入相關(guān)市場,從而占據(jù)市場支配地位,形成數(shù)據(jù)壟斷。開發(fā)者的數(shù)據(jù)壟斷行為不僅有礙市場的正常競爭秩序,剝奪了其他開發(fā)者公平參與市場競爭的機(jī)會,從長期來看,更會損害消費(fèi)者權(quán)益,最終減損社會整體利益。

智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制-科技論文

(二)智能無人系統(tǒng)開發(fā)中的數(shù)據(jù)侵權(quán)問題

智能無人系統(tǒng)在開發(fā)中不僅面臨數(shù)據(jù)壟斷問題,還可能面臨嚴(yán)重的數(shù)據(jù)侵權(quán)問題。智能無人系統(tǒng)產(chǎn)品應(yīng)用中所反饋的數(shù)據(jù),往往是通過對用戶的個人信息進(jìn)行采集、處理和分析所得,這就可能涉及到對用戶權(quán)利的侵犯。事實上,針對數(shù)據(jù)侵權(quán)問題,我國已經(jīng)出臺了多部法律以及規(guī)范性文件進(jìn)行規(guī)制,但其都存在一定缺陷。如《中華人民共和國消費(fèi)者權(quán)益保護(hù)法》(以下簡稱《消費(fèi)者權(quán)益保護(hù)法》)第29條規(guī)定了經(jīng)營者收集、使用消費(fèi)者個人信息時應(yīng)遵循合法、正當(dāng)、必要原則,并承擔(dān)明確告知、征得同意、保密、保障安全、補(bǔ)救等義務(wù)。但其并未正面規(guī)定消費(fèi)者作為信息主體所享有的權(quán)利。《關(guān)于加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定》第1條規(guī)定了國家保護(hù)有關(guān)公民個人身份和個人隱私的電子信息。但其卻未明確個人身份的具體范圍而存在可訴性缺陷。《中華人民共和國民法總則》第111條規(guī)定了自然人的個人信息受法律保護(hù),任何組織和個人在獲取個人信息時都應(yīng)當(dāng)依法取得并確保信息安全,而不得非法收集、使用、加工、傳輸他人個人信息,也不得非法買賣、提供或者公開他人個人信息。但該條款也只是一種原則性規(guī)定,在實踐中難以直接適用。目前為止,我國尚未對個人信息權(quán)利做出明確且具體的規(guī)定。正是由于制度設(shè)計過于粗略,致使部分開發(fā)者抱著僥幸心理,游走于法律邊緣。其中有的開發(fā)者未經(jīng)授權(quán),任意收集、使用和分析用戶的個人信息數(shù)據(jù),有的開發(fā)者雖然獲得了用戶授權(quán),但授權(quán)協(xié)議采用了格式條款的形式,不僅難以引起用戶的注意,且授權(quán)協(xié)議的內(nèi)容也超越了必要范圍。開發(fā)者的這些行為由于缺乏法律上的依據(jù),因而均涉嫌個人信息數(shù)據(jù)侵權(quán)。

(三)智能無人系統(tǒng)開發(fā)中的算法霸權(quán)問題

尤瓦爾曾預(yù)測,未來的時代將會進(jìn)入算法主導(dǎo)的時代,權(quán)威將從個人轉(zhuǎn)向由算法構(gòu)成的網(wǎng)絡(luò)。人類不會再認(rèn)為自己是自主的個體,不再依據(jù)自己的期望度日,而是習(xí)慣把人類整體看作一種生化機(jī)制的集合體,由電子算法網(wǎng)絡(luò)實時監(jiān)測和指揮[4]。這一預(yù)測雖然現(xiàn)在看來還有些杞人憂天,但也間接證明了算法在人工智能時代的重要性。對智能無人系統(tǒng)而言,算法是其運(yùn)行機(jī)制的核心,決定著智能無人系統(tǒng)的運(yùn)行邏輯。因此,當(dāng)開發(fā)者濫用算法時,很可能導(dǎo)致算法霸權(quán)的產(chǎn)生。算法霸權(quán)在智能無人系統(tǒng)的開發(fā)中可能基于兩種原因產(chǎn)生:其一,開發(fā)者基于算法后門取得霸權(quán)。一般產(chǎn)品的生產(chǎn)者將產(chǎn)品售出后,通常會喪失產(chǎn)品的控制權(quán),而智能無人系統(tǒng)產(chǎn)品則不同,其不僅有生產(chǎn)者,還有開發(fā)者。如果開發(fā)者通過算法設(shè)計在智能無人系統(tǒng)上留下“后門”,其將在事實上對智能無人系統(tǒng)擁有最高權(quán)限。舉例而言,如果開發(fā)者在無人駕駛汽車中留有“后門”,其將可以在后臺接管無人駕駛汽車的駕駛權(quán),進(jìn)而對消費(fèi)者的生命安全產(chǎn)生實質(zhì)威脅。因此,當(dāng)智能無人系統(tǒng)產(chǎn)品廣泛普及后,開發(fā)者將借此獲得巨大的社會影響力。其二,開發(fā)者基于算法判斷取得霸權(quán)。由于算法的回報函數(shù)都是在特定的價值立場下設(shè)定的,其運(yùn)算過程總是蘊(yùn)含著開發(fā)者的價值判斷[5]。因此,開發(fā)者的道德傾向甚至個人好惡都會對智能無人系統(tǒng)的實際運(yùn)行產(chǎn)生影響。以著名的“電車難題”為例,如果該軌道是由智能無人系統(tǒng)控制,則將失控電車引向哪一邊其實是由開發(fā)者的價值觀念決定的,亦可以說,開發(fā)者成了該題的“判官”。這意味著,智能無人系統(tǒng)產(chǎn)品廣泛普及后,開發(fā)者的價值判斷將自然而然的取代產(chǎn)品使用者甚至法官的價值判斷,開發(fā)者將因此而獲取解釋“正義”的權(quán)力。算法霸權(quán)的出現(xiàn),不僅會對市場秩序造成破壞,更會對國家安全和社會治理帶來嚴(yán)重的威脅。

(四)智能無人系統(tǒng)應(yīng)用中的產(chǎn)品責(zé)任問題

2018年3月20日,美國亞利桑那州的一名女子在穿越馬路時被Uber無人駕駛汽車撞傷致死。有關(guān)部門在事后判定中認(rèn)為該女子橫穿馬路本身具有一定過錯,但是其過錯并不必然導(dǎo)致?lián)p害結(jié)果的發(fā)生,無人駕駛汽車顯然未能盡到與普通駕駛員相同水平的注意義務(wù)。也就是說,Uber公司作為無人駕駛汽車的開發(fā)者,也應(yīng)當(dāng)因產(chǎn)品缺陷承擔(dān)部分責(zé)任。雖然此案最終以雙方和解收場,未能在制度層面給我們多少經(jīng)驗加以借鑒,但該案的發(fā)生已經(jīng)證明了智能無人系統(tǒng)在應(yīng)用中面臨產(chǎn)品責(zé)任問題[6]。眾所周知,智能無人系統(tǒng)在開發(fā)中會存在漏洞,這些漏洞會影響智能無人系統(tǒng)的穩(wěn)定性與安全性,導(dǎo)致其作為產(chǎn)品進(jìn)入市場后可能會出現(xiàn)產(chǎn)品責(zé)任事故而造成他人損害。既然有損害就要有救濟(jì),產(chǎn)品責(zé)任問題將會隨之而來。對一般產(chǎn)品而言,產(chǎn)品責(zé)任的歸責(zé)主體為生產(chǎn)者和銷售者,適用的歸責(zé)原則為無過錯責(zé)任原則,即產(chǎn)品致人損害后,除了消費(fèi)者有過錯以及幾種特殊抗辯情形外,應(yīng)當(dāng)由生產(chǎn)者或銷售者分別或共同承擔(dān)賠償責(zé)任。但對智能無人系統(tǒng)產(chǎn)品而言,其是由開發(fā)者設(shè)計而成,因此產(chǎn)品的歸責(zé)主體還應(yīng)當(dāng)包括開發(fā)者,這一點各方基本沒有異議。但除此之外,智能無人系統(tǒng)產(chǎn)品應(yīng)當(dāng)適用何種歸責(zé)原則,產(chǎn)品責(zé)任該如何進(jìn)行分擔(dān),目前法律并未給出明確答案[7]。除此之外,另一個與責(zé)任分擔(dān)相關(guān)的問題在于算法開發(fā)與產(chǎn)品制造不同,我們可以很容易地根據(jù)產(chǎn)品編號等證明文件追蹤到產(chǎn)品的制造者,但卻很難對算法的開發(fā)者進(jìn)行追蹤。因此,即便明確了產(chǎn)品責(zé)任的分擔(dān)方式,如何尋找智能無人系統(tǒng)的開發(fā)者仍是法律需要面臨的問題。隨著武漢發(fā)出首張自動駕駛商用牌照,解決智能無人系統(tǒng)產(chǎn)品的產(chǎn)品責(zé)任問題已迫在眉睫,如果法律不能妥善解決該問題,勢必使智能無人系統(tǒng)產(chǎn)品的消費(fèi)者產(chǎn)生疑慮,從而影響市場信心,減緩智能無人系統(tǒng)的發(fā)展速度。

(五)智能無人系統(tǒng)應(yīng)用中的社會保障問題

正如美國科普作家馬丁·福特所說,我們要承認(rèn)一個嚴(yán)峻的現(xiàn)實,目前的大部分工作被機(jī)器人取代只是時間問題。與人工智能相比,人類在工作效率上存在明顯的劣勢。即便在弱人工智能時代,智能無人系統(tǒng)在某些行業(yè)的工作效率也已遠(yuǎn)遠(yuǎn)高出人類。一方面,在一些勞動密集型行業(yè),智能無人系統(tǒng)可以長期工作而不降低穩(wěn)定性。另一方面,在一些涉及高危險、高精度勞動的特殊行業(yè),智能無人系統(tǒng)可以很好地適應(yīng)環(huán)境,同時保持高精密性。因此,在這些行業(yè),智能無人系統(tǒng)可能會很快取代人類,而由此引發(fā)的大規(guī)模失業(yè)將會使我國面臨嚴(yán)峻的社會保障問題。事實上,麥肯錫全球研究院發(fā)布的報告已經(jīng)對智能無人系統(tǒng)即將取代人類約一半的工作作出了預(yù)測,并認(rèn)為這一趨勢極有可能實現(xiàn)[8]。在中國,智能無人系統(tǒng)帶來的失業(yè)浪潮已經(jīng)開始上演,如銀行使用ATM機(jī)代替柜員、阿里巴巴啟用機(jī)器客服取代人工客服、高速公路收費(fèi)站用ETC系統(tǒng)代替收費(fèi)員等等。隨著大量工作崗位被智能無人系統(tǒng)所取代,一些傳統(tǒng)行業(yè)消亡將成為當(dāng)代經(jīng)濟(jì)發(fā)展中不可阻止和逆轉(zhuǎn)的事實。雖然智能無人系統(tǒng)的發(fā)展也為社會創(chuàng)造了許多新的就業(yè)崗位,如數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)工程師等,但其創(chuàng)造崗位的數(shù)量和速度遠(yuǎn)遠(yuǎn)比不上其替代崗位的數(shù)量和速度[9]。況且對于失業(yè)的勞動者來說,他們一般屬于底層勞動者,綜合素質(zhì)相對較低,這決定了其很難快速掌握智能無人系統(tǒng)所取代不了的先進(jìn)技術(shù),即便創(chuàng)造了新的崗位,他們也難以勝任。在此情況下,如果我國的社會保障能力跟不上社會發(fā)展的步伐,導(dǎo)致這些失業(yè)勞動者被時代所拋棄,不僅會引發(fā)大規(guī)模的失業(yè)浪潮,使得經(jīng)濟(jì)穩(wěn)定性和可持續(xù)性大大降低。還會加大社會的貧富差距,甚至于造成階級對立與割裂,最終偏離共同富裕的發(fā)展目標(biāo)。

三、智能無人系統(tǒng)開發(fā)與應(yīng)用法律規(guī)制的基本原則

(一)尊重人權(quán)原則

《世界人權(quán)宣言》提出:“人人生而自由,在尊嚴(yán)和權(quán)利上一律平等。”因此,人權(quán)不僅是每個公民與生俱來的權(quán)利,也是社會發(fā)展的最終旨?xì)w。具體到智能無人系統(tǒng)而言,其只是人類發(fā)展過程中的一種工具,開發(fā)與應(yīng)用的最終目的是為了豐富人們物質(zhì)生活,幫助人們更好地適應(yīng)自然和改造自然,將人們從繁重的勞動中解救出來,以實現(xiàn)更大程度的自由。因此,在智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制中,我們首先應(yīng)當(dāng)樹立尊重人權(quán)原則。該原則有以下內(nèi)涵:

(1)智能無人系統(tǒng)的開發(fā)不得以侵害具體人權(quán)為代價。在智能無人系統(tǒng)的開發(fā)中,我們應(yīng)當(dāng)認(rèn)清一個事實,即智能無人系統(tǒng)只是手段和工具,為人類社會發(fā)展所用才是目的。人權(quán)的具體內(nèi)容有很多,智能無人系統(tǒng)開發(fā)中主要侵害的是其中的個人信息權(quán)。因此,我國應(yīng)當(dāng)盡快完善個人信息保護(hù)立法,制定具體的個人信息數(shù)據(jù)保護(hù)細(xì)則,對智能無人系統(tǒng)開發(fā)中的數(shù)據(jù)侵權(quán)行為進(jìn)行規(guī)制,保護(hù)公民的個人信息權(quán),以維護(hù)其人格尊嚴(yán)。

(2)智能無人系統(tǒng)不得擅自應(yīng)用于侵害具體人權(quán)之領(lǐng)域。智能無人系統(tǒng)可以應(yīng)用于人類生活的各個領(lǐng)域,但應(yīng)用的領(lǐng)域不同,對人類社會發(fā)展產(chǎn)生的效果也不同。如果將其應(yīng)用于科研、醫(yī)療等領(lǐng)域,自然會對人類社會的發(fā)展產(chǎn)生幫助,但是如果將其應(yīng)用于戰(zhàn)爭、犯罪等領(lǐng)域,不僅不能對人類社會發(fā)展產(chǎn)生助力,反而會對人類社會發(fā)展造成嚴(yán)重?fù)p害。因此,我國應(yīng)當(dāng)通過立法對智能無人系統(tǒng)的應(yīng)用領(lǐng)域作出嚴(yán)格限定,一般領(lǐng)域的應(yīng)用需要經(jīng)過法律程序進(jìn)行備案,可能嚴(yán)重侵害人權(quán)的特殊領(lǐng)域的應(yīng)用則需要經(jīng)過法律特別審批,以此降低智能無人系統(tǒng)應(yīng)用中的人權(quán)侵害風(fēng)險。

(3)智能無人系統(tǒng)開發(fā)與應(yīng)用中對人權(quán)帶來的負(fù)外部性應(yīng)當(dāng)被合理抑制。智能無人系統(tǒng)的廣泛普及可以提高社會發(fā)展水平,提高人們的人均生活質(zhì)量,為人權(quán)帶來正外部性。但同時也可能造成勞動者大規(guī)模失業(yè),影響社會秩序的穩(wěn)定,給人權(quán)帶來負(fù)外部性。因此,我國應(yīng)當(dāng)秉持創(chuàng)新發(fā)展戰(zhàn)略,以“人工智能+”作為戰(zhàn)略目標(biāo),通過制度革新推動智能無人系統(tǒng)在更多傳統(tǒng)行業(yè)與傳統(tǒng)產(chǎn)業(yè)中的應(yīng)用,進(jìn)而實現(xiàn)人機(jī)協(xié)同。同時,將“大眾創(chuàng)業(yè),萬眾創(chuàng)新”的思想與智能無人系統(tǒng)的開發(fā)與應(yīng)用相結(jié)合,從而調(diào)動全民的創(chuàng)新熱情,追求新的經(jīng)濟(jì)增長點,創(chuàng)造更多的就業(yè)崗位,以此促進(jìn)就業(yè),緩解社會矛盾,抑制智能無人系統(tǒng)開發(fā)與應(yīng)用中對人權(quán)帶來的負(fù)外部性。

(二)社會公平原則

社會公平是人類多年來一直不懈追求的重要目標(biāo),其涵義已從最初的形式公平發(fā)展到后來的實質(zhì)公平。而隨著時代的發(fā)展,社會公平的內(nèi)涵還在不斷變化。在人工智能時代,國家新一代人工智能治理專業(yè)委員會賦予了社會公平新的內(nèi)涵,其認(rèn)為人工智能時代的社會公平就是保障利益相關(guān)者的權(quán)益,促進(jìn)機(jī)會均等,在數(shù)據(jù)獲取、算法設(shè)計、技術(shù)開發(fā)、產(chǎn)品研發(fā)和應(yīng)用過程中消除偏見和歧視。因此,在智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制中,我們堅持的社會公平原則有以下內(nèi)涵:

(1)通過立法保證智能無人系統(tǒng)開發(fā)中的信息公平。在人工智能時代,信息已經(jīng)成為一種戰(zhàn)略資源,具有很高的經(jīng)濟(jì)價值。在智能無人系統(tǒng)的開發(fā)中,各方主體間存在信息不對稱的問題,其中開發(fā)者可能憑借地位優(yōu)勢對信息進(jìn)行控制,形成信息壟斷,損害其他主體的正當(dāng)權(quán)益。因此,我國應(yīng)當(dāng)加快相關(guān)立法,一方面賦予其他開發(fā)者對原開發(fā)者所收集的數(shù)據(jù)在支付對價的前提下享有要求共享的權(quán)利;另一方面賦予他方主體對開發(fā)者所設(shè)計的算法中與自身利益密切相關(guān)的信息享有充分的知情權(quán)。通過數(shù)據(jù)信息的共享以及算法信息的披露,保證智能無人系統(tǒng)開發(fā)中各方主體之間的信息公平。

(2)通過立法保證智能無人系統(tǒng)開發(fā)中的算法公平。伴隨人工智能的發(fā)展,國家和社會對于算法的依賴逐漸加深,一種新型的權(quán)力形態(tài)——算法權(quán)力也隨之出現(xiàn)[10]。算法權(quán)力打破了智能無人系統(tǒng)中各方主體的權(quán)利平衡,使開發(fā)者對他方主體具有了巨大的影響力和控制力。實現(xiàn)算法公平,其實質(zhì)就是抑制開發(fā)者的算法權(quán)力,將算法權(quán)力放入法律的“籠子”中[11]。因此,我國應(yīng)當(dāng)通過立法對開發(fā)者的算法設(shè)計進(jìn)行引導(dǎo)和約束,使其保持客觀中立的價值取向,在運(yùn)行時不歧視或區(qū)別對待。如果算法設(shè)計中涉及重大價值判斷問題,應(yīng)當(dāng)通過法律程序由公民民主決定其最終應(yīng)當(dāng)遵循何種價值觀念,以增強(qiáng)算法的可解釋性,保證智能無人系統(tǒng)開發(fā)中各方主體之間的算法公平。

(3)通過立法保證智能無人系統(tǒng)應(yīng)用中的交易公平。開發(fā)者不僅在智能無人系統(tǒng)的開發(fā)中具有優(yōu)勢地位,在智能無人系統(tǒng)的應(yīng)用中,其作為經(jīng)營者同樣處于優(yōu)勢地位。因此,我國應(yīng)當(dāng)基于《消費(fèi)者保護(hù)法》弱者保護(hù)之精神,通過立法對開發(fā)者在市場交易中的權(quán)利與義務(wù)進(jìn)行傾斜配置,適當(dāng)加重開發(fā)者的義務(wù)與責(zé)任,以削弱開發(fā)者的地位優(yōu)勢,從而恢復(fù)平等的市場關(guān)系并實現(xiàn)智能無人系統(tǒng)應(yīng)用中的交易公平。

(三)安全可控原則

安全是維持人們正常生產(chǎn)生活的最低需求,社會安全一旦被破壞,人權(quán)也就喪失了實現(xiàn)的基礎(chǔ)。智能無人系統(tǒng)的開發(fā)與應(yīng)用給社會安全帶來了巨大的挑戰(zhàn),由于智能無人系統(tǒng)具有很強(qiáng)的不確定性,其存在觸碰到了人類預(yù)知的限度,導(dǎo)致其在運(yùn)行中很容易脫離人們的掌控,因而產(chǎn)生了巨大的安全風(fēng)險[12]。而且隨著智能無人系統(tǒng)的自主性不斷提高,人類對其的控制力度將越來越弱,預(yù)判其運(yùn)行結(jié)果將更加困難,所以其安全風(fēng)險也會變得越來越高。因此,在智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制中,我們要樹立安全可控原則。其內(nèi)涵包括:

(1)法律應(yīng)當(dāng)對智能無人系統(tǒng)的安全開發(fā)起引導(dǎo)作用。根據(jù)傳統(tǒng)觀念,法律具有滯后性,其只能被動應(yīng)對現(xiàn)實生活中已經(jīng)出現(xiàn)的問題。但對智能無人系統(tǒng)而言,如果等待其開發(fā)完畢再進(jìn)行法律規(guī)制,不僅規(guī)制效果不佳,而且會使開發(fā)者承擔(dān)過高的開發(fā)成本。因此,我國應(yīng)當(dāng)增加法律的能動性,通過直接對開發(fā)者的開發(fā)行為進(jìn)行約束,提高算法的可追溯性,同時明確開發(fā)者的嚴(yán)格產(chǎn)品責(zé)任,引導(dǎo)其在算法設(shè)計時著重考量算法的可控性,進(jìn)而提高智能無人系統(tǒng)產(chǎn)品的安全性,避免產(chǎn)品損害風(fēng)險的發(fā)生。

(2)法律應(yīng)當(dāng)對智能無人系統(tǒng)的市場準(zhǔn)入起到管理作用。清代理學(xué)家朱用純有言:“宜未雨綢繆,毋臨渴而掘井”。與其等智能無人系統(tǒng)產(chǎn)品在應(yīng)用中出現(xiàn)安全問題再對其進(jìn)行法律規(guī)制,不如防患于未然,直接在生產(chǎn)源頭對智能無人系統(tǒng)產(chǎn)品的質(zhì)量加以控制。因此,我國應(yīng)當(dāng)加強(qiáng)智能無人系統(tǒng)標(biāo)準(zhǔn)體系建設(shè),通過建立合理的產(chǎn)品安全標(biāo)準(zhǔn)和算法技術(shù)標(biāo)準(zhǔn),對智能無人系統(tǒng)產(chǎn)品的安全性進(jìn)行有效評估,杜絕不符合標(biāo)準(zhǔn)之產(chǎn)品進(jìn)入市場,從生產(chǎn)源頭消滅安全風(fēng)險。

(3)法律應(yīng)當(dāng)對智能無人系統(tǒng)產(chǎn)品責(zé)任事故處理機(jī)制起監(jiān)督作用。即便法律對智能無人系統(tǒng)的開發(fā)和市場準(zhǔn)入都作了預(yù)先規(guī)制,但其只能降低智能無人系統(tǒng)發(fā)生產(chǎn)品責(zé)任事故的幾率,而不能完全杜絕產(chǎn)品責(zé)任事故的發(fā)生。因此,我國還應(yīng)當(dāng)健全智能無人系統(tǒng)產(chǎn)品責(zé)任事故處理機(jī)制。一方面,要求開發(fā)者在智能無人系統(tǒng)產(chǎn)品投入市場前,必須對其可能產(chǎn)生的各種安全風(fēng)險進(jìn)行評估,并設(shè)計相應(yīng)的產(chǎn)品責(zé)任事故應(yīng)對處理預(yù)案;另一方面,要求政府有關(guān)部門加強(qiáng)對開發(fā)者的監(jiān)管,確保開發(fā)者對安全風(fēng)險的評估完整和準(zhǔn)確,處理方式合理且有效,并督促開發(fā)者及時將評估信息披露給公眾。同時,政府還應(yīng)當(dāng)勇于承擔(dān)責(zé)任,通過設(shè)立應(yīng)急處理機(jī)構(gòu)和制定應(yīng)急處理預(yù)案等方式,確保一旦出現(xiàn)產(chǎn)品責(zé)任事故,能將其損害結(jié)果降至最低[13]。

(四)開放共享原則

“封閉使人落后,開放使人進(jìn)步?!痹诳萍及l(fā)展日新月異的今天,閉門造車將被時代拋棄,只有交流合作才能進(jìn)一步促進(jìn)智能無人系統(tǒng)的發(fā)展。對此,工業(yè)和信息化部在《促進(jìn)新一代人工智能產(chǎn)業(yè)發(fā)展三年行動計劃(2018-2020年)》中提出要加強(qiáng)國際合作,推動人工智能共性技術(shù)、資源和服務(wù)的開放共享。完善發(fā)展環(huán)境,提升安全保障能力,實現(xiàn)產(chǎn)業(yè)健康有序發(fā)展。由此可見,只有秉持著開放的心態(tài)積極應(yīng)對人工智能帶來的挑戰(zhàn),才能抓住機(jī)遇實現(xiàn)國家的跨越式發(fā)展。因此,在智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制中,我們要樹立開放共享原則。

(1)法律應(yīng)當(dāng)為智能無人系統(tǒng)開發(fā)中的國際交流與聯(lián)合治理提供方便。人工智能的發(fā)展,不僅關(guān)乎我國的未來,更關(guān)乎全人類的未來。因此,對智能無人系統(tǒng)進(jìn)行法律規(guī)制,不能僅限于國內(nèi)法領(lǐng)域,更要延伸到國際法領(lǐng)域。我國應(yīng)當(dāng)以優(yōu)化共生理念為指導(dǎo),通過與域外各國簽訂相關(guān)國際條約、發(fā)表相關(guān)共同聲明等方式,建立跨地域、全球性、綜合性的人工智能治理生態(tài)系統(tǒng)。以此促進(jìn)智能無人系統(tǒng)開發(fā)中的國際交流與合作,推動國際智能無人系統(tǒng)治理框架和標(biāo)準(zhǔn)規(guī)范的形成,助力于人類命運(yùn)共同體的構(gòu)建[14]。

(2)法律應(yīng)當(dāng)對智能無人系統(tǒng)市場中的合作與競爭關(guān)系進(jìn)行協(xié)調(diào)。早期的技術(shù)創(chuàng)新,主要強(qiáng)調(diào)個體的作用,但隨著時代的進(jìn)步,技術(shù)創(chuàng)新的系統(tǒng)性越來越強(qiáng),僅憑單一個體的獨立研究已經(jīng)很難有所突破,只有通過不同個體間的復(fù)雜互動才能實現(xiàn)。在此情況下,能否協(xié)調(diào)好市場中合作與競爭的關(guān)系將決定智能無人系統(tǒng)技術(shù)創(chuàng)新的成敗。因此,我國應(yīng)當(dāng)善用激勵制度,在不降低開發(fā)者生產(chǎn)積極性的前提下,加強(qiáng)數(shù)據(jù)共享,打破數(shù)據(jù)壟斷。同時,給予中小開發(fā)者適當(dāng)?shù)恼叻龀趾拓斦愂昭a(bǔ)貼,提高其市場競爭力,進(jìn)而促進(jìn)智能無人系統(tǒng)市場的有序競爭。

(3)法律應(yīng)當(dāng)對智能無人系統(tǒng)的廣泛應(yīng)用給予鼓勵和支持。智能無人系統(tǒng)的應(yīng)用不僅可以降低生產(chǎn)中的資源能耗,有效推動各行各業(yè)轉(zhuǎn)型升級,提高經(jīng)濟(jì)效率,更可以提升人民整體生活水平。因此,我國應(yīng)當(dāng)通過立法加強(qiáng)對智能無人系統(tǒng)中各方主體的教育和科普力度,使各方主體能在心理、情感、技能等方面適應(yīng)智能無人系統(tǒng)發(fā)展所帶來的影響。同時,我國應(yīng)當(dāng)給予弱勢群體以相應(yīng)政策優(yōu)惠,將智能無人系統(tǒng)產(chǎn)品普及到最廣大的基層中,使每個公民都能共享科技發(fā)展之成果。

(五)權(quán)義統(tǒng)一原則

智能無人系統(tǒng)在開發(fā)與應(yīng)用中會涉及多方主體,不僅包括開發(fā)者、制造者、銷售者、使用者,還包括政府及其他利益相關(guān)方。由于牽涉主體過多,導(dǎo)致各個主體間的關(guān)系錯綜復(fù)雜。想要對這些關(guān)系進(jìn)行梳理,必須建立明確統(tǒng)一的權(quán)義結(jié)構(gòu),以權(quán)利與義務(wù)作為邏輯線索,將各方主體的行為納入法律框架中進(jìn)行統(tǒng)一規(guī)制。因此,在智能無人系統(tǒng)開發(fā)與應(yīng)用的法律規(guī)制中,我們要樹立權(quán)義統(tǒng)一原則。其內(nèi)涵如下:

(1)智能無人系統(tǒng)開發(fā)與應(yīng)用中各方主體的法律權(quán)利與法律義務(wù)設(shè)定應(yīng)當(dāng)明確。黑格爾曾說過:“法律規(guī)定得愈明確,其條文就愈容易切實地施行”。因此,國家在設(shè)定智能無人系統(tǒng)開發(fā)與應(yīng)用中各方主體的法律權(quán)利和法律義務(wù)時,應(yīng)力求使其明確、具體,禁止通過概括性條款對其作出模糊規(guī)定,以便各方主體加以遵循。以政府的監(jiān)管職責(zé)為例,應(yīng)當(dāng)通過立法構(gòu)建相應(yīng)的政府監(jiān)管制度,對監(jiān)管范圍、監(jiān)管權(quán)行使、監(jiān)管程序等內(nèi)容作出具體規(guī)定。通過設(shè)定明確的權(quán)利義務(wù)關(guān)系,厘清各方主體的利益范圍。

(2)智能無人系統(tǒng)開發(fā)與應(yīng)用中各方主體的法律權(quán)利與法律義務(wù)配置應(yīng)當(dāng)合理。智能無人系統(tǒng)開發(fā)與應(yīng)用中各方主體的地位存在天然差異,如果法律對這種差異視而不見,仍然一視同仁地分配權(quán)利和義務(wù),只會使這種差異越拉越大。因此,國家在配置各方主體的法律權(quán)利和法律義務(wù)時,必須考慮智能無人系統(tǒng)開發(fā)與應(yīng)用的現(xiàn)實特點,具體問題具體分析,給予不同主體以正當(dāng)?shù)牟顒e待遇[15]。以開發(fā)者為例,其在智能無人系統(tǒng)的開發(fā)與應(yīng)用中獲益最多,享受了大量的天然權(quán)利,因此立法時應(yīng)當(dāng)使其承擔(dān)更多的法律義務(wù)。通過合理的配置權(quán)利義務(wù),從而使各方主體間的利益關(guān)系得以平衡。

(3)智能無人系統(tǒng)開發(fā)與應(yīng)用中各方主體的法律義務(wù)與責(zé)任承擔(dān)聯(lián)系應(yīng)當(dāng)緊密。古希臘作家索??死账乖f過:“如果法律沒有恐懼支撐,他絕不能生效”。對于智能無人系統(tǒng)開發(fā)與應(yīng)用中的義務(wù)主體而言,僅希冀于其自愿履行法律規(guī)定的義務(wù)是不現(xiàn)實的,必須以法律責(zé)任的形式督促和約束義務(wù)主體履行義務(wù)。因此,國家應(yīng)當(dāng)為義務(wù)主體設(shè)定適當(dāng)?shù)拿袷仑?zé)任、行政責(zé)任和刑事責(zé)任,若其不履行或不適當(dāng)履行義務(wù),則根據(jù)情節(jié)使其承擔(dān)相應(yīng)法律責(zé)任。通過健全智能無人系統(tǒng)中的責(zé)任承擔(dān)體系,不僅可以對義務(wù)主體起到威懾作用,還可以使權(quán)利主體得到一定的補(bǔ)償,從而促進(jìn)各方主體權(quán)利、義務(wù)、責(zé)任三者的統(tǒng)一,確保各方主體在法律允許的范圍內(nèi)實現(xiàn)自身利益。

四、智能無人系統(tǒng)開發(fā)與應(yīng)用法律規(guī)制的具體對策

(一)構(gòu)建數(shù)據(jù)強(qiáng)制許可與用戶授權(quán)規(guī)則

構(gòu)建智能無人系統(tǒng)開發(fā)與應(yīng)用中的數(shù)據(jù)強(qiáng)制許可與用戶授權(quán)規(guī)則,應(yīng)當(dāng)從以下兩方面進(jìn)行:

(1)構(gòu)建數(shù)據(jù)強(qiáng)制許可規(guī)則。數(shù)據(jù)與知識相類似,都具有公共性,所以數(shù)據(jù)利用者的增加并不會提高數(shù)據(jù)利用的邊際成本,即數(shù)據(jù)的利用者越多,對數(shù)據(jù)的總體利用效率越高[16]。因此,我國應(yīng)當(dāng)根據(jù)數(shù)據(jù)的這一特性,在智能無人系統(tǒng)的開發(fā)中,借鑒域外知識產(chǎn)權(quán)法律中的著作權(quán)強(qiáng)制許可規(guī)則,構(gòu)建與之類似的數(shù)據(jù)強(qiáng)制許可規(guī)則。即開發(fā)者在無正當(dāng)理由而拒絕與第三方開發(fā)者達(dá)成數(shù)據(jù)共享協(xié)議時,國家有關(guān)部門經(jīng)第三方開發(fā)者申請,可強(qiáng)制開發(fā)者共享自己所擁有的一般開發(fā)數(shù)據(jù)給第三方開發(fā)者使用,該強(qiáng)制可不經(jīng)過開發(fā)者同意,但應(yīng)當(dāng)向其支付報酬。數(shù)據(jù)強(qiáng)制許在適用中應(yīng)當(dāng)滿足幾個條件。首先,數(shù)據(jù)強(qiáng)制許可的目的必須是為了防止數(shù)據(jù)壟斷,提高市場效率;其次,數(shù)據(jù)強(qiáng)制許可的前置條件是第三方開發(fā)者向該開發(fā)者請求數(shù)據(jù)共享被無正當(dāng)理由拒絕,其中正當(dāng)理由的范圍應(yīng)當(dāng)以未嚴(yán)重限制競爭及有利于社會公共利益為限;再次,數(shù)據(jù)強(qiáng)制許可需要由第三方開發(fā)者自行申請,而不能由有關(guān)部門主動做出決定;最后,第三方開發(fā)者必須向該占有數(shù)據(jù)的開發(fā)者支付合理報酬,合理報酬的標(biāo)準(zhǔn)應(yīng)當(dāng)由統(tǒng)一的機(jī)構(gòu)對數(shù)據(jù)價值進(jìn)行評估后制定。另外還應(yīng)當(dāng)注意的是,數(shù)據(jù)強(qiáng)制許可的客體只能是一般開發(fā)數(shù)據(jù),而不能是個人信息數(shù)據(jù),因為個人信息數(shù)據(jù)涉及人格權(quán),而個人隱私保護(hù)應(yīng)優(yōu)先于市場效率。同時其客體也不能是商業(yè)秘密數(shù)據(jù),因為商業(yè)秘密數(shù)據(jù)涉及智能無人系統(tǒng)的核心算法,如果對其強(qiáng)制許可會嚴(yán)重打擊開發(fā)者的積極性,對市場造成負(fù)面后果。

(2)完善用戶授權(quán)規(guī)則。由于個人信息數(shù)據(jù)與人格權(quán)密不可分,所以個人信息數(shù)據(jù)的所有權(quán)理應(yīng)永久歸屬于用戶。在此情況下,開發(fā)者想要對個人信息數(shù)據(jù)進(jìn)行收集,必須取得用戶的合法授權(quán)[17]。因此,在智能無人系統(tǒng)的開發(fā)中,我國應(yīng)當(dāng)完善用戶授權(quán)規(guī)則。首先,應(yīng)通過立法對用戶授權(quán)程序作出規(guī)范。即開發(fā)者必須對數(shù)據(jù)收集的理由、用途、具體使用者、可能存在的風(fēng)險等內(nèi)容做出披露,經(jīng)過用戶明示授權(quán),方可對其個人信息數(shù)據(jù)進(jìn)行收集。未經(jīng)披露或虛假披露的,授權(quán)自始不發(fā)生效力;其次,應(yīng)賦予用戶對授權(quán)的無條件撤銷權(quán)。鑒于用戶在數(shù)據(jù)收集中的弱勢地位,有必要對其進(jìn)行特殊保護(hù)。因此應(yīng)規(guī)定在任何時間、任何情況下,用戶均可以行使撤銷權(quán),開發(fā)者應(yīng)無條件予以配合;再次,針對開發(fā)者的數(shù)據(jù)侵權(quán)行為應(yīng)適用無過錯責(zé)任的追責(zé)原則。即在直接侵權(quán)和第三者侵權(quán)中,經(jīng)營者若不能證明自身已取得合法、有效授權(quán),且已盡到授權(quán)協(xié)議中載明之義務(wù),則需要承擔(dān)賠償責(zé)任或連帶賠償責(zé)任;最后,應(yīng)明確數(shù)據(jù)侵權(quán)的賠償標(biāo)準(zhǔn)。開發(fā)者的數(shù)據(jù)侵權(quán)分為兩種情況,第一種是其未經(jīng)授權(quán)擅自侵害用戶個人信息數(shù)據(jù),在此情況中,由于單個用戶的數(shù)據(jù)價值不高,若按《侵權(quán)責(zé)任法》之賠償標(biāo)準(zhǔn)進(jìn)行賠償,難以對開發(fā)者起到威懾作用,因此應(yīng)當(dāng)借鑒《消費(fèi)者保護(hù)法》之規(guī)定,設(shè)計懲罰性賠償規(guī)則,對開發(fā)者處以3倍賠償,賠償金額不足500元的按500元賠償;第二種情況是開發(fā)者違反用戶授權(quán)協(xié)議,對用戶個人信息數(shù)據(jù)進(jìn)行侵害。此時開發(fā)者將構(gòu)成違約責(zé)任與侵權(quán)責(zé)任的競合,用戶可以根據(jù)具體情況擇一要求賠償。通過對上述兩種規(guī)則進(jìn)行構(gòu)建和完善,有助于促進(jìn)智能無人系統(tǒng)開發(fā)中數(shù)據(jù)共享與人格保護(hù)的協(xié)調(diào),從而保證數(shù)據(jù)的順暢流通,實現(xiàn)數(shù)據(jù)的有效利用。

(二)制定產(chǎn)品安全標(biāo)準(zhǔn)與算法技術(shù)標(biāo)準(zhǔn)

制定智能無人系統(tǒng)開發(fā)與應(yīng)用中的產(chǎn)品安全標(biāo)準(zhǔn)與算法技術(shù)標(biāo)準(zhǔn),應(yīng)當(dāng)采用“軟硬結(jié)合”的方式進(jìn)行:

(1)制定產(chǎn)品安全標(biāo)準(zhǔn)。由于智能無人系統(tǒng)產(chǎn)品相比一般產(chǎn)品具有更大的安全風(fēng)險,因此應(yīng)當(dāng)參照《中華人民共和國食品安全法》制定《智能無人系統(tǒng)安全法》,采用民主立法、科學(xué)立法的方式對智能無人系統(tǒng)產(chǎn)品安全標(biāo)準(zhǔn)作出強(qiáng)制性規(guī)定。首先,智能無人系統(tǒng)的產(chǎn)品安全標(biāo)準(zhǔn)應(yīng)當(dāng)具體。即產(chǎn)品安全標(biāo)準(zhǔn)中必須包含適用范圍、相關(guān)認(rèn)證要求、關(guān)鍵零部件要求、測試要求、對與產(chǎn)品安全有關(guān)的信息提供的要求、對與產(chǎn)品安全有關(guān)的質(zhì)量要求等內(nèi)容,使其具備現(xiàn)實可操作性;其次,智能無人系統(tǒng)的產(chǎn)品安全標(biāo)準(zhǔn)應(yīng)當(dāng)適度。即通過對智能無人系統(tǒng)產(chǎn)品的安全性進(jìn)行專業(yè)的風(fēng)險評估,得出相應(yīng)的評估結(jié)果,并根據(jù)評估結(jié)果對不同產(chǎn)品按照其社會危險性的大小進(jìn)行分級,使不同級別的產(chǎn)品可以適用不同的安全標(biāo)準(zhǔn),避免一刀切情況的發(fā)生[18];再次,智能無人系統(tǒng)的產(chǎn)品安全標(biāo)準(zhǔn)應(yīng)當(dāng)科學(xué)。即制定產(chǎn)品安全標(biāo)準(zhǔn)時應(yīng)當(dāng)充分參考相關(guān)產(chǎn)品的國際安全標(biāo)準(zhǔn)及國際安全風(fēng)險評估結(jié)果,使其與國際相接軌,以確保智能無人系統(tǒng)產(chǎn)品最大程度的安全[19];最后,智能無人系統(tǒng)的產(chǎn)品安全標(biāo)準(zhǔn)應(yīng)當(dāng)合理。即制定好智能無人系統(tǒng)產(chǎn)品安全標(biāo)準(zhǔn)草案后必須及時向社會公布,并廣泛聽取、認(rèn)真評估各方主體的意見,發(fā)現(xiàn)問題及時修正,以盡可能彌補(bǔ)其中之疏漏。通過制定具體、適度、科學(xué)、合理的產(chǎn)品安全標(biāo)準(zhǔn),杜絕具有安全隱患的智能無人系統(tǒng)產(chǎn)品流向市場,以滿足公民保護(hù)與社會保護(hù)之一般需要。

(2)制定算法技術(shù)標(biāo)準(zhǔn)。由于算法未應(yīng)用于智能無人系統(tǒng)產(chǎn)品時不具備直接的安全風(fēng)險,因此不宜采用國家立法的形式對其進(jìn)行強(qiáng)制性規(guī)制,而應(yīng)當(dāng)采用軟法治理的方式引導(dǎo)其發(fā)展[20]。即由標(biāo)準(zhǔn)化組織、行業(yè)協(xié)會等社會中間層組織商議和制定算法的測試方式和技術(shù)標(biāo)準(zhǔn)。社會中間層組織在其所在領(lǐng)域往往具備更豐富的專業(yè)知識及更強(qiáng)的社會影響力,所制定之軟法通常更符合實際且易于推行。許多國際組織在這一方面已經(jīng)走在了前列,如電氣和電子工程協(xié)會(IEEE)已成立了IEEEP7000標(biāo)準(zhǔn)工作組,設(shè)立了倫理、透明、算法、隱私等10大標(biāo)準(zhǔn)工作組。國際電工委員會(ISO/IEC)也成立了人工智能可信研究組,對算法的透明度、可驗證性、可解釋性、可控性等問題進(jìn)行研究。因此,我國社會中間層組織應(yīng)當(dāng)以此為鑒,積極推動智能無人系統(tǒng)算法標(biāo)準(zhǔn)的制定,以構(gòu)建完善的算法標(biāo)準(zhǔn)軟法體系,實現(xiàn)對開發(fā)者的有效引導(dǎo)與約束,使開發(fā)者在注重自身經(jīng)濟(jì)效益的同時,強(qiáng)化社會責(zé)任意識,在設(shè)計算法時更加自律、負(fù)責(zé),避免算法“后門”的出現(xiàn),確保算法設(shè)計的安全可控。通過硬法規(guī)范與軟法規(guī)范相結(jié)合的方式,可以充分發(fā)揮二者的優(yōu)勢,既對開發(fā)者的算法設(shè)計進(jìn)行了約束,又避免因規(guī)制過于死板而限制開發(fā)者的創(chuàng)造力,同時確保了智能無人系統(tǒng)產(chǎn)品使用者及相對方的安全。

(三)加重開發(fā)者的信息披露與解釋說明義務(wù)

加重智能無人系統(tǒng)開發(fā)者的信息披露和解釋說明義務(wù),應(yīng)當(dāng)結(jié)合算法的特點,從以下兩方面入手:

(1)加重開發(fā)者信息披露義務(wù)。由于算法具有不透明性,使得除開發(fā)者以外的主體很難獲知與算法有關(guān)的信息,導(dǎo)致了“算法黑箱”的產(chǎn)生。為了破解“算法黑箱”,在智能無人系統(tǒng)的開發(fā)中,國家有必要通過立法加大開發(fā)者的信息披露義務(wù),強(qiáng)制要求其公開披露算法的部分信息。首先,強(qiáng)制披露義務(wù)的界限范圍應(yīng)當(dāng)清晰。由于算法具有很高的商業(yè)價值,可能構(gòu)成商業(yè)秘密。因此對算法進(jìn)行強(qiáng)制披露的范圍應(yīng)當(dāng)以與消費(fèi)者利益或社會公眾利益密切相關(guān)為限,以保證智能無人系統(tǒng)開發(fā)者的生產(chǎn)積極性;其次,強(qiáng)制披露義務(wù)的內(nèi)容應(yīng)當(dāng)全面。不僅要對算法的認(rèn)證結(jié)果、功能效果,基本架構(gòu)進(jìn)行披露,還要對算法的已知缺陷、運(yùn)行中可能存在的風(fēng)險及應(yīng)對措施進(jìn)行披露,以保障智能無人系統(tǒng)中他方主體的充分知情權(quán);再次,強(qiáng)制披露義務(wù)的過程應(yīng)具有持續(xù)性。由于算法具有動態(tài)性,一直處于不斷升級的狀態(tài)中,特別是未來發(fā)展到強(qiáng)人工智能階段,其將具有更強(qiáng)的自主學(xué)習(xí)和深度學(xué)習(xí)能力,甚至可以進(jìn)行自我完善。因此,智能無人系統(tǒng)的開發(fā)者在履行信息披露義務(wù)時并非一勞永逸,而應(yīng)根據(jù)算法版本的更新不斷進(jìn)行信息披露,以保障他方主體可以對算法進(jìn)行持續(xù)了解和監(jiān)督;最后,強(qiáng)制披露義務(wù)履行不當(dāng)?shù)呢?zé)任承擔(dān)機(jī)制應(yīng)當(dāng)明確。即規(guī)定智能無人系統(tǒng)的開發(fā)者未履行或未適當(dāng)履行信息披露義務(wù)的,應(yīng)當(dāng)按照《消費(fèi)者權(quán)益保護(hù)法》之規(guī)定以欺詐行為論處,消費(fèi)者可以要求其承擔(dān)3倍賠償責(zé)任,同時監(jiān)管機(jī)構(gòu)應(yīng)給予其相應(yīng)的行政處罰,以督促開發(fā)者負(fù)責(zé)任的履行信息披露義務(wù)。

(2)加重開發(fā)者解釋說明義務(wù)。由于算法具有一定主觀性,其運(yùn)行中往往體現(xiàn)著某種價值判斷,使開發(fā)者獲得了天然的算法權(quán)力,導(dǎo)致了“算法霸權(quán)”的產(chǎn)生。為了預(yù)防“算法霸權(quán)”,在智能無人系統(tǒng)的開發(fā)中,國家有必要通過立法加重開發(fā)者的解釋說明義務(wù),強(qiáng)制要求其對他方主體存在異議的算法運(yùn)行邏輯進(jìn)行解釋說明。首先,解釋說明義務(wù)應(yīng)設(shè)置相應(yīng)的前置條件。與信息披露義務(wù)不同,解釋說明義務(wù)在具體操作中會產(chǎn)生較高的商業(yè)成本且存在泄露商業(yè)秘密的風(fēng)險,故而對其適用需要加以嚴(yán)格限制。因此,開發(fā)者承擔(dān)解釋說明義務(wù)必須以他方主體對算法運(yùn)行邏輯存在合理懷疑為前提,只有當(dāng)算法作出的決策未滿足合理預(yù)期時,他方主體才可以請求開發(fā)者對算法運(yùn)行邏輯進(jìn)行解釋,以防止社會資源的不當(dāng)浪費(fèi);其次,解釋說明義務(wù)的內(nèi)容限于算法運(yùn)行邏輯。即開發(fā)者需要將算法的運(yùn)行邏輯以一種簡化的、平均的、易懂的方式提供給其他主體,使其他主體可以不依靠專家講解和算法相關(guān)的專業(yè)知識就足以理解其原理,以加強(qiáng)其他主體對智能無人系統(tǒng)的認(rèn)知[21];最后,解釋說明義務(wù)的履行應(yīng)當(dāng)受到監(jiān)管。即國家應(yīng)當(dāng)設(shè)立專門機(jī)構(gòu),一方面對他方主體的請求進(jìn)行審查,判斷其是否合理[22]。另一方面對開發(fā)者的解釋說明進(jìn)行監(jiān)督,判斷其能否為公眾所理解以及算法運(yùn)行邏輯是否符合社會的價值取向。如果算法運(yùn)行邏輯出現(xiàn)重大的價值取向爭議,應(yīng)當(dāng)舉行聽證會,由選舉出的人民代表對其進(jìn)行判斷,以確保算法的價值取向與人民的價值觀保持一致。通過加重開發(fā)者的信息披露義務(wù)和解釋說明義務(wù),不僅可以有效維護(hù)智能無人系統(tǒng)中各方主體的知情權(quán),還可以促進(jìn)各方主體共享算法權(quán)力,促進(jìn)民主在人工智能時代的發(fā)展。

(四)建立產(chǎn)品責(zé)任追溯與產(chǎn)品責(zé)任分擔(dān)機(jī)制

在智能無人系統(tǒng)開發(fā)與應(yīng)用中建立產(chǎn)品責(zé)任追溯和產(chǎn)品責(zé)任分擔(dān)機(jī)制,應(yīng)當(dāng)遵循“探究責(zé)任發(fā)生的原因——根據(jù)原因劃分責(zé)任”的思路,設(shè)計并完善以下機(jī)制:

(1)建立產(chǎn)品責(zé)任追溯機(jī)制。由于智能無人系統(tǒng)發(fā)生產(chǎn)品責(zé)任事故的原因多種多樣,導(dǎo)致各方主體在事故中的責(zé)任大小難以判斷。因此,國家應(yīng)當(dāng)建立智能無人系統(tǒng)產(chǎn)品責(zé)任追溯機(jī)制。一方面,由于智能無人系統(tǒng)的開發(fā)者具有隱蔽性,應(yīng)當(dāng)通過立法強(qiáng)制要求開發(fā)者在智能無人系統(tǒng)產(chǎn)品的包裝上及使用說明書中標(biāo)記自身標(biāo)識,使開發(fā)者的身份信息可以直觀的被各方主體所認(rèn)識,便于使其承擔(dān)責(zé)任。若開發(fā)者未適當(dāng)標(biāo)記自身標(biāo)識,考慮到智能無人系統(tǒng)的生產(chǎn)者在產(chǎn)品制造時就應(yīng)當(dāng)對開發(fā)者的身份有明確認(rèn)識。因此,應(yīng)由生產(chǎn)者承擔(dān)督促開發(fā)者明確自身標(biāo)識的義務(wù)。生產(chǎn)者未履行督促義務(wù)的,應(yīng)承擔(dān)連帶賠償責(zé)任,被侵權(quán)人可以直接向其索賠,其賠償后可以向開發(fā)者進(jìn)行追償,以保護(hù)被侵權(quán)人的權(quán)益;另一方面,為獲取產(chǎn)品責(zé)任事故的相關(guān)信息,應(yīng)當(dāng)通過立法強(qiáng)制開發(fā)者在智能無人系統(tǒng)中嵌入類似“黑匣子”的可追溯構(gòu)件,并對其性能做出具體要求。通過對可追溯構(gòu)件中記錄的相關(guān)信息進(jìn)行分析,進(jìn)而判斷智能無人系統(tǒng)發(fā)生產(chǎn)品責(zé)任事故時是否存在缺陷、缺陷的形成原因以及使用人、被侵權(quán)人在事故中是否有過錯。以便于之后以此為依據(jù)對各方主體的責(zé)任進(jìn)行劃分。若開發(fā)者未適當(dāng)設(shè)計可追溯構(gòu)件的,除開發(fā)者提供證據(jù)證明其他主體存在過錯的,由開發(fā)者承擔(dān)全部責(zé)任,以確保事故責(zé)任得以明確劃分。

(2)明確產(chǎn)品責(zé)任承擔(dān)機(jī)制。智能無人系統(tǒng)產(chǎn)品與其他產(chǎn)品并無本質(zhì)不同,因此應(yīng)當(dāng)遵從《中華人民共和國產(chǎn)品質(zhì)量法》之規(guī)定,對其適用“以無過錯責(zé)任為一般,以公平責(zé)任為例外”的產(chǎn)品責(zé)任承擔(dān)機(jī)制[23]。通常情況下,應(yīng)根據(jù)智能無人系統(tǒng)產(chǎn)品責(zé)任事故追溯中得出的結(jié)論對責(zé)任進(jìn)行分擔(dān)。缺陷由一方造成的,由其單獨承擔(dān)責(zé)任,缺陷由多方主體共同造成的,按具體情況由各方主體承擔(dān)連帶責(zé)任或按份責(zé)任。同時,為了避免使用者惡意使用產(chǎn)品或被侵權(quán)人惡意欺詐,應(yīng)規(guī)定若使用者或被侵權(quán)人在產(chǎn)品事故責(zé)任中有過錯的,可以根據(jù)過錯程度不同減輕或免除開發(fā)者、制造者、銷售者的產(chǎn)品責(zé)任,以維護(hù)各方主體間的誠實信用。特殊情況下,如果根據(jù)可追溯構(gòu)件未發(fā)現(xiàn)智能無人系統(tǒng)產(chǎn)品存在缺陷或發(fā)現(xiàn)的缺陷在產(chǎn)品最后一次投入流通時的科技水平下難以被避免的,將無法適用無過錯責(zé)任。此時為了平衡各方主體間的利益關(guān)系,應(yīng)考慮在智能無人系統(tǒng)產(chǎn)品責(zé)任事故中,開發(fā)者、制造者、銷售者和使用者相對被侵權(quán)人而言更具優(yōu)勢地位。因此,可以根據(jù)聯(lián)合國教科文組織和世界科學(xué)知識與技術(shù)倫理委員報告中的建議,由開發(fā)者、制造者、銷售者和使用者共同承擔(dān)公平責(zé)任,以確保被侵害人能夠得到及時賠償[24]。通過建立智能無人系統(tǒng)的責(zé)任追溯和責(zé)任分擔(dān)機(jī)制,可以激勵各方主體加強(qiáng)責(zé)任意識和倫理底線意識,減少產(chǎn)品損害的發(fā)生,使智能無人系統(tǒng)產(chǎn)品可以迅速被社會公眾所接受[25]。

(五)健全相關(guān)社會保障與公民發(fā)展制度

健全智能無人系統(tǒng)開發(fā)與應(yīng)用中的相關(guān)社會保障與公民發(fā)展制度,應(yīng)當(dāng)充分發(fā)揮國家的作用,通過積極的國家干預(yù)解決智能無人系統(tǒng)開發(fā)與應(yīng)用所帶來的社會問題,具體方式如下:

(1)完善相關(guān)社會保障制度?,F(xiàn)階段智能無人系統(tǒng)所取代的工作崗位主要是重復(fù)性體力勞動崗位,涉及的勞動者通常是底層勞動者。這些勞動者對風(fēng)險的抵御能力較弱,一旦失業(yè)將可能難以維持正常生活,所以當(dāng)務(wù)之急是保障他們的生存權(quán)。因此,國家應(yīng)當(dāng)完善與智能無人系統(tǒng)開發(fā)與應(yīng)用相關(guān)的社會保障制度。一方面,國家應(yīng)當(dāng)完善財政和稅收立法,通過調(diào)整個人所得稅免征額、提高高收入群體的個人所得稅稅率、增強(qiáng)政府轉(zhuǎn)移支付力度等方式,對人工智能時代的社會財富分配模式進(jìn)行調(diào)整,提高社會財富二次分配的合理性與精準(zhǔn)性,以減少貧富差距,緩和社會矛盾;另一方面,作為剝奪失業(yè)勞動者工作機(jī)會的補(bǔ)償,國家應(yīng)當(dāng)完善社會保障立法,通過擴(kuò)大社會保險范圍,提高社會福利待遇,增加社會救濟(jì)力度等方式,健全我國的社會保障制度,使底層勞動者具備更強(qiáng)的抗風(fēng)險能力,即便失業(yè)也可以維持必要之生計。

(2)健全相關(guān)公民發(fā)展制度。國家應(yīng)當(dāng)健全與智能無人系統(tǒng)開發(fā)與應(yīng)用相關(guān)的公民發(fā)展制度,保障公民的發(fā)展權(quán)。首先,國家應(yīng)當(dāng)健全人才再培養(yǎng)制度。即通過實施各種財政政策和稅收政策,對被智能無人系統(tǒng)所替代的失業(yè)勞動者進(jìn)行政策扶持,鼓勵其參加教育和技能培訓(xùn),引導(dǎo)其終身學(xué)習(xí),提高個人素質(zhì),增強(qiáng)自身適應(yīng)新技術(shù)的能力;其次,國家應(yīng)當(dāng)健全就業(yè)服務(wù)制度。即通過完善勞動力要素市場的相關(guān)立法,加強(qiáng)對人才市場、人力資源管理服務(wù)企業(yè)、獵頭公司等就業(yè)服務(wù)機(jī)構(gòu)的專門引導(dǎo)和有效利用,進(jìn)而拓寬失業(yè)勞動者的再就業(yè)渠道,使失業(yè)勞動者能快速找到新的工作崗位,實現(xiàn)再就業(yè);最后,國家應(yīng)當(dāng)健全就業(yè)督促制度?;诓糠治鞣桨l(fā)達(dá)國家近年來發(fā)展過程中的慘痛教訓(xùn),國家應(yīng)當(dāng)謹(jǐn)慎平衡社會保護(hù)與社會促進(jìn)間的關(guān)系,預(yù)防“福利陷阱”。因此,對待失業(yè)勞動者,國家不僅要采取正向手段對其進(jìn)行激勵,還要采取相應(yīng)的逆向手段對其進(jìn)行約束。對仍然具備勞動能力而逃避勞動的失業(yè)勞動者,應(yīng)當(dāng)通過完善失業(yè)保險期限,加強(qiáng)社區(qū)教育等方式,督促其重新投入勞動。以防止小部分失業(yè)勞動者不思進(jìn)取,失去個人發(fā)展之動力,只想搭他人之“便車”,成為社會發(fā)展的阻礙。通過健全智能無人系統(tǒng)開發(fā)與應(yīng)用中的相關(guān)社會保障和公民發(fā)展制度,不僅能為智能無人系統(tǒng)的發(fā)展解除后顧之憂,更有助于使其惠及并賦權(quán)最大可能的多數(shù)人,促進(jìn)社會公平在人工智能時代的實現(xiàn)。

結(jié)語

正如盧梭指出,“人性的首要法則,是要維護(hù)自身的生存,人性的首要關(guān)懷,是對于其自身所應(yīng)有的關(guān)懷”[26]。阿西洛馬人工智能23條原則也提出,“人工智能研究的目標(biāo)不是為了創(chuàng)造不受指揮的智能,而是有益的智能”。因此,智能無人系統(tǒng)的開發(fā)與應(yīng)用也應(yīng)當(dāng)堅持“以人為本”和“科技為民”。在智能無人系統(tǒng)的發(fā)展過程中,我們要避免舍本逐末,防止將物化的產(chǎn)品作為最高理想予以追求,而應(yīng)當(dāng)將人性之光輝在人工智能時代予以發(fā)揚(yáng),把科技創(chuàng)新與改善民生福祉相結(jié)合,發(fā)揮科技創(chuàng)新在提高人民生活水平、增強(qiáng)全民科學(xué)文化素質(zhì)和健康素質(zhì)、促進(jìn)高質(zhì)量就業(yè)創(chuàng)業(yè)、扶貧脫貧、建設(shè)資源節(jié)約型環(huán)境友好型社會中的重要作用,讓更多創(chuàng)新成果由人民共享,提升民眾獲得感。本文所提出之法律規(guī)制原則及對策,皆為促進(jìn)人與智能無人系統(tǒng)的和諧統(tǒng)一及共同發(fā)展。總之,無論本文之建議能否對智能無人系統(tǒng)問題的解決有所裨益,但求其觀點能起到開拓思路,拋磚引玉之作用。

參考文獻(xiàn):

[1]張守文.人工智能產(chǎn)業(yè)發(fā)展的經(jīng)濟(jì)法規(guī)制[J].政治與法律,2019(1):2-10.

[2]牛喜堃.數(shù)據(jù)壟斷的反壟斷法規(guī)制[J].經(jīng)濟(jì)法論叢,2018(2):370-394.

[3]汪慶華.人工智能的法律規(guī)制路徑:一個框架性討論[J].現(xiàn)代法學(xué),2019,41(2):54-63.

[4]尤瓦爾·赫拉利.未來簡史[M].林俊宏,譯.北京:中信出版社,2017:296.

[5]姜野.算法的規(guī)訓(xùn)與規(guī)訓(xùn)的算法:人工智能時代算法的法律規(guī)制[J].河北法學(xué),2018,36(12):142-153.

[6]王利明.人工智能時代對民法學(xué)的新挑戰(zhàn)[J].東方法學(xué),2018(3):4-9.

[7]胡元聰,李明康.自動駕駛汽車對《道路交通安全法》的挑戰(zhàn)及應(yīng)對[J].上海交通大學(xué)學(xué)報:哲學(xué)社會科學(xué)版,2019,27(1):44-62.

[8]張耀銘,張路曦.人工智能:人類命運(yùn)的天使抑或魔鬼——兼論新技術(shù)與青年發(fā)展[J].中國青年社會科學(xué),2019,38(1):1-23.

[9]張敏,李倩.人工智能應(yīng)用的安全風(fēng)險及法律防控[J].西北工業(yè)大學(xué)學(xué)報:社會科學(xué)版,2018(3):108-115.

[10]陳鵬.算法的權(quán)力:應(yīng)用與規(guī)制[J].浙江社會科學(xué),2019(4):52-157.

[11]鄭智航,徐昭曦.大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例[J].比較法研究,2019(4):111-122.

[12]吳漢東.人工智能時代的制度安排與法律規(guī)制[J].法律科學(xué)(西北政法大學(xué)學(xué)報),2017,35(5):128-136.

[13]季衛(wèi)東.人工智能開發(fā)的理念、法律以及政策[J].東方法學(xué),2019(5):4-13.

[14]王成.人工智能法律規(guī)制的正當(dāng)性、進(jìn)路與原則[J].江西社會科學(xué),2019,39(2):5-254.

[15]李昌麒.經(jīng)濟(jì)法學(xué)[M].北京:法律出版社,2016:58.

[16]朱新力,周許陽.大數(shù)據(jù)時代個人數(shù)據(jù)利用與保護(hù)的均衡——“資源準(zhǔn)入模式”之提出[J].浙江大學(xué)學(xué)報:人文社會科學(xué)版,2018,48(1):18-34.

[17]王利明.數(shù)據(jù)共享與個人信息保護(hù)[J].現(xiàn)代法學(xué),2019,41(1):45-57.

[18]孫建麗.算法自動化決策風(fēng)險的法律規(guī)制研究[J].法治研究,2019(4):108-117.

[19]胡元聰.我國人工智能產(chǎn)品責(zé)任之發(fā)展風(fēng)險抗辯制度構(gòu)建研究[J].湖湘論壇,2020,33(1):70-89.

[20]張凌寒.算法權(quán)力的興起、異化及法律規(guī)制[J].法商研究,2019,36(4):63-75.

[21]張恩典.大數(shù)據(jù)時代的算法解釋權(quán):背景、邏輯與構(gòu)造[J].法學(xué)論壇,2019,34(4):152-160.

[22]劉友華.算法偏見及其規(guī)制路徑研究[J].法學(xué)雜志,2019,40(6):55-66.

[23]劉小璇,張虎.論人工智能的侵權(quán)責(zé)任[J].南京社會科學(xué),2018(9):105-149.

[24]岳彩申,耿志強(qiáng).人工智能開發(fā)的法律規(guī)制對象、目標(biāo)及措施[J].人工智能法學(xué)研究,2018(1):133-232.

[25]袁曾.權(quán)利視閾下的人工智能法律主體地位[J].上海政法學(xué)院學(xué)報(法治論叢),2019,34(4):89-98.

[26]盧梭.社會契約論[M].何兆武,譯.北京:商務(wù)印書館,2001:9.

版權(quán)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn),該文觀點僅代表作者本人。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容, 請發(fā)送郵件至2161241530@qq.com 舉報,一經(jīng)查實,本站將立刻刪除。如若轉(zhuǎn)載,請注明出處:http://www.parklessenses.com/wurenjibaike/djiwurenzhishi/11599/

(0)

相關(guān)推薦

發(fā)表評論

登錄后才能評論