कुछ AI बस मौजूद नहीं होना चाहिए

GbalịA Ngwa Ngwa Maka Iwepụ Nsogbu

पक्षपाती एआई को ठीक करने के प्रयास वास्तव में काले, समलैंगिक और ट्रांसजेंडर लोगों को नुकसान पहुंचा सकते हैं।

एक लाइव प्रदर्शन 2019 में क्षितिज रोबोटिक्स प्रदर्शनी में घनी भीड़ में चेहरे की पहचान का उपयोग करता है।

एक लाइव प्रदर्शन 2019 में क्षितिज रोबोटिक्स प्रदर्शनी में घनी भीड़ में चेहरे की पहचान का उपयोग करता है।

डेविड मैकन्यू/एएफपी/गेटी इमेजेज

यह कहानी कहानियों के एक समूह का हिस्सा है जिसे कहा जाता है संभाव्य भविष्य काल

अच्छा करने के सर्वोत्तम तरीके खोजना।

मानव पूर्वाग्रह एआई सिस्टम में रिस सकता है। अमेज़ॅन ने एक भर्ती एल्गोरिथ्म को छोड़ दिया महिलाओं के मुकाबले पुरुषों के रिज्यूमे के पक्ष में दिखाए जाने के बाद; शोधकर्ताओं ने निष्कर्ष निकाला अदालती सजा में इस्तेमाल किया जाने वाला एल्गोरिदम काले लोगों की तुलना में गोरे लोगों के प्रति अधिक उदार थे; एक अध्ययन में पाया गया कि बंधक एल्गोरिदम लातीनी और अफ्रीकी अमेरिकी कर्जदारों के साथ भेदभाव।

तकनीकी उद्योग यह जानता है, और कुछ कंपनियां, जैसे आईबीएम , समस्या से निपटने के लिए डिबेअसिंग टूलकिट जारी कर रहे हैं। ये AI सिस्टम में पूर्वाग्रह के लिए स्कैन करने के तरीके प्रदान करते हैं - कहते हैं, उस डेटा की जांच करके जिस पर वे प्रशिक्षित हैं - और उन्हें समायोजित करें ताकि वे निष्पक्ष हों।

लेकिन तकनीकी निष्पक्षता पर्याप्त नहीं है, और संभावित रूप से इससे भी अधिक नुकसान हो सकता है, a . के अनुसार एआई नाउ इंस्टीट्यूट की नई रिपोर्ट .

तीन लेखकों का कहना है कि हमें इस बात पर ध्यान देने की आवश्यकता है कि वास्तविक दुनिया में एआई सिस्टम का उपयोग तकनीकी रूप से कमजोर होने के बाद भी कैसे किया जाता है। और हमें यह स्वीकार करने की आवश्यकता है कि कुछ AI सिस्टम को बिल्कुल भी डिज़ाइन नहीं किया जाना चाहिए।

चेहरे की पहचान प्रणाली जो फिक्सिंग से परे हो सकती है

गोरे लोगों की पहचान करने के लिए चेहरे की पहचान तकनीक बहुत अच्छी है, लेकिन यह काले चेहरों को पहचानने में बेहद खराब है। यह बहुत ही आक्रामक परिणाम उत्पन्न कर सकता है — जैसे कब Google की छवि-पहचान प्रणाली ने अफ्रीकी अमेरिकियों को गोरिल्ला के रूप में लेबल किया 2015 में। लेकिन यह देखते हुए कि यह तकनीक अब पुलिस निगरानी में उपयोग की जाती है, जो रंग के लोगों को असमान रूप से लक्षित करती है, शायद हम नहीं चाहते कि यह काले लोगों की पहचान करने में महान हो। जैसा Zoé Samudzi ने हाल ही में Daily Beast . में लिखा है :

एक ऐसे देश में जहां अपराध की रोकथाम पहले से ही कालेपन को अंतर्निहित आपराधिकता से जोड़ती है, हम अपने चेहरे को पुलिस के लिए तैयार की गई प्रणाली के लिए और अधिक सुपाठ्य बनाने के लिए क्यों लड़ेंगे? ... काले लोगों को सॉफ्टवेयर के लिए समान रूप से दृश्यमान बनाना सामाजिक प्रगति नहीं है, जिसे अनिवार्य रूप से हमारे खिलाफ और अधिक हथियार बनाया जाएगा।

दूसरे शब्दों में, यह सुनिश्चित करना कि एआई सिस्टम सभी पर समान रूप से काम करता है, इसका मतलब यह नहीं है कि यह ठीक उसी तरह काम करता है के लिये सब लोग। हालांकि रिपोर्ट में स्पष्ट रूप से यह नहीं कहा गया है कि हमें पुलिस निगरानी के लिए इस्तेमाल की जाने वाली चेहरे की पहचान प्रणाली को खत्म कर देना चाहिए, लेकिन यह इस बात पर जोर देता है कि हम यह नहीं मान सकते कि उनके डेटासेट में विविधता लाने से समस्या का समाधान हो जाएगा - यह इसे और बढ़ा सकता है।

चेहरे की पहचान तकनीक ने भी ट्रांसजेंडर लोगों के लिए परेशानी खड़ी कर दी है। उदाहरण के लिए, कुछ ट्रांस उबेर ड्राइवर उनके खाते निलंबित कर दिए गए हैं क्योंकि कंपनी एक अंतर्निहित सुरक्षा सुविधा के रूप में एक चेहरे की पहचान प्रणाली का उपयोग करती है, और यह प्रणाली उन लोगों के चेहरों की पहचान करने में खराब है जो संक्रमण कर रहे हैं। ऐप को बंद करने से ट्रांस ड्राइवरों का किराया खर्च होता है और प्रभावी रूप से उनकी नौकरी चली जाती है।

क्या यह सुनिश्चित करने के लिए एआई सिस्टम में पूर्वाग्रह को ठीक करने का समाधान है कि इसके प्रशिक्षण डेटा में बहुत सारे ट्रांस लोगों को शामिल किया गया है? फिर से, बहस करना अच्छा लग सकता है - जब तक आपको यह एहसास नहीं हो जाता है कि उस समुदाय पर टन डेटा एकत्र करना होगा जिसके पास डेटा संग्रह के साथ बेहद असहज महसूस करने का कारण है।

कुछ साल पहले, एक कंप्यूटर विज्ञान के प्रोफेसर जो हार्मोन रिप्लेसमेंट थेरेपी से गुजर रहे लोगों को पहचानने के लिए सॉफ्टवेयर को प्रशिक्षित करना चाहते थे ट्रांस YouTubers से उनकी सहमति के बिना वीडियो एकत्र किए . जैसा कि द वर्ज ने बताया, उन्हें बहुत सारे पुशबैक मिले:

डेनिएल, जिसे डेटासेट में चित्रित किया गया है और जिसकी संक्रमण तस्वीरें इसके कारण वैज्ञानिक पत्रों में दिखाई देती हैं, का कहना है कि उसे शामिल करने के बारे में उससे कभी संपर्क नहीं किया गया था। मैं किसी भी तरह से अपनी पहचान को 'छिपा' नहीं देता ... लेकिन यह गोपनीयता के उल्लंघन की तरह लगता है ... 'पहचान विज्ञान' में काम करने वाले किसी व्यक्ति को लोगों की पहचान करने के निहितार्थों को समझना चाहिए, विशेष रूप से जिनकी पहचान उन्हें एक लक्ष्य बना सकती है (यानी, ट्रांस लोगों में सेना जो बाहर नहीं हो सकती है)।

एआई सिस्टम को ठीक करने के नाम पर आक्रामक, गैर-सहमति वाले बड़े पैमाने पर डेटा संग्रह में संलग्न होने के बजाय, उबर जैसी कंपनियां ट्रांस ड्राइवरों के लिए खाता सत्यापन के एक अलग माध्यम की अनुमति देने के लिए बेहतर कर सकती हैं, नई रिपोर्ट का तर्क है। यहां तक ​​कि अगर कोई कंपनी अपने कर्मचारियों के लिए फेशियल आईडी लॉगिन सिस्टम का उपयोग करने पर जोर देती है, तो कोई कारण नहीं है कि एकमात्र विकल्प होना चाहिए।

एल्गोरिथम गेदर सिस्टम नहीं बनाया जाना चाहिए। अवधि।

चेहरे की पहचान करने वाले एल्गोरिदम बनाने के लिए भी बार-बार प्रयास किए गए हैं जो बता सकते हैं कि कोई समलैंगिक है या नहीं। 2017 में, एक स्टैनफोर्ड विश्वविद्यालय का अध्ययन दावा किया गया कि एक एल्गोरिथ्म समलैंगिक और सीधे पुरुषों के बीच 81 प्रतिशत समय हेडशॉट्स के आधार पर सटीक रूप से अंतर कर सकता है। इसने महिलाओं के लिए 74 प्रतिशत सटीकता का दावा किया। अध्ययन ने लोगों की ऑनलाइन डेटिंग तस्वीरों का उपयोग किया (लेखक किस साइट से यह नहीं कहेंगे) और केवल श्वेत उपयोगकर्ताओं पर एल्गोरिथ्म का परीक्षण किया, यह दावा करते हुए कि रंग के पर्याप्त लोग नहीं मिल सकते हैं।

यह कई स्तरों पर समस्याग्रस्त है: यह मानता है कि कामुकता द्विआधारी है और यह हमारे चेहरे की विशेषताओं में स्पष्ट रूप से सुपाठ्य है। और यहां तक ​​​​कि अगर इस तरह से समलैंगिक कामुकता का पता लगाना संभव था, तो व्यापक रूप से उपलब्ध होने वाले एल्गोरिथम गेदार से किसे फायदा होगा? निश्चित रूप से कतारबद्ध लोग नहीं हैं, जिन्हें उनकी इच्छा के विरुद्ध बाहर किया जा सकता है, जिसमें उन देशों की सरकारें भी शामिल हैं जहां समान लिंग वाले भागीदारों के साथ यौन संबंध बनाना अपराध है। मानवाधिकार अभियान के सार्वजनिक शिक्षा और अनुसंधान निदेशक एशलैंड जॉनसन के रूप में, इसे रखें :

एक पल के लिए संभावित परिणामों की कल्पना करें यदि इस त्रुटिपूर्ण शोध का उपयोग क्रूर शासन के उन लोगों की पहचान करने और/या उन पर अत्याचार करने के प्रयासों का समर्थन करने के लिए किया गया था जिन्हें वे समलैंगिक मानते थे। स्टैनफोर्ड को इस तरह के कबाड़ विज्ञान से खुद को दूर करने के बजाय अनुसंधान के लिए अपना नाम और विश्वसनीयता उधार देना चाहिए जो खतरनाक रूप से त्रुटिपूर्ण है और दुनिया को छोड़ देता है - और इस मामले में, लाखों लोगों का जीवन - पहले से भी बदतर और कम सुरक्षित।

एआई नाउ की रिपोर्ट के लेखकों में से एक, सारा मायर्स वेस्ट ने एक प्रेस कॉल में कहा कि इस तरह के एल्गोरिथम गेदर सिस्टम का निर्माण नहीं किया जाना चाहिए, क्योंकि वे छद्म विज्ञान पर आधारित हैं और क्योंकि वे एलजीबीटीक्यू लोगों को जोखिम में डालते हैं। शोधकर्ताओं का कहना है, 'हम ऐसा सिर्फ इसलिए कर रहे हैं क्योंकि हम यह दिखाना चाहते हैं कि ये सिस्टम कितने डरावने हो सकते हैं,' लेकिन फिर वे स्पष्ट रूप से बताते हैं कि आप इस तरह की प्रणाली कैसे बनाएंगे, उसने कहा।

सह-लेखक केट क्रॉफर्ड ने अन्य समस्याग्रस्त उदाहरणों को सूचीबद्ध किया, जैसे प्रयास करने के लिए चेहरे की विशेषताओं के माध्यम से आपराधिकता की भविष्यवाणी करें और करने के लिए सूक्ष्म अभिव्यक्तियों के आधार पर कार्यकर्ता क्षमता का आकलन करें। चरित्र के लिए एक छद्म के रूप में शारीरिक उपस्थिति का अध्ययन दौड़ विज्ञान के काले इतिहास की याद दिलाता है, उसने कहा, विशेष रूप से फ्रेनोलॉजी का डिबंक्ड क्षेत्र जो खोपड़ी के आकार से चरित्र लक्षण प्राप्त करने की मांग करता था और था 19वीं सदी के अमेरिका में श्वेत वर्चस्ववादियों द्वारा आह्वान किया गया .

हम देखते हैं कि ये सिस्टम नस्ल और लिंग पूर्वाग्रह के पैटर्न की नकल करते हैं जो गहरा हो सकता है और वास्तव में अन्याय को सही ठहरा सकता है, क्रॉफर्ड ने चेतावनी दी, यह देखते हुए कि चेहरे की पहचान सेवाओं को वर्णन करने के लिए दिखाया गया है गोरे लोगों की तुलना में अश्वेत लोगों के प्रति अधिक नकारात्मक भावनाएं (जैसे क्रोध) क्योंकि मानव पूर्वाग्रह प्रशिक्षण डेटा में रेंगता है।

इन सभी कारणों से, विद्वानों और अधिवक्ताओं के बीच यह मान्यता बढ़ती जा रही है कि कुछ पक्षपाती AI सिस्टम को ठीक नहीं किया जाना चाहिए, बल्कि छोड़ दिया जाना चाहिए। जैसा कि सह-लेखक मेरेडिथ व्हिटेकर ने कहा, हमें सामाजिक समस्याओं के लिए तकनीकी सुधारों से परे देखने की जरूरत है। हमें पूछने की जरूरत है: किसके पास शक्ति है? किसे नुकसान हुआ है? किसे लाभ होता है? और अंत में, कौन तय करता है कि ये उपकरण कैसे बनाए जाते हैं और वे किन उद्देश्यों की पूर्ति करते हैं?


फ्यूचर परफेक्ट न्यूजलेटर के लिए साइन अप करें। सप्ताह में दो बार, आपको हमारी सबसे बड़ी चुनौतियों से निपटने के लिए विचारों और समाधानों का एक राउंडअप मिलेगा: सार्वजनिक स्वास्थ्य में सुधार, मानव और पशु पीड़ा को कम करना, भयावह जोखिमों को कम करना, और - सीधे शब्दों में कहें तो - अच्छा करने में बेहतर होना।