ऑनलाइन अभद्र भाषा का पता लगाने वाले एल्गोरिदम काले लोगों के प्रति पक्षपाती हैं

GbalịA Ngwa Ngwa Maka Iwepụ Nsogbu

एक नए अध्ययन से पता चलता है कि प्रमुख एआई मॉडल अन्य ट्वीट्स की तुलना में अफ्रीकी अमेरिकियों द्वारा लिखे गए ट्वीट्स को आक्रामक के रूप में चिह्नित करने की 1.5 गुना अधिक संभावना रखते हैं।

आवाज के बुलबुले के साथ दो ब्लूबर्ड की एक तस्वीर, एक कह रहा है @*#! और दूसरा ?!?!।

नए अध्ययनों से पता चलता है कि अभद्र भाषा की पहचान करने के लिए प्रशिक्षित एआई वास्तव में नस्लीय पूर्वाग्रह को बढ़ा सकता है।

पुनःकूटित

यह कहानी कहानियों के एक समूह का हिस्सा है जिसे कहा जाता है पुनःकूटित

हमारी डिजिटल दुनिया कैसे बदल रही है - और हमें बदल रही है, इसे उजागर करना और समझाना।

प्लेटफार्म जैसे फेसबुक , यूट्यूब , और ट्विटर अपने नेटवर्क पर घृणास्पद भाषण के प्रसार को रोकने में मदद करने के लिए कृत्रिम बुद्धिमत्ता तकनीक विकसित करने पर भरोसा कर रहे हैं। विचार यह है कि जटिल एल्गोरिदम जो प्राकृतिक भाषा प्रसंस्करण का उपयोग करते हैं, वे नस्लवादी या हिंसक भाषण को मनुष्यों की तुलना में तेजी से और बेहतर तरीके से चिह्नित कर सकते हैं। इसे प्रभावी ढंग से करना पहले से कहीं अधिक आवश्यक है हाल ही में सामूहिक गोलीबारी और हिंसा से जुड़ा हुआ है अभद्र भाषा ऑनलाइन .

लेकिन दो नए अध्ययनों से पता चलता है कि अभद्र भाषा की पहचान करने के लिए प्रशिक्षित एआई वास्तव में नस्लीय पूर्वाग्रह को बढ़ा सकता है। एक अध्ययन में , शोधकर्ताओं ने पाया कि अभद्र भाषा को संसाधित करने के लिए अग्रणी एआई मॉडल में अफ्रीकी अमेरिकियों द्वारा लिखे गए ट्वीट्स को आक्रामक या घृणित के रूप में फ़्लैग करने की डेढ़ गुना अधिक संभावना थी, और में लिखे गए ट्वीट्स को फ़्लैग करने की 2.2 गुना अधिक संभावना थी। अफ्रीकी अमेरिकी अंग्रेजी (जो आमतौर पर अमेरिका में अश्वेत लोगों द्वारा बोली जाती है)। एक और अध्ययन अभद्र भाषा का अध्ययन करने के लिए व्यापक रूप से उपयोग किए जाने वाले शैक्षणिक डेटा सेटों में काले भाषण के खिलाफ नस्लीय पूर्वाग्रह के समान व्यापक सबूत मिले, जो कुल मिलाकर लगभग 155,800 ट्विटर पोस्ट थे।

यह बड़े हिस्से में है क्योंकि जिसे आपत्तिजनक माना जाता है वह सामाजिक संदर्भ पर निर्भर करता है। कुछ सेटिंग्स में उपयोग किए जाने पर गाली देने वाले शब्द - जैसे एन-वर्ड या क्वीर - दूसरों में नहीं हो सकते हैं। लेकिन एल्गोरिदम - और सामग्री मॉडरेटर जो परीक्षण डेटा को ग्रेड करते हैं जो इन एल्गोरिदम को अपना काम करना सिखाते हैं - आमतौर पर उन टिप्पणियों के संदर्भ को नहीं जानते हैं जिनकी वे समीक्षा कर रहे हैं।

दोनों पेपर, हाल ही में प्रस्तुत किए गए कम्प्यूटेशनल भाषाविज्ञान के लिए प्रतिष्ठित वार्षिक सम्मेलन , दिखाएँ कि कैसे प्राकृतिक भाषा प्रसंस्करण एआई - जिसे अक्सर आपत्तिजनक भाषा की पहचान करने के लिए एक उपकरण के रूप में प्रस्तावित किया जाता है - उसी पूर्वाग्रह को बढ़ा सकता है जो मनुष्य के पास है। वे यह भी साबित करते हैं कि परीक्षण डेटा कैसे इन्हें खिलाता है एल्गोरिदम में शुरू से ही बेक-इन पूर्वाग्रह रहा है .

कोई भी निश्चित रूप से नहीं जानता है कि फेसबुक, ट्विटर और Google द्वारा उपयोग की जाने वाली सामग्री मॉडरेशन सिस्टम इन अध्ययनों में बिल्कुल वही पूर्वाग्रह दिखाते हैं; सामग्री को मॉडरेट करने के लिए ये कंपनियां जिस तकनीक का उपयोग करती हैं, वह मालिकाना है। लेकिन तकनीकी दिग्गज अक्सर अभद्र भाषा के मानकों को बेहतर ढंग से लागू करने के लिए मार्गदर्शन के लिए शिक्षाविदों की ओर रुख करते हैं। इसलिए, यदि शीर्ष शोधकर्ता व्यापक रूप से उपयोग किए जाने वाले अकादमिक डेटा सेट में खामियां ढूंढ रहे हैं, तो यह बड़े पैमाने पर तकनीकी उद्योग के लिए एक महत्वपूर्ण समस्या प्रस्तुत करता है।

अनजाने में, कार्यकर्ताओं ने कुछ समय के लिए फेसबुक जैसे प्लेटफार्मों पर श्वेत अमेरिकियों की तुलना में अश्वेत अमेरिकियों के भाषण को अधिक सख्ती से नियंत्रित करने का आरोप लगाया है। एक उल्लेखनीय मामले में Reveal . द्वारा रिपोर्ट किया गया , एक अश्वेत महिला को उसी प्रिय गोरे लोगों को पोस्ट करने के लिए फेसबुक से प्रतिबंधित कर दिया गया था, ध्यान दें कि उसके कई गोरे दोस्तों ने बिना किसी परिणाम के पोस्ट किया था।

लेकिन ये प्रयोग यह बताने के लिए मात्रात्मक डेटा प्रदान करते हैं कि ये कार्रवाइयां अलग-अलग घटनाएं नहीं हैं बल्कि इसके बजाय एक व्यापक मुद्दे का प्रतीक हैं कि सोशल मीडिया पर आपत्तिजनक सामग्री को कैसे नियंत्रित किया जाता है।

त्रुटिपूर्ण मानवीय निर्णय एल्गोरिदम में परिलक्षित होते हैं

कंप्यूटर विज्ञान और इंजीनियरिंग में पीएचडी छात्र मार्टेन सैप, और वाशिंगटन विश्वविद्यालय में उनके सहयोगियों ने मंच पर होने वाली महत्वपूर्ण राजनीतिक बातचीत के कारण ट्विटर पर आक्रामक के रूप में चिह्नित किया गया अध्ययन करने के लिए तैयार किया। उन्होंने पहली बार दो व्यापक रूप से उद्धृत शैक्षणिक डेटा सेटों में उपयोग किए गए 100,000 से अधिक ट्वीट एकत्र किए। इन ट्वीट्स को मनुष्यों द्वारा अभद्र भाषा, आपत्तिजनक, या अपमानजनक होने जैसे लेबलों के साथ हाथ से झंडी दिखाकर रवाना किया गया था।

परिणाम आश्चर्यजनक थे। स्व-पहचान वाले अफ्रीकी अमेरिकी उपयोगकर्ताओं द्वारा लिखे गए ट्वीट्स को औसतन 1.5 गुना अधिक आक्रामक के रूप में चिह्नित किए जाने की संभावना पाई गई। शोधकर्ताओं ने तब इस परीक्षण डेटा को 56 मिलियन ट्वीट्स पर प्राकृतिक भाषा प्रसंस्करण का उपयोग करते हुए एक बड़े एल्गोरिथम मॉडल में लागू किया और देखा कि इन पूर्वाग्रहों को केवल और मजबूत किया गया था।

अपने शोध को एक कदम आगे बढ़ाते हुए, सैप और उनके सहयोगियों ने कुछ दिलचस्प करने का फैसला किया। उन्होंने ट्वीट के आपत्तिजनक या नहीं, यह तय करते समय उपयोगकर्ता की बोली और नस्ल के बारे में सोचने के लिए समान डेटा लेबल करने वाले कार्यकर्ताओं को भड़काया। उनके परिणामों से पता चला कि जब मॉडरेटर ट्वीट करने वाले व्यक्ति के बारे में अधिक जानते थे, तो उस ट्वीट को संभावित रूप से आक्रामक के रूप में लेबल करने की संभावना काफी कम थी। कुल मिलाकर, काले भाषण से जुड़े ट्वीट्स के खिलाफ नस्लीय पूर्वाग्रह में 11 प्रतिशत की कमी आई है।

सैप ने रिकोड को बताया कि अकादमिक और तकनीकी क्षेत्र यह कहकर आगे बढ़ रहे हैं, 'चलो नफरत का पता लगाने के स्वचालित उपकरण बनाते हैं,' लेकिन हमें अल्पसंख्यक समूह की भाषा के बारे में अधिक जागरूक होने की जरूरत है, जिसे बाहरी सदस्यों द्वारा 'बुरा' माना जा सकता है।

सैप के अध्ययन ने इन डेटा सेटों में पूर्वाग्रह का भी परीक्षण किया, जैसा कि डेवलपर्स के लिए एक ओपन सोर्स हेट स्पीच डिटेक्शन टूल पर लागू होता है, जो कि अल्फाबेट (Google की मूल कंपनी) की सहायक कंपनी आरा द्वारा चलाया जाता है। ओपन सोर्स टूल, जिसे कहा जाता है परिप्रेक्ष्यएपीआई , का उपयोग न्यूयॉर्क टाइम्स जैसे समाचार संगठनों द्वारा ऑनलाइन टिप्पणियों को मॉडरेट करने में सहायता के लिए किया जाता है। यह एक अंतर्निहित तकनीक का सार्वजनिक रूप से उपलब्ध संस्करण है जिसका उपयोग पूरे Google में अपने उत्पादों के लिए भी किया जाता है।

शोधकर्ताओं ने पाया कि PerspectiveAPI के माध्यम से चलाए गए डेटा ने अफ्रीकी अमेरिकी भाषण के खिलाफ एक महत्वपूर्ण पूर्वाग्रह दिखाया, उन ट्वीट्स को अधिक बार विषाक्त के रूप में लेबल किया।

मशीन लर्निंग मॉडल में कई अलग-अलग पूर्वाग्रह आ सकते हैं, आरा सीओओ डैन कीसरलिंग ने रिकोड को बताया, यह स्वीकार करते हुए कि पर्सपेक्टिवएपीआई का मॉडल - या कोई भी अभद्र भाषा-पता लगाने वाला मॉडल - सही नहीं है। हम इस क्षेत्र में और अधिक शोध का स्वागत करते हैं। कीसरलिंग ने कहा कि उनकी टीम रिपोर्ट के लेखकों के संपर्क में है और कंपनी लगातार अपने मॉडल को और अधिक निष्पक्ष बनाने के लिए परिष्कृत कर रही है।

लेकिन समस्या किसी एक मॉडल या डेटा सेट से बड़ी है।

कॉर्नेल विश्वविद्यालय के एक शोधकर्ता थॉमस डेविडसन ने सैप के समान ही एक अध्ययन चलाया। डेविडसन और उनके सहयोगियों ने सैप द्वारा उपयोग किए जाने वाले डेटा सेट के साथ-साथ तीन और डेटा सेट के साथ एक मॉडल को प्रशिक्षित करके नस्लीय पूर्वाग्रहों का परीक्षण किया। शोधकर्ताओं ने परीक्षण किए गए सभी डेटा सेटों में अफ्रीकी अमेरिकियों के खिलाफ पर्याप्त नस्लीय पूर्वाग्रह भी पाया।

डेविडसन ने रिकोड को बताया कि हम इन मॉडलों में आने वाले डेटा की गुणवत्ता पर ध्यान आकर्षित कर रहे हैं। आपके पास सबसे परिष्कृत तंत्रिका नेटवर्क मॉडल हो सकता है, लेकिन डेटा पक्षपाती है क्योंकि मनुष्य यह तय कर रहे हैं कि अभद्र भाषा क्या है और क्या नहीं।

दोनों शोधकर्ताओं ने एक ही चेतावनी दी: घृणित भाषण को फ़्लैग करने के लिए स्वचालित सिस्टम त्रुटिपूर्ण परिणाम दे सकते हैं।

लेकिन इसके बारे में क्या करना है, इस पर भी कोई विशेष सहमति नहीं है।

आपके पास सबसे परिष्कृत तंत्रिका नेटवर्क मॉडल हो सकता है, लेकिन डेटा पक्षपाती है क्योंकि मनुष्य यह तय कर रहे हैं कि अभद्र भाषा क्या है और क्या नहीं

शोधकर्ताओं और अन्य लोगों ने ट्वीट लिखने वाले लोगों के बारे में मॉडरेटर को अधिक सामाजिक संदर्भ देने की वकालत की है, लेकिन यह मुश्किल साबित हो सकता है। जब फेसबुक का सामग्री मॉडरेशन दिशानिर्देश पहले से ही कर रहे हैं जांच के दायरे में , क्या मध्यस्थों को अधिक संदर्भ देने से अधिक आलोचना के लिए द्वार खुल जाएगा, विशेष रूप से रूढ़िवादियों से? और जब Facebook और अन्य कंपनियों में सामग्री मॉडरेटर हों कथित तौर पर भीषण परिस्थितियों में काम करना और सामग्री को आपत्तिजनक के रूप में रेट करने के लिए दबाव डाला जाता है या नहीं, अधिक सूक्ष्म निर्णय लेने से एक कठिन काम और भी कठिन हो सकता है।

फिर भी, इन अध्ययनों ने इस कल्पना को खोल दिया है कि एआई तकनीकी कंपनियों को उनके प्लेटफार्मों पर पुलिस के घृणित भाषण के लिए आवश्यक जटिल निर्णय लेने से बचाने में सक्षम होगा। ये एल्गोरिदम एक जटिल समस्या के आसान समाधान की तरह लग सकते हैं, लेकिन उनके अनपेक्षित परिणाम हो सकते हैं।