אחת הדילמות המוסריות הקשות שנוגעות לעידן הרכב האוטונומי היא במה יבחר מחשב הרכב לפגוע כאשר הוא ניצב בפני קבלת החלטה מהירה בשעת חירום: האם זה יהיה פעוט רכוב על אופניים בצד המדרכה או בקשישה שנעזרת במקל הליכה במעבר חצייה, וזאת כמובן רק דוגמא תיאורטית אחת מיני רבות. אבל כעת נוספת לדיון הזה סוגיה נוספת, רגישה מבחינה חברתית, שהיא היחס של אלגוריתמים מתוכנתים אל אנשים כהי עור.
מחקר שנערך במכון הטכנולוגי של ג׳ורג׳יה (Georgia Institute of Technology) מצא שהאפקטיביות של מערכות בינה מלאכותית שאמורות לזהות הולכי רגל נמוכה ב-5% כאשר מדובר בזיהוי של אנשים בעל גוון עור כהה, ביחס להולכי רגל בעלי עור בהיר. נתונים אלה נמצאו עקביים גם אחרי שהחוקרים שיחקו עם משתנים שונים, למשל שעת היממה, מצב התאורה או כיוון הפנים והתנועה של הולך הרגל.
לצורך המחקר מיינו החוקרים תמונות של בני אדם לקבוצות לפי גוון עור, וזאת בעזרת 'מדד פיצ׳פטריק' שמקובל במחקר. לאחר מכן הם ניסו שמונה מערכות בינה מלאכותית, המתקדמות ביותר שבנמצא, ובחנו אם הן מזהות הולכי רגל. התוצאה, כאמור, היא שיעור זיהוי נמוך יותר של אנשים בעלי גוון עור כהה.
I agree – in an ideal world, academics would be testing the actual models and training sets used by autonomous car manufacturers. But given those are never made available (a problem in itself), papers like these offer strong insights into very real risks.
— Kate Crawford (@katecrawford) February 28, 2019
חשוב להדגיש שלמחקר זה יש מספר נקודות חולשה, והראשונה בהן היא העובדה שהחוקרים השתמשו בתוכנות בינה מלאכותית אקדמיות, ולא באלה שמשתמשות בפועל את יצרניות הרכב השונות שמפתחות כלי רכב אוטונומיים. הסיבה לכך היא שהתוכנות ה"אמיתיות" הן רכוש של החברות הפרטיות שמפתחות אותן. בנוסף, המחקר עדיין לא עבר "ביקורת עמיתים" שמקובלת באקדמיה.
״בעולם אידאלי, אקדמיים ישתמשו במודלים המקוריים של החברות כדי לבחון מערכות של נהיגה אוטונומית״, צייצה בטוויטר קייט קרופורד, אחת ממובילות המחקר. ״עם זאת, בהתחשב בעובדה שהמודלים הללו אף פעם לא הפכו זמינים לכלל הציבור (בעיה בפני עצמה), מחקרים כאלו נותנים נקודות חזקות לגבי סיכונים מאוד אמתיים״.
כותבי המחקר לא לגמרי פסימיים אודות ההטיה הגזעית של האלגוריתמים, וטוענים שקיימת דרך לפתח מכוניות בעלות מחשב שלא חושב באופן גזעני. לדבריהם, כל מה שמפתחי המערכות האוטונומיות נדרשים לעשות הוא להכניס יותר תמונות של הולכי רגל עם גוון עור כהה לתוכנות שהם מפתחים, וכך לשפר את לימוד הזיהוי של הולכי רגל שאינם בהירים.
