아마존이 최근에 제안하기 시작했다. 당일 배달 선택된 대도시 지역. 이것은 많은 고객에게 유용 할 수 있지만, 배포는 컴퓨터 화 된 의사 결정이 어떻게 차별을 유발할 수 있는지 보여줍니다.

현명하게도, 당일 배달이 가능한 제품을 빈번하게 구매할 수있는 소득 수준의 많은 기존 아마존 고객에게 밀집 된 인구 밀집 지역의 우편 번호를 식별함으로써 배달 비용이 가장 낮은 지역에서 서비스를 시작했습니다. 이 회사는 고객이 당일 우편으로 배달되었는지 확인하기 위해 우편 번호를 입력 할 수있는 웹 페이지를 제공했습니다. 블룸버그 통신의 조사 기자들은 그 페이지를 당일 배송을 위해 아마존의 서비스 지역지도를 만듭니다..

블룸버그 분석에 따르면 빈민 지역의 많은 도시 지역이 서비스 지역에서 제외되었으며보다 풍요로운 인접 지역이 포함되었다. 이러한 제외 된 빈곤 지역의 대부분은 주로 소수 집단에 의해 거주되었습니다. 예를 들어 Roxbury를 제외하고는 보스턴 전역에 적용되었습니다. 뉴욕시에는 거의 모든 4 개 보로가 포함되었지만 브롱스는 완전히 제외되었습니다. 시카고 지역은 가난한 남부 지역을 떠나고 북부와 서부의 교외 지역으로는 크게 확장되었습니다.

데이터 중심의 의사 결정이 편견을 갖지 않는다고 생각하는 것은 유감스러운 일이지만, 연구 및 학술 토론 저것을 설명하는 것을 시작하고있다 불공평과 차별이 남아있다.. 내 안에 데이터 윤리 강좌, 학생들은 그것을 배웁니다. 알고리즘은 차별 할 수있다.. 블룸버그 (Bloomberg)의 연구에서 제시 한 바와 같이, 데이터에 대한 결정을 근거로하면 편향이 발생할 때를 쉽게 감지 할 수 있습니다.

바이어스는 의도하지 않을 수 있습니다.

아마존의 배달 정책과 같은 불공정은 다음을 포함하여 여러 가지 이유로 발생할 수 있습니다. 숨겨진 편견 - 집단이 균등하게 분배된다고 가정. 알고리즘 설계자는 차별을하지 않으려 고하고 문제가 닥쳤음을 깨닫지 못할 수도 있습니다.

아마존은 블룸버그에 차별적 인 의도가 없다고 말했고, 그 주장을 믿을만한 모든 이유가있다. 블룸버그 보고서에 대한 응답으로, 시티 공무원 과 다른 정치인들 이 문제를 해결하기 위해 Amazon에 전화했습니다. 그 회사 추가하기 위해 빠르게 이동했습니다. 원래 서비스 지역으로 제공된 빈약 한 도시 우편 번호.

비슷한 질문이있다. 우버에게 물었다.이는 백인 비율이 높은 지역에 더 나은 서비스를 제공하는 것으로 보인다. 장래에 의도하지 않은 알고리즘 차별에 대한 소매 및 서비스 산업 사례가 더 많이있을 것입니다.

알고리즘을 너무 많이 요청 하시겠습니까?

알고리즘 결정을 부당하게 요구하는지 여부를 고려해야합니다. 벽돌과 박격포를 운영하는 회사는 아마존과 다르지 않은 기준을 고려하여 항상 위치 결정을 내립니다. 상점은 지출 할 잠재 고객이 많은 대형 수영장에 편리한 위치에 있습니다.

결과적으로 가난한 도심 지역을 찾기 위해 선택한 상점이 거의 없습니다. 특히 식료품 점의 맥락에서이 현상은 광범위하게 연구되어 왔으며 "음식 사막"주민들이 신선한 음식에 편리하게 접근 할 수없는 도시 지역을 묘사하는 데 사용되었습니다. 이 위치 편향 전반적인 소매점에 대해서는 덜 연구되고 있습니다.

대표적인 사례로서, 나는 대형 종합 소매 체인 인 Target의 55 Michigan 지역을 살펴 보았습니다. 평균 소득이 주 전역에서 최상위 계층인지 아니면 하위 계층인지에 따라 모든 미시간 우편 번호를 정렬했을 때 대상 저널의 16 (29 퍼센트)만이 저소득 그룹의 우편 번호에 있음을 발견했습니다. 39 매장보다 2 배 많은 우편 번호가 더 풍족한 지역의 우편 번호로 분류되었습니다.

차별 식별

또한 디트로이트시에는 대상 상점이 없지만 (부유 한) 교외 지역에는 여러 매장이 있습니다. 그러나 Target이 상점 위치 결정에서 가난한 사람들을 불공정하게 차별한다고 주장하는 대중적인 항의는 존재하지 않는다. Amazon에 대한 우려가 정당화되는 데에는 두 가지 주요 이유가 있습니다. 강성과 우위입니다.

강건성은 온라인 소매 업체의 의사 결정 프로세스와 결과 모두와 관련이 있습니다. 아마존은 서비스 지역에있는 우편 번호를 결정합니다. 고객이 아마존이 정한 경계에서 길 건너편에 살고 있다면, 그녀는 서비스 지역 바깥에 있으며 거의 ​​할 수 없습니다. 대조적으로, 대상 가게가없는 우편 번호에 살고있는 사람은 여전히 ​​대상에 쇼핑 할 수 있습니다. 그러나 거기에 도착하는 데 시간이 오래 걸릴 수 있습니다.

소매업자가 소비자의 마음 속에 얼마나 지배적인지도 중요합니다. Target은 많은 물리적 저장소 체인 중 하나 일 뿐이지 만 Amazon은 즐깁니다. 웹 소매 업체로서의 시장 지배력따라서 더 많은 관심을 끌고있다. 이러한 지배력은 오늘날의 우승자 걸치고 다 웹 비즈니스.

그들의 강성과 지배력으로 인해 온라인 비즈니스에 대한 관심이 높아질 수도 있지만, 우리는 벽돌과 박격포 상점보다 차별을 더 잘 감지 할 수 있습니다. 전통적인 체인점의 경우 소비자가 얼마나 기꺼이 여행하는지 추측 할 필요가 있습니다. 우리는 또한 시간을 알아야 할 필요가 있습니다. 다음 고속 도로 출구까지 5 마일은 혼잡 한 거리를 거쳐 다른 도시로 5 마일 떨어진 거리와 같은 거리가 아닙니다. 또한 여행 시간 자체는 시간대에 따라 크게 다를 수 있습니다. 상점이 제공하는 예상 지역을 확인한 후에는 인종 또는 소득에 대한 통계가있는 지리적 단위로 제대로 매핑되지 않을 수 있습니다. 요컨대, 분석은 지저분하고 많은 노력이 필요합니다.

반대로 블룸버그의 언론인들은 아마존의 서비스 지역지도를 개발하고 수입이나 경주와 관련 지을 수있다. Amazon이이를 내부적으로 수행했다면 단 몇 분만에 동일한 분석을 수행 할 수 있었을 것입니다. 문제를 발견하고 당일 서비스를 시작하기 전에 문제를 고칠 수있었습니다.

인간은 어떻게 비교합니까?

매우 다른 예를 살펴보고 동일한 요점이 널리 적용되는 방식을 알아 보도록하겠습니다. 최근에, ProPublica는 간행했다 인종 차별에 대한 탁월한 분석 범죄자가 다시 기분을 상하게 할 가능성을 예측하는 알고리즘에 의해 이 알고리즘은 수십 가지 요인을 고려하고 확률 추정을 계산합니다. ProPublica의 분석은 인종이 고려 된 특정 요인들 중에 포함되지 않았지만 체계적인 인종적 편견을 발견했습니다.

이 알고리즘이 없으면 인간 판사는 양형 또는 가석방 결정의 일부로 유사한 추정을 할 것입니다. 인간의 결정은 형사 법정의 태도와 같은 더 많은 요인을 고려할 수 있습니다. 그러나 우리는 알고 있습니다. 심리학 연구그 인간의 의사 결정은 편향으로 가득 차있다.심지어 우리가 공정하기 위해 최선을 다할 때조차도.

그러나 인간 판사의 결정에 편향된 결과로 발생하는 모든 오류는 판사간에 다를 수 있으며 동일한 판사가 다른 결정을 내린 경우에도 다를 수 있습니다. 총체적으로, 인종 차별이있을 수 있습니다. 잠재 의식 편견그러나 결론적으로이를 확립하는 것은 까다 롭습니다. 미국 법무부의 한 연구는 백인과 흑인 유죄 판결 양형 불균형그러나 인종 그 자체가 그러한 결정의 요인인지 여부를 명확하게 결정할 수는 없었다.

대조적으로 ProPublica가 본 정확한 알고리즘은 많은 주에서 수천 건의 사례에서 사용되었습니다. 강성과 대용량으로 차별화 여부를 결정하는 작업을 쉽게 수행 할 수 있으며 문제를 효율적으로 해결할 수있는 방법을 제공 할 수 있습니다.

정보 기술의 사용은 라인을 더 밝게 보이게하고, 차이점은 더 두드러지고,이 모든 것에 관한 데이터는 훨씬 쉽게 이용할 수 있습니다. 어제 양탄자 밑에 닦을 수 있던 무엇이주의를 위해 clamors. 데이터 중심 알고리즘에 대한 사용이 늘어남에 따라 특히 새로운 데이터 기반 서비스를 시작하기 전에 공정성을 분석하는 것이 아직은 일반적이지 않습니다. 그렇게함으로써 점점 더 중요 해지는 컴퓨터 화 된 계산의 공정성을 측정하고 개선하는 데 많은 도움이 될 것입니다.

저자에 관하여

HV Jagadish, 버나드 A Galler Collegiate 전기 공학 및 컴퓨터 과학 교수, 미시간 대학

이 기사는 원래에 게시되었습니다. 대화. 읽기 원래 기사.

관련 서적

at 이너셀프 마켓과 아마존