얼굴 인식 기술이 인종적으로 결함이 있고 편견이있는 방법
얼굴 인식 알고리즘은 일반적으로 흰색 얼굴을 사용하여 테스트되므로 기술이 인종 화 된 개인을 구분할 수 없습니다. (Shutterstock)

디트로이트 경찰은 2020 년 XNUMX 월 Robert Julian-Borchak Williams를 부당하게 체포했습니다. XNUMX 년 전에 발생한 도둑 사건에 대해. 윌리엄스는 사건과 관련이 없었지만 미시간 주 경찰이 사용하는 얼굴 인식 기술은 3,800 달러 상당의 시계를 가져가는 또 다른 아프리카 계 미국인 남성을 보여주는 매장 내 감시 비디오에서 얻은 거친 이미지와 그의 얼굴을 "일치"했습니다.

XNUMX 주 후 검찰의 요청에 따라 사건이 기각되었습니다. 그러나 잘못된 경기에 의존하여 경찰은 이미 수갑을 채우고 가족 앞에서 윌리엄스를 체포하고 머그 샷, 지문 및 DNA 샘플을 제공하도록 강요하고 그를 심문하고 밤새 감옥에 가두 었습니다.

전문가들은 윌리엄스가 혼자가 아니며 다른 사람들도 유사한 불공정을 겪었다 고 제안합니다. 경찰의 Clearview AI 사용에 대한 지속적인 논쟁은 얼굴 인식 기술로 인한 개인 정보 위험을 분명히 강조합니다. 그러나 그것을 깨닫는 것이 중요합니다 우리 모두가 이러한 위험을 똑같이 감수하지는 않습니다..

인종 차별 알고리즘 훈련

안면 인식 기술 백인 얼굴에 대한 훈련과 조정 인종 화 된 개인을 체계적으로 잘못 식별하고 라벨을 잘못 지정합니다. 수많은 연구에 따르면 얼굴 인식 기술이 "유색 인종에 대해 사용할 때 오류율이 훨씬 더 높고 결함이 있고 편향되어 있습니다.. "


내면의 구독 그래픽


인종 화 된 사람들의 개성과 인간성을 훼손합니다 범죄자로 오인 될 가능성이 더 높은 사람. 이 기술과 그로 인한 식별 오류는 인종주의, 성 차별, 동성애 혐오, 정착민-식민지주의 및 기타 교차 억압과 깊이 얽혀있는 오랜 사회적 분열을 반영하고 더욱 강화합니다.

{vembed Y=vSuDE6wvQlU}
얼굴 인식 기술의 인종 편견에 대한 France24 조사.

기술이 사용자를 분류하는 방법

그의 획기적인 1993 년 책에서 Panoptic 정렬, 학자 Oscar Gandy는“일상 생활을 통해 생성되는 개인 및 그룹에 대한 정보의 수집, 처리 및 공유를 포함하는 복잡한 기술은… 생활을 정의하는 상품 및 서비스에 대한 액세스를 조정하고 제어하는 ​​데 사용됩니다. 현대 자본주의 경제.” 법 집행 기관에서는이를 사용하여 일반 대중으로부터 용의자를 뽑아 내고, 민간 기관에서는이를 사용하여 다음과 같은 항목에 액세스 할 수 있는지 여부를 결정합니다. 은행고용.

Gandy는 확인하지 않으면 이러한 형태의 "사이버 네틱 분류"가 평등을 추구하는 커뮤니티의 구성원 (예 : 인종 화되거나 사회 경제적으로 불이익을받는 그룹)의 구성원에게 할당되는 항목과 그들이 어떻게 자신을 이해하게 될지.

약 25 년이 지난 지금, 우리는 스테로이드에 대한 파 놉틱 종류로 살고 있습니다. 그리고 윌리엄스에 대한 잘못된 식별과 같이 평등을 추구하는 공동체에 대한 부정적인 영향의 예가 많습니다.

기존 편견

알고리즘을 사용한 이러한 분류는 일상 생활의 가장 기본적인 측면에 침투하여 그 여파로 직접적 및 구조적 폭력을 일으 킵니다.

윌리엄스가 경험 한 직접적인 폭력은 그의 체포와 구금을 둘러싼 사건에서 즉시 명백하며, 그가 경험 한 개인의 피해는 명백하며 체포를 위해 기술의 "일치"에 의존하기로 선택한 경찰의 행동으로 추적 될 수 있습니다. 더 교활한 것은 구조적 폭력 안면 인식 기술을 통해 기타 디지털 기술 기존의 차별 패턴을 확대하는 방식으로 개인을 평가, 일치, 분류 및 분류합니다.

구조적 폭력 피해는 덜 분명하고 덜 직접적이며, 권력, 자원 및 기회에 대한 체계적인 거부를 통해 평등 추구 그룹에 상해를 입 힙니다. 동시에 이러한 그룹의 개별 구성원에 대한 직접적인 위험과 피해를 증가시킵니다.

예측 적 정책 사용 새로운 범죄가 발생할 가능성이있는시기와 장소를 예측하기위한 과거 데이터의 알고리즘 처리, 그에 따라 경찰 자원을 할당하고 일반적으로 저소득층 및 인종 화 된 지역의 지역 사회에 향상된 경찰 감시 기능을 포함합니다. 이는 경찰의 대응을 유도하지 않을 수있는 덜 심각한 범죄 행위를 포함한 모든 범죄 행위가 탐지되고 처벌 될 가능성을 높여 궁극적으로 그 환경에 사는 사람들의 생명 기회를 제한합니다.

그리고 다른 부문에서 불평등의 증거가 계속 증가하고 있습니다. 영국의 수백 명의 학생 16 월 XNUMX 일의 비참한 결과에 항의 보통, 영국 정부가 어떤 학생이 대학에 입학 할 수 있는지 결정하는 데 사용한 결함이있는 알고리즘입니다. 2019 년 페이스 북의 마이크로 타겟팅 광고 서비스 수십 명의 공공 및 민간 부문 고용주를 도왔습니다. 연령과 성별에 따라 구인 광고를받지 못하도록 사람들을 제외합니다. ProPublica에서 수행 한 연구는 온라인 상품에 대한 인종 기반 가격 차별. 그리고 검색 엔진은 정기적으로 인종 차별 및 성 차별적 인 결과를 생성합니다.

지속적인 억압

이러한 결과는 인종, 성별 및 연령과 같은 특성에 따라 기존의 불평등을 영속화하고 심화시키기 때문에 중요합니다. 그들은 또한 우리 자신과 우리 주변의 세계를 알게되는 방법에 깊은 영향을 미치기 때문에 중요합니다. 정보 사전 선택 우리는 고정 관념을 강화하는 방식으로받습니다. 기술 회사조차도 알고리즘이 차별을 지속하지 못하도록 막아야하는 긴급 성.

지금까지 기술 회사 자체에서 수행 한 임시 조사의 성공은 일관성이 없습니다. 때때로 차별적 시스템을 생산하는 기업은 다음과 같이 시장에서 철수합니다. Clearview AI는 캐나다에서 더 이상 얼굴 인식 기술을 제공하지 않을 것이라고 발표했습니다.. 그러나 종종 그러한 결정은 규제 조사 또는 대중의 항의에서만 발생합니다. 시간 내에 평등을 추구하는 공동체의 구성원들은 이미 피해를 입었습니다.

규제 기관에 문제를 해결하는 데 필요한 도구를 제공 할 때입니다. 개인의 동의를 얻어 기업이 데이터를 캡처하고 용도를 ​​변경할 수있는 간단한 개인 정보 보호는 해당 사용의 차별적 인 결과와 분리 될 수 없습니다. 이것은 우리 대부분이 (기술 회사 자체 포함) 알고리즘이 수행하는 작업이나 특정 결과를 생성하는 이유를 완전히 이해할 수 없습니다.

프라이버시는 인권입니다

솔루션의 일부는 프라이버시와 인권을 별도의 문제로 취급하는 현재의 규제 사일로를 무너 뜨리는 것입니다. 동의 기반 데이터 보호 모델에 의존하는 것은 프라이버시와 평등이 모두 계약 할 수없는 인권이라는 기본 원칙에 직면 해 있습니다.

조차 캐나다의 디지털 헌장 -디지털 환경의 현재 상태의 단점에 대응하려는 연방 정부의 최근 시도는 이러한 개념적 차이를 유지합니다. 증오와 극단주의, 통제와 동의, 강력한 민주주의를 별도의 범주로 취급합니다.

알고리즘 차별을 해결하기 위해 우리는 프라이버시와 평등을 인권으로 인식하고 틀을 잡아야합니다. 그리고 우리는 둘 다에 똑같이 세심하고 전문적인 인프라를 만들어야합니다. 그러한 노력이 없다면 수학과 과학의 광택이 AI의 차별적 편견을 계속해서 위장 할 것이며 윌리엄스에게 가해지는 것과 같은 희롱이 증가 할 것으로 예상 할 수 있습니다.대화

저자에 관하여

법학 교수이자 eQuality 프로젝트의 공동 리더 인 Jane Bailey는 L' Université d' Ottawa / 오타와 대학; Jacquelyn Burkell, 부사장, 연구, 웨스턴 대학, Valerie Steeves, 정교수, L' Université d' Ottawa / 오타와 대학

이 기사는에서 다시 게시됩니다. 대화 크리에이티브 커먼즈 라이센스하에 읽기 원래 기사.

아마존 베스트 셀러 목록의 불평등에 관한 책

"카스트: 불만의 근원"

이사벨 윌커슨

이 책에서 Isabel Wilkerson은 미국을 포함한 전 세계 사회에서 카스트 제도의 역사를 조사합니다. 이 책은 카스트가 개인과 사회에 미치는 영향을 탐구하고 불평등을 이해하고 해결하기 위한 틀을 제공합니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.

"법의 색깔: 우리 정부가 미국을 어떻게 분리했는지에 대한 잊혀진 역사"

리차드 로스스타인

이 책에서 Richard Rothstein은 미국에서 인종 차별을 만들고 강화한 정부 정책의 역사를 탐구합니다. 이 책은 이러한 정책이 개인과 지역 사회에 미치는 영향을 조사하고 지속적인 불평등을 해결하기 위한 조치를 촉구합니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.

"우리의 합계: 인종차별이 모든 사람에게 어떤 대가를 치르게 하고 우리가 함께 번영할 수 있는 방법"

헤더 맥기

이 책에서 Heather McGhee는 인종주의의 경제적, 사회적 비용을 탐구하고 보다 공평하고 번영하는 사회에 대한 비전을 제시합니다. 이 책에는 불평등에 도전한 개인과 공동체의 이야기와 더 포용적인 사회를 만들기 위한 실질적인 해결책이 담겨 있습니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.

"적자 신화: 현대통화이론과 인민경제의 탄생"

스테파니 켈튼

이 책에서 Stephanie Kelton은 정부 지출과 국가 적자에 대한 기존의 생각에 도전하고 경제 정책을 이해하기 위한 새로운 틀을 제시합니다. 이 책에는 불평등을 해결하고 보다 공평한 경제를 만들기 위한 실용적인 솔루션이 포함되어 있습니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.

"새로운 짐 크로우: 색맹 시대의 대량 투옥"

미셸 알렉산더

이 책에서 Michelle Alexander는 형사 사법 제도가 특히 흑인 미국인에 대한 인종적 불평등과 차별을 영속화하는 방식을 탐구합니다. 이 책에는 시스템과 그 영향에 대한 역사적 분석과 개혁을 위한 행동 촉구가 포함되어 있습니다.

자세한 정보를 보거나 주문하려면 클릭하십시오.