은행이나 신용 카드 회사에서 대출을 신청하고 거절당한 사람들은 그 이유에 대한 설명을해야합니다. 그것은 좋은 생각입니다 - 사람들에게 손상된 신용을 수리하는 방법을 가르쳐 줄 수 있기 때문에 - 그리고 그것은 연방법입니다. 평등 한 신용 기회 법. 인간이 그 결정을 내렸을 때 대답을 얻는 것이 과거에는별로 문제가되지 않았습니다. 그러나 오늘날 인공 지능 시스템이 신용 의사 결정을하는 사람들을 보조하거나 대체하기 때문에 그러한 설명을 얻는 것이 훨씬 어려워졌습니다.

전통적으로 신청서를 거부 한 대출 담당관은 차용인에게 소득 수준이나 고용 기록에 문제가 있다고 말할 수 있습니다. 문제가 무엇이든지간에. 그러나 복잡한 것을 사용하는 컴퓨터 화 된 시스템 기계 학습 모델은 전문가를 위해서조차도 설명하기 어렵습니다.

소비자 신용 결정은이 문제가 발생하는 한 가지 방법 일뿐입니다. 비슷한 우려 ~에 존재하다 건강 관리, 온라인 마케팅 심지어 형사 사법. 이 분야에 대한 내 자신의 관심은 연구 그룹의 일원이 발견 된 때부터 시작되었습니다. 온라인 광고의 타겟팅 방식에 대한 성별 편견그러나 그것이 일어난 이유를 설명 할 수 없었다.

프로세스를 분석하고 결정을 내리기 위해 기계 학습을 사용하는 모든 산업 및 많은 사람들은 시스템이 어떻게 작동 하는지를 설명 할 때 1 년이 조금 넘게 걸립니다. 5 월 2018에서 새로운 유럽 ​​연합 일반 데이터 보호 규정 사람들에게 삶에 영향을 미치는 자동 결정을 설명 할 수있는 권리를 부여하는 섹션을 포함하여 효력을 발생합니다. 이러한 설명이 어떤 모양이어야하며 실제로 제공 할 수 있습니까?

주요 이유 확인

자동화 된 결정이 왜 그런 식으로 나오는지 설명하는 한 가지 방법은 결정에 가장 영향력있는 요인을 확인하는 것입니다. 신청자가 충분한 돈을 벌지 않았거나 과거에 대출금을 상환하지 않았기 때문에 신용 거부 결정이 얼마나 많이 나왔습니까?

PhD 학생 Shayak Sen과 당시 postdoc Yair Zick을 포함한 카네기 멜론 대학교 (Carnegie Mellon University)의 연구 그룹은 상대적인 영향을 측정하다 각 요소의 우리는 그것을 양적 투입 영향이라고 부릅니다.

개별 결정에 대한 더 나은 이해를 제공하는 것 외에도 측정은 일련의 결정에 대해 밝힐 수 있습니다. 알고리즘이 주로 다른 금융 기관이 이미 다른 채무에 대해 빚지고있는 금액과 같은 재정적 인 문제 때문에 신용을 거부 했습니까? 또는 신청자의 우편 번호가 더 중요합니까 - 인종과 같은보다 기본적인 인구 통계가 제안되었을 수 있습니다.

인과 관계 파악

시스템이 여러 요소를 기반으로 의사 결정을 내릴 때 어떤 요소가 의사 결정 및 상대 기여도를 유발하는지 파악하는 것이 중요합니다.

예를 들어, 단지 2 개의 입력, 신청자의 부채 - 소득 비율과 그녀의 종족을 취하는 신용 ​​- 결정 시스템을 상상해보십시오. 그리고 백인들에게만 대출을 승인하는 것으로 나타났습니다. 각 요소가 결정에 얼마나 많이 기여했는지 알면 그것이 합법적 인 시스템인지 차별적인지 여부를 이해하는 데 도움이 될 수 있습니다.

설명은 입력과 결과를 관찰하고 상관 관계를 관찰 할 수 있습니다. - 비 백인이 대출을받지 못했습니다. 그러나이 설명은 너무 단순합니다. 대출을 거부당한 비 백인들도 성공적인 신청을 한 백인보다 소득이 훨씬 낮았다고 가정 해 봅시다. 그렇다면이 설명은 신청자의 인종 또는 부채 비율이 거부를 유발했는지 여부를 알 수 없습니다.

우리의 방법은이 정보를 제공 할 수 있습니다. 차이점을 말하면 시스템이 신청자의 재정과 같은 합법적 인 기준을 부당하게 차별하거나 보는지 여부를 알 수 있습니다.

특정 신용 결정에서 인종의 영향력을 측정하기 위해 부채 비율을 동일하게 유지하면서 신청자의 인종을 변경하면서 신청 절차를 다시합니다. 경주를 변경하면 결과에 영향을 미치지 만 인종은 결정적인 요소입니다. 그렇지 않다면, 우리는 알고리즘이 재무 정보만을보고 있다고 결론을 내릴 수 있습니다.

원인 인 요인을 확인하는 것 외에도, 결정에 대한 상대적인 인과 관계 영향을 측정 할 수 있습니다. 우리는 요인 (예 : 인종)을 무작위로 변경하고 결과가 변경 될 가능성을 측정하여이를 수행합니다. 우도가 높을수록 요인의 영향이 커집니다.

영향력 집계

우리의 방법은 함께 작동하는 여러 요소를 통합 할 수도 있습니다. 600 이상의 신용 점수, 자동차 소유권 및 신청자가 주택 융자를 완전히 상환했는지 여부의 세 가지 기준 중 두 가지를 충족하는 신청자에게 신용을 부여하는 결정 시스템을 고려하십시오. 730의 신용 점수와 자동차 또는 주택 융자가없는 신청자 인 앨리스 (Alice)는 신용이 거부되었습니다. 그녀는 자동차 소유 여부 또는 주택 담보 대출 상환 내역이 주요 이유인지 궁금합니다.

비유는이 상황을 분석하는 방법을 설명하는 데 도움이 될 수 있습니다. 법원이 3 명의 심사 위원 패널의 과반수 득표에 의해 결정되는 법원을 생각해보십시오. 법원은 보수 주의자, 자유 주의자, 스윙 투표자 중 한 명과 동료가있을 수 있습니다. 2-1의 보수적 인 결정에서 스윙 판사는 자유 재판관보다 결과에 더 큰 영향을 미쳤습니다.

우리의 신용 예제의 요소는 세 명의 심사 위원과 같습니다. 첫 번째 판사는 일반적으로 대출 신청에 찬성합니다. 왜냐하면 많은 신청자가 충분한 신용 점수를 보유하고 있기 때문입니다. 두 번째 판사는 거의 지원자가 집을 갚지 않았기 때문에 거의 항상 대출에 반대표를 던졌습니다. 그래서 결정은 앨리스의 경우 그녀가 차를 소유하지 않아 대출을 거부하는 스윙 판사에게 내려집니다.

우리는이 추론을 협동 게임 이론, 다른 요인들이 단일 결과에 어떻게 기여 하는지를보다 구체적으로 분석하는 시스템. 특히 우리는 상대적인 인과 관계에 대한 측정과 샤플리 값이것은 여러 요인에 영향을 미치는 방법을 계산하는 방법입니다. 이 두 가지가 합쳐져 ​​정량적 영향 영향 측정을 구성합니다.

지금까지 우리는 현실적인 데이터 세트로 일반적인 기계 학습 알고리즘을 교육하여 작성한 의사 결정 시스템에 대한 방법을 평가했습니다. 현실 세계에서 작업 할 때 알고리즘을 평가하는 것은 향후 작업의 주제입니다.

열린 도전

알고리즘 분석 방법에 대한 우리의 분석 방법은 인간이 쉽게 이해할 수있는 상황 (부채 - 소득 비율 및 기타 재정 기준)에서 가장 유용합니다.

그러나보다 복잡한 알고리즘의 의사 결정 과정을 설명하는 것은 중요한 과제로 남아 있습니다. 예를 들어 이미지 인식 시스템을 생각해보십시오. 종양 탐지 및 추적. 개별 픽셀을 기반으로 특정 이미지의 평가를 설명하는 것은 그리 유용하지 않습니다. 이상적으로, 우리는 이미지에서 특정 종양 특징을 확인하는 것과 같은 결정에 대한 추가 통찰력을 제공하는 설명을 원합니다. 실제로 그러한 자동화 된 의사 결정 과제에 대한 설명을 설계하는 것은 많은 연구자 바쁜.

저자에 관하여

Anupam Datta, 컴퓨터 과학 및 전기 및 컴퓨터 공학 부교수, 카네기 멜론 대학

이 기사는 원래에 게시되었습니다. 대화. 읽기 원래 기사.

관련 서적

at 이너셀프 마켓과 아마존