형사 사법 시스템, 신용 시장, 고용 경기장, 고등 교육 입학 절차 및 심지어 소셜 미디어 네트워크, 데이터 기반 알고리즘 지금은 의사 결정을 내린다. 경제적, 사회적 및 시민 생활에 영향을 미치는 방식으로 이러한 소프트웨어 시스템은 대규모 인구 집단간에 일관된 치료를 허용하는 인간이 만든 또는 데이터 유도 규칙을 사용하여 정보를 순위 지정, 분류, 연결 또는 필터링합니다.

그러나 이러한 기술로 인해 효율성이 향상 될 수 있지만, 불우한 집단에 대한 편견을 가라 앉힌다. or 구조적 차별 강화. 예를 들어, 형사 사법과 관련하여 광범위한 사람들에게 측정 된 통계적 경향에 기초하여 가석방에 대한 판단을 내리는 것이 공정한가? 통계 모델을 적용함으로써 차별을 초래할 수 있습니까? 한 주에서 다른 인구로, 인구 통계 학적으로 다른 인구를 위해 개발 되었습니까?

대중은 정부 기관을 포함하여 공공 영역에서 사용되는 알고리즘의 편견과 힘을 이해해야합니다. 내가 참여하고있는 노력, 알고리즘 적 책임, 이러한 종류의 시스템의 영향을보다 명확하고 광범위하게 이해하도록 노력합니다.

알고리즘에 적용 할 때 기존 투명성 기법을 사용하면 사람들이 해당 시스템이 작동하는 방식을 모니터하고 감사하고 비판 할 수 있습니다. 불행히도 정부 기관은 개인 및 대중 모두에게 큰 영향을 미치는 의사 결정에서 알고리즘 및 사용에 대한 문의가 준비되지 않은 것으로 보입니다.

공공 감시를위한 공개 알고리즘

작년에 연방 정부는 공부하기 시작했다. 구금 시설 재소자가 석방 될 때 재범 가능성을 결정하는 데 도움이되는 컴퓨터 화 된 데이터 분석의 장단점. 개인을 저 위험, 중 위험 또는 고 위험으로 채점하면 주택 및 치료 결정에 도움이 될 수 있으며 최소한의 보안 교도소 또는 "중간 집"으로 안전하게 보낼 수있는 사람 또는 특정 유형의 심리 치료.

그러한 정보는 사법 절차를보다 효율적이고 저렴하게 만들 수 있으며 심지어 감옥의 혼잡을 줄일 수 있습니다. 위험도가 높은 범죄자와 같이 저 위험 범죄자를 치료하는 방법이 나와 있습니다. 일부 연구에서는 그들로 하여금 "병든"범죄자로 내재화시키고 그들의 비정상적인 행동을 치료할 필요가있게 만든다. 따라서 그들을 분리하면 석방되었을 때의 재범에 이르게하는 부정적인 행동의 발달을 줄일 수있다.

수감자의 재발 위험을 채점하기위한 데이터 및 알고리즘은 이미 있습니다. 주에 의해 광범위하게 사용됨 보호 관찰 구금, 집행 유예, 가석방죄 및 판결까지도 관리합니다. 그러나 사람들이 눈치 채지 못하게하는 것은 쉽습니다. 그들은 흔히 겸손한 관료적 인 서류처럼 보입니다.

일반적으로 알고리즘은 근본적인 계산을 거의 이해하지 못한 공무원이 작성하는 단순화 된 점수 시트로 요약됩니다. 예를 들어, 사건 담당 직원은 수감자가 폭력 범죄로 유죄 판결을 받았고, 체포 당시 젊었으며, 고등학교를 졸업하지 않았거나 검정 고시. 그 사람과 범죄에 관한 요인들과 다른 특성들은 수감자가 가석방 심사를받을 자격이 있는지를 보여주는 점수를 산출합니다.

양식 자체와 평가 시스템은 고려중인 변수와 전체 위험 점수를 형성하는 방법을 같이 알고리즘의 핵심 기능을 공개합니다. 그러나 알고리즘의 투명성을 위해 중요한 점은 이러한 양식이 어떻게 설계되고 개발되고 평가되었는지를 아는 것입니다. 그 때만 대중은 점수에 도달하는 데 포함 된 요인 및 계산이 공정하고 합리적인지, 정보가없고 편향되었는지 여부를 알 수 있습니다.

정보 공개법의 사용

해당 양식과 그 지원 자료를 손에 넣기위한 당사의 주요 도구는 법률이며 구체적으로 정보 법의 자유입니다. 그것들은 정부가 투명성을 확보 할 수있는 가장 강력한 메커니즘 중 하나입니다. 연방 차원에서 정보의 자유 법 (FOIA) 대중이 정식으로 연방 정부의 문서를 요청할 수있게하고 - 그 대가로 문서를받을 것으로 기대합니다. 유사한 법령이 존재합니다. 각 주마다.

1966에서 제정 된 FOIA는 널리 컴퓨팅을 사용하기 전에 만들어졌으며 많은 양의 데이터가 개인을 관리하고 예측을하기 위해 일상적으로 소프트웨어 시스템에 사용되기 훨씬 전에 만들어졌습니다. 가 있었다 일부 초기 연구 FOIA가 소프트웨어 소스 코드 공개를 용이하게 할 수 있는지 여부 그러나 현행법이 21st 세기 대중의 요구에 반응하는지 여부에 대한 의문이 남아 있습니다. 우리는 FOIA 알고리즘을 사용할 수 있습니까?

알고리즘 투명성 사례 연구

나는이 질문에 대답하기 위해 출발했다. Philip Merrill College of Journalism 저는 메릴랜드 대학교에서 조교수입니다. 동료 인 Sandy Banisky의 미디어 법률 수업을 담당하는 2015의 가을에 FOIA 요청을 50 주에 제출하는 방법을 학생들에게 안내했습니다. 가석방 및 집행 유예, 보석금 선고 또는 선고 결정과 같은 형사 사법에 사용되는 알고리즘과 관련된 문서, 수학적 설명, 데이터, 유효성 평가, 계약 및 소스 코드를 요청했습니다.

한 학기 동안의 프로젝트로서, 노력은 많은 장애물과 비교적 적은 성공으로 시간에 따라 필수적으로 제한되었습니다. 많은 언론인들의 수사와 마찬가지로 누가 누구에게 물어볼 것인지, 그리고 어떻게 도전해야 하는지를 파악했습니다. 여러 기관이 형사 사법 제도의 여러 분야에 책임을 질 수 있습니다 (판결은 법원에서 할 수 있지만 가석방 관리는 교정 국에서 수행 할 수 있음).

적절한 사람을 찾은 후에도 학생들은 정부 관료가 다른 용어를 사용하여 원하는 정보를 전달하기가 어려워 짐을 발견했습니다. 때로는 학생들은 데이터에 익숙하지 않은 공무원에게 "형사 사법 알고리즘"을 설명하기 위해 열심히 노력해야했습니다. 되돌아 보면 주정부에서 자주 사용하는 용어 인 '위험 평가 도구'를 요청하는 것이 더 효과적이었을 것입니다.

답변 처리

콜로라도와 같은 일부 주에서는 플랫 알고리즘이 알고리즘이 소프트웨어에 포함되어 있다고 말하면서 공개 요청을 거부했다.이 소프트웨어는 공개 정부 법에 따라 공무원이 공개해야하는 "문서"로 간주되지 않았다. 각 주마다 소프트웨어 사용에 대한 다른 규칙이 있습니다. 2004와 같은 법원에서 때때로이 문제가 발생했습니다. 디트로이트시에 대한 소송 인접 도시에 부과 된 수도 요금을 계산하는 공식을 공개해야하는지 여부

우리의 노력으로 형사 사법 알고리즘에 대한 수학적 설명은 단 한 건만 받았습니다. 오레곤은 공개했습니다. 16 변수와 그 가중치 재범을 예언하기 위해 거기에서 사용 된 모델에서. 노스 다코타 주에서는 수감자가 가석방 될 수있는 날짜를 결정하는 데 사용 된 방정식을 보여주는 Excel 스프레드 시트를 발표했습니다. 아이다 호와 뉴 멕시코에서 우리는 해당 주에서 사용 된 재범 위험 평가에 대한 설명이 포함 된 문서를 받았지만 개발이나 검증 방법에 대한 세부 정보는 제공받지 못했습니다.

9 개 주 (州)는 정보가 실제로 회사 소유라는 주장에 대한 형사 사법 알고리즘에 대한 세부 정보 공개를 거부했다. 이것은 알고리즘을 공개하면 알고리즘을 개발 한 회사에 해를 끼칠 수 있다는 의미입니다. 일반적인 재범 위험의 질문지, LSI-R이라고 불리는, 저작권으로 보호되는 상업용 제품으로 판명되었습니다. 하와이와 메인 주 (Maine)와 같은 주 (state)는 공중에 공개하는 것을 막았다 고 주장했다.

루이지애나주는 새로운 위험 평가 기술 개발자와의 계약이 6 개월 동안 요청 된 정보의 공개를 금지했다고 밝혔다. 켄터키 주 (州)는 자선 재단 그 이유는 더 자세한 내용을 공개 할 수 없었기 때문입니다. 독점 정보에 대한 우려는 합법적 일 수 있지만, 정부가 사기업과 정기적으로 계약한다는 점을 감안할 때, 그러한 우려를 설명 할 수 있고 실제로 합법적 인 사법 제도와 어떻게 균형을 이루고 있습니까?

개선하기

많은 FOIA 개혁이 필요합니다. 현재 심의중인 의회에서. 이것은 법률이 현대화 될 수있는 기회를 제공하지만 제안 된 변경 사항은 정부에서 알고리즘의 사용 증가를 수용하기에는 거의 영향을 미치지 않습니다. 알고리즘 투명성 정보 성문화되었을 수도있다. 평소처럼 비즈니스의 일환으로 정부가 정기적으로 생성하고 공개하는 보고서로

사회로서 공공 정보 관리자가 지식을 습득하고 대중이 알고리즘을 요구할 때 마주 치게 될 용어에 능통하도록 훈련시켜야합니다. 연방 정부는 옴부즈맨 인 "알고리즘 황제"의 새로운 지위를 창출 할 수도 있습니다. 옴부즈만은 정부의 자동화에 관한 의사 소통과 현장 조사를 담당 할 것입니다.

연구에서받은 문서 중 형사 사법 위험 평가 양식이 어떻게 개발되거나 평가되었는지는 알려지지 않았습니다. 알고리즘이 점점 더 많은 삶을 관리함에 따라 시민들은 더 많은 투명성을 요구할뿐만 아니라 요구해야합니다.

저자에 관하여

니콜라스 디아 코스 울 로스 (Nicholas Diakopoulos), 토우 휄로우, 컬럼비아 대학교 디지털 저널리즘 센터 견적 센터; 메릴랜드 대학 저널리즘 조교수. 그의 연구는 알고리즘 책임, 서사 데이터 시각화 및 뉴스의 소셜 컴퓨팅에 중점을 둔 전산 및 데이터 저널리즘 분야의 연구입니다.

이 기사는 원래에 게시되었습니다. 대화. 읽기 원래 기사.

관련 서적

at 이너셀프 마켓과 아마존