나폴레옹은 과거로부터 배울 수 있었습니다. Adolph Northen/wikipedia의 그림

역사를 모르면 역사를 반복한다는 것은 진부한 표현이다. 많은 사람들이 지적했듯이 우리가 역사에서 배우는 유일한 것은 역사에서 거의 아무것도 배우지 않는다는 것입니다. 사람들은 아시아의 육지 전쟁 계속해서. 그들은 또한 같은 데이트 실수를 계속해서 반복합니다. 그런데 왜 이런 일이 발생합니까? 그리고 기술이 그것을 끝낼 것인가?

한 가지 문제는 건망증과 “근시”: 전개 패턴을 ​​간과하면서 과거 사건이 현재 사건과 어떤 관련이 있는지 알 수 없습니다. 나폴레옹은 모스크바 행진과 스웨덴 왕 사이의 유사점을 알아차렸어야 했다. Charles XII의 실패한 시도 그보다 대략 한 세기 전에.

우리는 또한 학습에 나쁜 일이 잘못되었을 때. 결정이 왜 잘못되었는지, 그리고 다시는 그런 일이 일어나지 않도록 하는 방법을 결정하는 대신, 우리는 종종 당혹스러운 사건을 무시하려고 합니다. 즉, 다음에 유사한 상황이 발생하면 유사성을 보지 못하고 실수를 반복합니다.

둘 다 정보의 문제를 드러냅니다. 첫 번째 경우에는 개인 정보나 과거 정보를 기억하지 못합니다. 두 번째로 정보를 사용할 수 있을 때 인코딩하지 못합니다.

즉, 일어날 일을 효율적으로 추론할 수 없을 때도 실수를 합니다. 어쩌면 상황이 너무 복잡하거나 생각할 시간이 너무 오래 걸릴 수도 있습니다. 또는 우리는 무슨 일이 일어나고 있는지 잘못 해석하도록 편향되어 있습니다.

짜증나는 기술의 힘

그러나 확실히 기술이 우리를 도울 수 있습니까? 이제 우리는 정보를 뇌 외부에 저장하고 컴퓨터를 사용하여 검색할 수 있습니다. 그것은 학습과 기억을 쉽게 만들어야 합니다, 그렇죠?

정보를 저장하는 것은 잘 검색할 수 있을 때 유용합니다. 그러나 기억한다는 것은 알려진 위치나 날짜에서 파일을 검색하는 것과는 다릅니다. 기억한다는 것은 유사점을 발견하고 마음에 떠오르게 하는 것입니다.

인공 지능(AI)은 또한 우리 마음에 유사점(종종 달갑지 않은 유사점)을 자발적으로 가져올 수 있어야 합니다. 그러나 가능한 유사점을 알아차리는 데 능숙하다면(결국 모든 인터넷과 모든 개인 데이터를 검색할 수 있음) 잘못된 유사점도 종종 알아차릴 것입니다.

실패한 날짜의 경우 모두 저녁 식사가 포함되어 있음을 알 수 있습니다. 그러나 문제는 결코 식사가 아니었습니다. 그리고 탁자 위에 튤립이 있는 것은 순전히 우연의 일치였습니다. 튤립을 피할 이유가 없었습니다. 우리는 종종 연애 실수를 반복합니다. 

즉, 우리가 신경 쓰지 않는 것에 대해 성가신 방식으로 경고합니다. 민감도를 낮추면 필요할 때 경고를 받지 못할 위험이 높아집니다.

이것은 근본적인 문제이며 모든 조언자에게 똑같이 적용됩니다. 신중한 조언자는 늑대를 너무 자주 울고 낙관적 조언자는 위험을 놓칠 것입니다.

좋은 조언자는 우리가 신뢰하는 사람입니다. 그들은 우리와 거의 같은 수준의 주의를 기울이고 있으며 우리가 원하는 것을 그들이 알고 있다는 것을 알고 있습니다. 이것은 인간 조언자에게서 찾기 어렵고 AI에서는 더욱 그렇습니다.

기술은 어디에서 실수를 중지합니까? 바보 방지 작업. 커팅 머신은 버튼을 누르고 있어야 하며 블레이드에서 손을 떼야 합니다. 작업자가 무력화되면 "데드맨 스위치"가 기계를 정지시킵니다.

전자레인지는 문을 열면 방사선이 꺼집니다. 미사일을 발사하려면 두 사람이 방을 가로질러 동시에 열쇠를 돌려야 합니다. 여기에서 신중한 설계는 실수를 저지르기 어렵게 만듭니다. 그러나 우리는 덜 중요한 상황에 대해 충분히 신경 쓰지 않기 때문에 훨씬 덜 멍청한 디자인을 만듭니다.

기술이 잘 작동할 때 우리는 종종 그것을 너무 많이 신뢰합니다. 항공 조종사는 자동 조종 시스템의 놀라운 효율성으로 인해 과거보다 오늘날 실제 비행 시간이 적습니다. 이것은 자동 조종 장치가 실패하고 조종사가 상황을 바로잡을 경험이 적다는 나쁜 소식입니다.

첫 번째 새로운 유형의 석유 플랫폼 (Sleipnir A) 침몰 엔지니어가 가해지는 힘의 소프트웨어 계산을 신뢰했기 때문입니다. 모델은 틀렸지만 신뢰할 수 있을 정도로 설득력 있는 방식으로 결과를 제시했습니다.

우리 기술의 대부분은 놀랍도록 신뢰할 수 있습니다. 예를 들어, 우리는 인터넷에서 손실된 데이터 패킷이 뒤에서 어떻게 지속적으로 발견되는지, 오류 수정 코드가 소음을 제거하는 방법 또는 퓨즈와 중복이 어떻게 가전 제품을 안전하게 만드는지 알지 못합니다.

그러나 복잡성 수준을 따라 쌓으면 매우 신뢰할 수 없어 보입니다. Zoom 비디오가 지연되거나 AI 프로그램이 잘못 응답하거나 컴퓨터가 충돌할 때 알아차립니다. 그러나 50년 전에 컴퓨터나 자동차를 사용했던 사람에게 실제로 어떻게 작동했는지 물어보면 능력과 신뢰성이 떨어진다는 점을 알게 될 것입니다.

사용하기에 너무 짜증나거나 안전하지 않을 때까지 기술을 더욱 복잡하게 만듭니다. 부품이 더 좋아지고 더 신뢰할 수 있게 됨에 따라 우리는 작동하는 것에 집착하기보다 새롭고 흥미롭고 유용한 기능을 추가하기로 선택하는 경우가 많습니다. 이것은 궁극적으로 기술을 가능한 것보다 덜 신뢰할 수 있게 만듭니다.

실수를 할 것이다

이것이 AI가 실수를 피하는 양날의 검인 이유이기도 합니다. 자동화는 작동할 때 더 안전하고 효율적으로 만드는 경우가 많지만 실패하면 문제가 훨씬 더 커집니다. 자율성은 스마트 소프트웨어가 우리의 생각을 보완하고 우리의 부담을 덜어줄 수 있지만 우리가 원하는 대로 생각하지 않을 때 오작동할 수 있음을 의미합니다.

더 복잡할수록 실수는 더 환상적일 수 있습니다. 고도로 지능적인 학자를 상대해 본 사람이라면 누구나 상식이 통하지 않을 때 독창성으로 일을 얼마나 잘 망칠 수 있는지 알고 있습니다. AI는 인간의 상식이 거의 없습니다.

이것은 또한 AI가 의사 결정을 안내하는 것에 대해 걱정해야 하는 심오한 이유입니다. 그들은 새로운 종류의 실수를 저지른다. 우리 인간은 인간의 실수를 알고 있으므로 조심할 수 있습니다. 하지만 똑똑한 기계는 우리가 상상하지 못한 실수를 저지를 수 있습니다.

또한 AI 시스템은 인간이 프로그래밍하고 훈련합니다. 그리고 그러한 시스템의 많은 예가 있습니다. 편견이 생기고 편협해지기까지 한다. 그들은 편견을 모방하고 관련된 사람들이 명시적으로 피하려고 할 때에도 인간 세계의 실수를 반복합니다.

결국 실수는 계속 일어날 것입니다. 우리가 세상에 대해 틀리고, 기억해야 할 모든 것을 기억하지 못하고, 우리의 기술이 문제를 피하는 데 완벽하게 도움이 되지 못하는 근본적인 이유가 있습니다.

그러나 우리는 실수의 결과를 줄이기 위해 노력할 수 있습니다. 실행 취소 버튼과 자동 저장 기능으로 수많은 문서가 컴퓨터에 저장되었습니다. 런던의 기념비, 쓰나미 돌 일본 및 기타 기념물에서 특정 위험을 상기시키는 역할을 합니다. 좋은 디자인 관행은 우리의 삶을 더 안전하게 만듭니다.

궁극적으로 역사에서 무언가를 배울 수 있습니다. 우리의 목표는 생존하고 실수로부터 배우는 것이지 실수가 발생하지 않도록 방지하는 것이어야 합니다. 기술이 이에 도움이 될 수 있지만 실제로 원하는 것이 무엇인지 신중하게 생각하고 그에 따라 설계해야 합니다.

저자에 관하여

Anders Sandberg, 인류의 미래 연구소 및 옥스퍼드 마틴 학교 제임스 마틴 연구원, 옥스퍼드 대학

이 기사는에서 다시 게시됩니다. 대화 크리에이티브 커먼즈 라이센스하에 읽기 원래 기사.