AI 챗봇은 이미 전화나 웹사이트를 통해 고객에게 인사하고 질문에 답변하기 위해 기업에서 널리 사용되고 있습니다. 일부 기업에서는 콜센터 역할에서 인간을 기계로 어느 정도 대체할 수 있다는 사실을 발견했습니다.
그러나 이용 가능한 증거에 따르면 이러한 최전선 도구의 사용과 관련하여 극도의 주의가 필요하고 윤리적 감독이 필요할 수 있는 의료 및 인적 자원과 같은 부문이 있습니다.
최근에 널리 알려진 예는 다음과 같습니다. Tessa라는 챗봇, 이는 에서 사용되었습니다. 전국 섭식 장애 협회(NEDA) 미국에서. 이 조직은 초기에 급여를 받는 직원과 자원봉사자가 함께 운영하는 헬프라인을 유지했습니다. 이는 섭식 장애로 고통받는 취약한 사람들을 돕는 명확한 목표를 가지고 있었습니다.
그러나 올해 해당 기관은 헬프라인 직원을 해산했습니다, 테사 챗봇으로 대체하겠다고 발표했습니다. 그 이유는 논쟁의 여지가 있습니다. 이전 직원들은 헬프라인 직원이 노동조합을 결성하기로 결정한 후 교대가 이루어졌다고 주장합니다. 그만큼 NEDA 부통령 인용 통화 횟수와 대기 시간이 늘어나고 자원 봉사 직원 사용과 관련된 법적 책임이 발생합니다.
어떤 경우이든, 매우 짧은 운영 기간 후에 Tessa는 챗봇이 섭식 장애로 도움을 구하는 사람들의 증상을 악화시킬 수 있는 문제 있는 조언을 제공했다는 보고로 인해 오프라인 상태가 되었습니다.
또한 다음과 같이 보고되었습니다. Ellen Fitzsimmons-Craft 박사와 C Barr Taylor 박사Tessa 개발을 도운 두 명의 우수한 연구원은 챗봇이 기존 헬프 라인을 대체하거나 극심한 섭식 장애 증상을 겪는 사람들에게 즉각적인 지원을 제공하기 위한 것이 결코 아니라고 규정했습니다.
상당한 업그레이드
그렇다면 Tessa는 무엇을 위해 디자인되었나요? 연구원들은 동료들과 함께 다음과 같은 결과를 생성했습니다. 관측 연구 섭식 장애를 걱정하는 사용자와 상호 작용하기 위해 규칙 기반 챗봇을 설계할 때 직면한 어려움을 강조합니다. 디자인 선택, 운영, 함정 및 수정 사항을 설명하는 매우 흥미로운 읽기입니다.
Tessa의 원래 버전은 전통적이었습니다. 규칙 기반 챗봇, 비록 고도로 정제된 것이지만 논리를 기반으로 사전 정의된 구조를 따르는 것입니다. 제작자가 보정한 표준화되고 사전 프로그래밍된 응답에서 벗어날 수 없습니다.
그들의 결론은 다음과 같습니다. “규칙 기반 챗봇은 정보 제공 및 간단한 상호 작용 측면에서 저렴한 비용으로 많은 인구에게 접근할 수 있는 잠재력을 가지고 있지만 예상치 못한 사용자 반응을 이해하고 적절하게 대응하는 데에는 한계가 있습니다.”
이는 Tessa가 적합한 용도를 제한하는 것처럼 보일 수 있습니다. 그렇다면 이전에 NEDA에서 사용했던 헬프라인을 어떻게 대체하게 되었습니까? 정확한 이벤트 체인은 여러 계정에서 논의 중이지만 NPR에 따르면 챗봇 호스팅 회사는 Tessa를 사전 프로그래밍된 응답을 제공하는 규칙 기반 챗봇에서 “향상된 질문과 답변 기능”.
Tessa의 최신 버전은 ChatGPT 및 유사한 제품과 마찬가지로 생성 AI를 사용하는 버전이었습니다. 이러한 고급 AI 챗봇은 보다 현실적이고 유용한 응답을 제공하기 위해 인간의 대화 패턴을 시뮬레이션하도록 설계되었습니다. 이러한 맞춤형 답변을 생성하려면 AI 모델이 다양한 기술 프로세스를 통해 "이해"하도록 훈련된 대규모 정보 데이터베이스가 필요합니다. 기계 학습, 깊은 학습 과 자연어 처리.
학습 수업
궁극적으로 챗봇은 일부 사용자의 질문에 대해 잠재적으로 유해한 답변으로 설명된 답변을 생성했습니다. 계속되는 논의에서는 책임이 한 기관에서 다른 기관으로 옮겨졌습니다. 그러나 중요한 점은 윤리적 감독을 제공하는 기관, "루프 내 인간" 및 Tessa의 원래 디자인의 명확한 목적을 고수하는 기관이 있었다면 뒤따르는 상황을 잠재적으로 피할 수 있었을 것이라는 점입니다.
다양한 시스템에 AI를 통합하려는 움직임이 급증하는 배경에서 이와 같은 사례로부터 교훈을 얻는 것이 중요합니다. 그리고 이러한 사건은 미국에서 일어났지만 다른 나라에서도 같은 일을 하려는 사람들을 위한 교훈을 담고 있습니다.
영국은 이 문제에 대해 다소 단편적인 접근방식을 갖고 있는 것으로 보입니다. 데이터 윤리 및 혁신 센터(CDEI) 자문위원회 최근에 해산되었습니다 그리고 그 자리는 새로 결성된 프론티어 AI 태스크포스(Frontier AI Taskforce)가 차지했습니다. 또한 AI 시스템이 헬프라인을 대체하지는 않지만 근로자를 지원하는 도구로 이미 런던에서 시험되고 있다는 보고도 있습니다.
이 두 가지 예는 모두 윤리적 고려 사항과 비즈니스 이익 사이의 잠재적인 긴장을 강조합니다. 우리는 결국 두 가지가 조화를 이루어 개인의 웰빙과 AI가 제공할 수 있는 효율성 및 이점의 균형을 이루기를 희망해야 합니다.
그러나 조직이 대중과 상호 작용하는 일부 영역에서는 AI가 생성한 반응과 시뮬레이션된 공감만으로는 진정한 인간성과 연민을 대체하기에 충분하지 않을 수 있습니다. 특히 의학 및 정신 건강 분야에서는 더욱 그렇습니다.
마크 차가스, 형법강사, 이스트 런던 대학교
이 기사는에서 다시 게시됩니다. 대화 크리에이티브 커먼즈 라이센스하에 읽기 원래 기사.
