ChatGPT는 사람들에게 그것이 똑똑하다는 것을 확신시키는 데 많은 성공을 거둔 것 같습니다. 그러나 실제로 그들이 그렇게 생각하도록 속인다면 어떨까요? OpenAI가 구축한 챗봇은 11 월에 출시된 이후 사회를 변화시켰고 CEO와의 결산 회의 에 자주 등장했으며 교육에서 창조 산업에 이르기까지 모든 것을 혼란에 빠뜨렸습니다. 그러나 이번 달에 발표된 인쇄 전 논문은 ChatGPT가 사람들에게 그것이 똑똑하다는 것을 확신시킬 수 있는 깔끔한 작은 트릭을 가지고 있다고 제안합니다. Purdue University의 연구원들은 소프트웨어 개발자와 엔지니어를 위한 필수 Q&A 사이트인 Stack Overflow에 게시된 517개의 질문에 대한 ChatGPT의 답변을 분석했습니다. 연구원들은 "정확성, 일관성, 포괄성 및 간결성"에 대한 봇의 응답을 평가한 후 응답의 52%가 완전히 부정확하고 77%가 장황한 쓰기 죄를 지었다는 것을 발견했습니다. 연구의 추가 부분에서는 ChatGPT 사용자가 발생하는 모든 오류에도 불구하고 놀랍게도 40%의 시간 동안 Stack Overflow에서 인간의 응답보다 질문에 대한 응답을 선호한다는 사실을 발견했습니다. 연구에 따르면 "응답이 잘못된 경우에도 ChatGPT 답변을 선호하는 이유를 묻자 참가자들은 답변의 포괄성과 명료한 언어 구조를 선호하는 이유라고 제안했습니다." 주의 사항: 이 사용자 분석에는 무작위로 추출된 2,000개의 질문보다 ChatGPT 또는 Stack Overflow에서 사람이 작성한 응답을 선호하는지 평가하라는 요청을 받은 12명의 프로그래머만 참여했습니다 . 그러나 OpenAI 자체는 봇이 "그럴 듯하지만 부정확하거나 무의미한 답변"을 작성할 수 있다고 경고했습니다. OpenAI는 정규 근무 시간 외에 연구 결과에 대한 의견 요청에 응답하지 않았습니다. Insider의 Alistair Barr와 Adam Rogers가 이번 달에 보고한 바와 같이 , Stack Overflow는 Elon Musk가 "LLM에 의한 죽음"이라고 부른 사례 연구가 되었으며 OpenAI 이후 1개월 후인 4월에는 사이트 트래픽이 전년 대비 13% 감소했습니다. 프리미엄 GPT-4 AI 모델을 출시했습니다. Purdue 연구 결과는 Stanford 및 UC Berkeley 학계의 연구에 이어 대규모 언어 모델이 점점 더 멍청해지고 있음을 나타냅니다 . ChatGPT가 많은 조사 없이 인터넷에 내장된 것처럼 보이는 속도는 AI 윤리학자와 프로그래머 사이에 경종과 짜증을 불러일으켰습니다.