생각의 시작에 따라 일의 수고로움이 달라집니다

처음부터 AI에게 일을 맡기면 일이 더 힘들어집니다. (feat. 논문)

내 생각을 위한 마찰을 먼저 만들어야 합니다.

요즘 AI와 함께 일하는 것은 더 이상 특별한 일이 아닙니다. 메일 답장도, 기획서 초안도, 회의 정리도 일단 AI에게 먼저 맡겨 보죠. 솔직히 말하면 귀찮아서입니다. 머릿속으로 정리하는 것보다 「이거 해 줘」 한 줄을 치는 게 훨씬 빠르니까요.

그런데 우리는 경험적으로 알고 있습니다. 그렇게 받은 결과물은 처음엔 그럴듯해 보이지만, 읽다 보면 이상한 부분이 하나씩 눈에 띕니다. 내가 하려던 말과 조금 다르고, 강조하고 싶던 부분은 빠져 있고, 굳이 없어도 되는 문장은 들어가 있죠. 그래서 하나씩 고치기 시작합니다. 그러다 보면 어느새 끝도 없이 고치고 있는 나를 발견하게 됩니다. 처음부터 내가 쓰는 게 더 빨랐겠다는 생각이 들 만큼.

그렇다고 적당한 데서 그냥 내보내면 사람들은 금방 알아봅니다. 「이거 AI로 만든 거죠?」라고요. 이렇게 그럴듯하지만 알맹이가 없는 결과물을 요즘 AI 슬롭(AI slop), 즉 AI로 손쉽게 대량으로 만들어 낸 품질 낮은 콘텐츠라고 부릅니다.

슬롭(slop)은 원래 돼지에게 주는 음식 찌꺼기를 뜻하는 영어 단어입니다. 양은 많은데 아무도 공들여 만들지 않은 것, 그래서 누구에게도 맞춰져 있지 않은 것이라는 뜻으로 AI 결과물에 붙었습니다.

ChatGPT 생성 이미지

그런데 최근에 흥미로운 논문을 하나 발견했습니다. 바로 우리가 겪는 이 문제를 실험으로 확인한 연구입니다.

구글 딥마인드는 AI가 먼저 쓰지 못하게 막았습니다

10월 1일 구글 딥마인드 연구진이 「누가 먼저 생각하는가?(Who Thinks First?)」라는 논문을 공개했습니다. 실험은 이렇게 진행됐습니다.

1. 참가자 398명에게 「주 4일 근무」에 대한 자기 주장을 담은 글을 쓰게 했습니다. 200단어 이상이었고, 참고할 자료 요약 4개(찬성 근거 2개, 비판 근거 2개)를 함께 줬습니다.
2. 참가자를 네 집단으로 나눴습니다. AI 없이 혼자 쓰는 집단 처음부터 글을 대신 써 주는 AI를 쓸 수 있는 집단 — 우리가 평소에 쓰는 방식입니다 처음에는 되묻기만 하는 AI만 쓸 수 있는 집단 — 이 AI는 입장도, 근거도, 문장도 대신 주지 않습니다. 「자료에서 무엇이 눈에 띄나요?」처럼 질문만 돌려줍니다. 참가자가 글에 자기 입장과 그 입장을 받치는 근거 하나를 직접 쓰고 나면, 그때 글을 써 주는 AI가 열립니다 세 번째 집단과 같은 시간이 지나면 글을 써 주는 AI가 열리는 집단 — 내가 얼마나 썼는지와는 상관없이 시간만 맞췄습니다
3. 글을 낸 뒤에는 AI가 쓴 짧은 글 8개를 AI 도움 없이 검토하게 했습니다. 절반은 멀쩡했고, 나머지 절반은 자료를 왜곡했거나 논리가 비약된 글이었습니다. 참가자는 글마다 맞는지 틀린지, 틀렸다면 왜 틀렸는지를 골라야 했죠.
4. 연구진은 단계마다 걸린 시간, AI에게 보낸 질문 수, 최종 글에 AI 문장을 그대로 옮긴 비율, 그리고 검토 정확도를 측정했습니다.

연구진은 세 번째 집단의 방식을 생산적 마찰(productive friction), 즉 사람이 생각해야 할 자리에 일부러 남겨 둔 작은 수고라고 부릅니다.

보통 마찰은 없애야 할 것으로 여깁니다. 버튼을 한 번 덜 누르게, 단계를 하나 덜 거치게 만드는 것이 좋은 설계라고 배우죠. 생산적 마찰은 그 반대입니다. 모든 마찰을 없애지 않고, 사람이 직접 생각해야 하는 지점에만 일부러 마찰을 남겨 둡니다.

위에서부터 AI 없이 쓰는 집단, 처음부터 AI가 써 주는 집단, 되묻는 AI와 시작해 내가 먼저 쓰면 열리는 집단, 시간이 지나면 열리는 집단입니다. ChatGPT 생성 이미지

걸린 시간은 같았지만 각자 다르게 활용되었습니다

그렇다면 결과는 어땠을까요? 먼저 전체 작업 시간은 거의 차이가 없었습니다. 처음부터 AI를 쓴 집단과 먼저 쓰고 나서 AI를 연 집단 모두 약 45분이 걸렸죠.

그런데 그 45분을 어디에 썼는지는 완전히 달랐습니다.

• 먼저 쓴 집단은 글을 쓰는 데 4.8분을 더 썼습니다(28.0분 대 23.3분).
• 대신 AI 글을 검토하는 데는 4.8분을 덜 썼습니다(17.4분 대 22.2분).

논문에 실린 그림입니다. 왼쪽이 글쓰기, 오른쪽이 검토에 걸린 시간입니다. 진한 파란 선이 먼저 쓰고 나서 AI를 연 집단, 주황 선이 처음부터 AI를 쓴 집단입니다.

그렇다고 AI를 덜 쓴 것도 아니었습니다. 오히려 먼저 쓴 집단은 AI에게 질문을 두 배 넘게 보냈습니다(평균 7.7개 대 3.4개). 그런데 최종 글에 AI 문장을 그대로 옮긴 비율은 47%에서 27%로 줄었습니다. AI와는 더 많이 대화했는데, 글은 더 자기 것이었던 셈이죠.

또한 검토에서도 차이가 났습니다. 전체적으로 맞힌 비율은 집단끼리 비슷했습니다. 다만 틀린 글을 찾아낸 뒤 왜 틀렸는지까지 맞힌 비율은 90%와 78%로 갈렸습니다.