누구보다 잘 알아듣는 목소리, 화면 속 가족의 얼굴 — 우리는 그곳에 가장 자연스러운 신뢰를 두었다. 생성형 AI는 음성 메시지 하나만으로 그 둘을 몇 초 만에 재현한다. 흔들리는 것은 기술적 장치가 아니라 더 오래된 무엇, 곧 우리 자신의 감각에 대한 믿음이다. 그리고 기계가 우리를 흉내 낼수록, 우리는 뒤바뀐 요구 앞에 선다. 자신이 정말 인간임을 증명하라는 요구.
1 신뢰의 왕좌, 목소리
배경 : 위조 불가능하다고 여겨진, 신원으로서의 몸.
배경
「내 목소리가 곧 비밀번호다」
오랫동안 목소리와 얼굴만큼 확실해 보이는 것은 없었다. 은행은 음성 지문을 열쇠로 삼았고 — 「내 목소리가 곧 비밀번호」 —, 기업은 화상통화를 상대가 진짜 그 사람이라는 궁극의 증거로 여겼다. 음색을 알아듣고 표정을 읽는 이 오래된 행위는 위조 불가능해 보였다. 인간의 몸을 설득력 있게 흉내 내는 일은 늘 손이 닿지 않는 영역이었기 때문이다. 현대의 생체인식은 그 신뢰를 제도화했을 뿐이다. 위조 불가능하다고 여겨진, 신원으로서의 몸.
2 5초면 충분하다
전환점 : 기술적 장벽이 무너진다.
전환점
3초에서 5초의 녹음
그 불가능은 사라졌다. 목소리 복제에는 이제 아주 짧은 표본이면 된다 — 3초에서 5초, 음성 메시지 하나, 스토리 하나, 받은 「여보세요」 한 마디의 길이다. 그로부터 생성 모델은 음색과 억양, 심지어 머뭇거림까지 재현하고, 그 목소리가 한 번도 하지 않은 말을 하게 만든다. 한때 엄청났던 비용이 몇 번의 클릭으로 떨어졌다. 우리의 음성 신원을 지키던 장벽은 자연법칙이 아니었다. 단지 기술적 어려움이었고, 방금 무너졌다.
3 얼굴도 마찬가지
확대 : 제 눈으로 보는 것으로는 더 이상 부족하다.
확대
통째로 조작된 화상회의
얼굴도 나을 것이 없다. 2024년, 한 대형 엔지니어링 회사 직원은 화상회의 뒤 2,500만 달러를 송금했다. 재무책임자와 여러 동료가 지시를 내렸지만 모두 딥페이크였고, 실제 참가자는 그 한 사람뿐이었다. 이 장면이 전환을 요약한다. 「제 눈으로 보고」 「제 귀로 듣는」 것으로는 더 이상 현실을 확인할 수 없다. 사기는 이제 자물쇠를 따지 않는다. 얼굴을 빌린다.
탈취, Arup (홍콩)
2,500만 달러
2024년 ; 화상회의의 실제 참가자는 단 한 명, 나머지는 모두 조작.
에너지 기업 CEO (영국)
22만 유로
2019년 ; 전화로 복제된 목소리에 의한 최초의 알려진 탈취 중 하나.
4 값이 사라진 신호
이론의 핵심 : 신뢰는 비용의 문제였다.
신호 이론
신호는 위조 비용만큼만 가치가 있다
왜 목소리는 신뢰를 주었나 ? 마법이 아니라 경제 때문이다. 마이클 스펜스(2001년 노벨상)가 정식화하고 생물학자 아모츠 자하비의 「핸디캡 원리」가 밝힌 신호 이론은 단순한 규칙을 말한다. 신호는 위조하기에 비쌀 때에만 신뢰받는다. 학위가 능력을 증명하는 것은 얻기 어렵기 때문이고, 공작의 꼬리가 활력을 알리는 것은 튼튼한 개체만이 감당하는 짐이기 때문이다. 목소리와 얼굴도 같았다. 흉내 내려면 거의 불가능한 노력이 들었기에 사람을 식별했다. AI가 그 비용을 지웠다. 이제 만들기만큼 위조하기 쉬워진 신호는 참과 거짓을 가르기를 멈춘다 — 아무것도 신호하지 않는다.
결과
위조가 공짜가 되면, 그것은 단지 사기 하나가 느는 것이 아니다. 신뢰의 체계 전체가 근거를 잃는다. 「보고 듣는 것」에 기댄 모든 증거는, 여전히 위조하기 어려운 비용 위에 다시 세워야 한다.
5 규모
측정 : 사기가 규모를 바꾼다.
측정
교과서 사례에서 산업적 사기로
숫자가 전환의 속도를 말한다. 업계 추정에 따르면 음성 딥페이크 피해 기업은 건당 평균 약 60만 달러를 잃고, 네 곳 중 한 곳 가까이는 100만 달러를 넘긴다. 딜로이트는 생성형 AI가 가능케 한 사기가 2027년 미국에서 400억 달러에 이를 것으로 본다. 2023년 123억 달러에서다. 합성 음성 공격은 폭증했다 — 일부 집계로는 2025년 1분기에 +1,600 % 수준 —, 성인 열 명 중 한 명은 이미 복제된 목소리 사기를 겪었다고 답한다. 위협은 더 이상 개별 사례가 아니다. 산업이 되었다.
음성 딥페이크 평균 피해
~60만 달러
기업 건당 ; 약 23 %가 100만 달러 초과 (업계 추정).
노출된 사람
10명 중 1명
성인이 복제 목소리 사기를 겪었다고 답함 ; 표적이 된 이들 중 다수가 피해를 보고.
6 거짓말쟁이의 배당
이면 : 무엇이든 조작될 수 있다면, 무엇이든 부정될 수 있다.
양날의 칼
목소리가 두 기능을 한꺼번에 잃다
복제는 양날의 칼이다. 한편으로 가짜가 진짜로 통한다. 사기다. 다른 한편으로 진짜가 가짜로 치부된다. 「무엇이든 조작될 수 있다」면, 카메라에 잡힌 범인도, 불리한 녹음도, 진짜 자백도 모두 「딥페이크야」 한마디로 지워질 수 있다. 이것이 우리가 다른 곳에서 다룬 「거짓말쟁이의 배당」이다. 의심은 공짜, 증명은 비싸다. 목소리는 이렇게 두 기능을 한 몸짓으로 잃는다 — 더 이상 신원을 증명하지 못하고, 더 이상 고발하지 못한다.
뒤바뀐 입증 책임
우리는 이를
거짓말쟁이의 배당에서 살폈다. 가짜가 감지 불가능해지면, 스스로를 정당화해야 하는 것은 진실이다. 노력의 비대칭 — 반박은 비방보다 훨씬 비싸다 — 이 현실을 겨눈다.
7 인간임을 증명하기
반전 : 입증 책임이 편을 바꾼다.
뒤집힌 시험
기계가 우리에게 치르게 하는 시험
여기 반전이 있다. 지난 20년간 웹사이트에 들어가려면 「나는 로봇이 아닙니다」에 체크하고 일그러진 글자를 풀어야 했다. 캡차(CAPTCHA), 그 이름은 문자 그대로 「컴퓨터와 인간을 구별하기 위한 완전 자동화된 공개 튜링 테스트」를 뜻한다. 다시 말해, 우리를 판정하는 기계다. 앨런 튜링이 상상한 시험은 인간에게 기계의 정체를 밝히라 했지만, 캡차는 처음부터 역할을 뒤집었다. 그리고 이제 AI는 이 시험을 우리보다 빠르고 정확하게 푼다. 입증 책임이 통째로 넘어간다. 기계가 자신이 생각함을 증명할 차례가 아니라, 인간이 자신이 존재함을 증명할 차례다.
8 누가 누구를 통제하는가 — 올트먼의 역설
현기증의 화신 : 불을 지른 자가 소화기를 판다.
현기증
인간을 도용할 도구를 만들고, 이제 생명을 인증하다
이 반전은 얼굴을 얻는다. 생성형 AI를 — 곧 인간을 흉내 내는 도구를 — 모두의 손에 쥐여 준 기업의 수장 샘 올트먼이, 이제 생명을 인증하겠다고 나선다. 그의 프로젝트 World는 「오브(Orb)」로 홍채를 스캔해 12,800자리 코드를 뽑아 진짜 사람임을 보증한다. 2026년 완전한 「인간 증명」으로 소개된 이 인프라는 이미 틴더, 줌, 도큐사인 같은 서비스에 연결되고 기업에 요금을 부과한다. 1,800만 명 가까이가 이에 응했다. 역설은 선명하다. 흉내를 손쉽게 만든 이가 그 해독제를 팔고, 그 해독제는 생체정보를 사기업에 넘기라 요구한다. 지지자들은 위협을 이해하는 이만이 방어를 세울 수 있고, 이 방식은 소지자의 인간됨 외에는 아무것도 드러내지 않도록 설계되었다고 말한다. 비판자들은 이를 생체 인질이자 인류의 문지기를 자처하는 사기업으로 본다 — 아시아, 아프리카, 유럽의 여러 나라가 그 수집을 중단시키거나 금지했다. 근본 질문은 남는다. 누가 누구를 통제하는지 알 수 없다.
9 반격
경주 : 암호학에서 가족 암호까지, 비용을 다시 세우기.
끝없는 경주
두 전선, 하나는 정교하고 하나는 소박하다
흉내에 맞선 방어는 두 전선에서 짜인다. 첫째는 기술적이다. 콘텐츠에 암호학적 출처를 서명하기(C2PA 표준, 보이지 않는 워터마크), 신원을 드러내지 않고 인간임을 증명한다는 「인격 증명서」를 발급하기, 타건 리듬이나 마우스 움직임 같은 행동 신호를 읽어 지속적으로 인증하기. 둘째는 뜻밖에 소박하다. 걸려온 전화를 믿는 대신 은행 공식 번호로 직접 다시 걸기, 가족끼리 비밀 암호를 정해 두기, 서두르게 만드는 급박함을 경계하기. 어느 것도 최종 해답은 아니다. 흉내 내는 자와 확인하는 자 사이의, 결승선 없는 경주다.
10 한계와 균형
균형 잡힌 시선 : 신뢰는 옮겨 갈 뿐 사라지지 않는다.
균형 잡힌 시선
공황도 맹목도 아닌
두 극단을 경계해야 한다. 첫째는 종말을 외치는 것이다. 신뢰는 사라지지 않고 옮겨 간다 — 어제는 목소리로, 내일은 다른 증거로, 밀랍 봉인에서 자필 서명으로, 다시 일회용 코드로 옮겨 갔듯이. 둘째는 생체 해법을 무조건 찬양하는 것이다. 인간임을 증명하려 홍채나 몸짓을 넘기는 일은 새로운 종속과 탐나는 데이터베이스를 만들고, 오탐은 진짜 인간을, 흔히 가장 취약한 이들을 배제한다. 끝으로 부담은 모두에게 같지 않다. 기업은 인증 장치를 감당할 수 있지만, 고립된 개인은 훨씬 덜하다. 쓸모 있는 경계심은 공황도 맹목도 아니라, 각 방어가 무엇을, 누구에게 치르게 하는지에 대한 명료함이다.
11 증거를 다시 세우기
맺음 : 신원은 목소리가 아니라, 그것을 흉내 내기 어려움이었다.
역설의 의미
우리의 신원은 목소리가 아니라, 그것을 위조하기 어려움이었다
결국 교훈은 거의 철학적이다. 우리를 식별한 것은 목소리나 얼굴 그 자체가 아니라, 그것을 위조하는 데 드는 거의 무한한 비용이었다. 그 비용이 무너진 지금, 옛 증거를 아쉬워해도 소용없다. 흉내가 아직 넘지 못하는 토대 위에 다른 증거를 다시 세워야 한다 — 그리고 그 열쇠를 누가 쥘지 물어야 한다. 그러니 올바른 질문은, 우리 감각이 더는 답할 수 없는 「진짜인가 ?」가 아니라 「무엇이 증거를 다시 위조하기 비싸게 만드는가, 그리고 우리의 자유는 어떤 대가를 치르는가 ?」이다. 인간임을 증명하는 일이 자유를 포기하는 일이어서는 안 된다.
나침반
①
신호는 위조 비용만큼만 가치가 있다. 목소리와 얼굴은 거의 흉내 낼 수 없었기에 식별했다. AI가 그 비용을 지웠고, 신호는 무너져 참과 거짓을 가르지 못한다.
②
위험은 이중이다. 가짜가 진짜로 통하고(이미 수십억 규모의 사기), 진짜가 가짜로 부정된다(거짓말쟁이의 배당). 의심은 공짜, 증명은 비싸다.
③
반전은 권력을 묻는다. 인간임의 증명이 이제 기계를 거치고, 때로 흉내를 손쉽게 만든 바로 그들이 판다. 진짜 질문은 누가 누구를 통제하는가, 그리고 사생활은 어떤 대가를 치르는가이다. 이 자료는 논쟁을 정리하며, 조언이 아니다.
함께 읽기 : 거짓말쟁이의 배당, 지금 수집하고, 나중에 해독한다, 당신의 데이터가 당신의 가격을 정할 때. 참고 : 약어 & 기호 (AI, C2PA).