영어 음성 모델의 일본어 대사 환각을 걸러낸 기준

영어 음성 모델은 일본어 대사 27줄 중 23줄을 의심스럽다고 표시했고, 그 판단은 맞았습니다.

완성된 영화를 측정하면서 시험한 음성 전사에서 나온 결과입니다. 전사문 자체는 사용할 수 없었습니다. 신뢰도 판정 기준은 쓸 수 있었습니다.

이 구분이 중요합니다. 결과물 하나가 실패했다고 과정의 모든 부분이 실패한 것은 아닙니다. 이 경우 모델은 제가 믿을 수 있는 대사를 제공하지 못했지만, 자신이 만든 결과를 믿어서는 안 된다는 점은 알려줄 수 있었습니다.

실패한 시도를 기록으로 남긴 이유는 하나입니다. 나중에 같은 시도를 반복하면서 형식을 갖춘 전사문을 근거로 착각하고 싶지 않았습니다.

전사는 실제 측정 작업 흐름에 포함되지 않았습니다

완성된 제 측정 과정에서는 4개의 프로그램을 정해진 순서로 사용합니다.

첫 번째는 길이, 컷, 소리 레벨을 측정합니다.

두 번째는 각 숏에서 프레임 하나씩을 골라 번호와 분 단위 시각을 붙인 콘택트 시트를 만듭니다.

세 번째는 화면에 쓰인 자막을 추출하고 잘라내 읽기 편한 시트로 모읍니다.

네 번째는 20개 컷의 직전과 직후 프레임을 보여주며 숏 수를 확인합니다.

4개 모두 스스로 실행됩니다. 어느 것도 입력을 요청하지 않습니다.

전사 시도는 달랐습니다. 오디오를 듣고 말소리를 텍스트로 바꾸려 했습니다. 또 하나의 측정 단계처럼 들리지만, 그 결과는 다른 4개와 나란히 둘 수 없었습니다. 목소리는 일본어였습니다. 음성 모델은 영어용이었습니다. 모델은 대사를 지어냈습니다.

저는 이렇게 기록했습니다:

las voces están en japonés y
el modelo en inglés alucina. Su propia puerta de confianza marcó 23 de 27 líneas como
dudosas y acertó.

뜻은 간단합니다. 목소리는 일본어이고 모델은 영어용이라 환각을 일으킵니다. 모델 자체의 신뢰도 판정에서 27줄 중 23줄을 의심스럽다고 표시했으며, 그 판단이 맞았습니다.

이것이 시험으로 뒷받침되는 진단의 전부입니다. 모델이 왜 그렇게 작동했는지 더 넓은 기술적 설명을 할 근거는 여기에는 없습니다. 제가 가진 사실은 언어 불일치, 지어낸 전사 내용, 신뢰도 판정 결과뿐입니다.

이 3가지 사실만으로도 결과를 거부하기에 충분했습니다.

신뢰도 검사는 전사문이 하지 못한 일을 했습니다

저는 전사문이 무슨 말을 했는지 알려주기를 원했습니다. 그 역할에는 실패했습니다.

신뢰도 검사는 다른 질문에 답했습니다. 어느 줄을 의심스럽게 봐야 합니까?

27줄 중 23줄에 표시했습니다. 그 판단은 제가 들은 내용과 일치했습니다. 덕분에 그 검사는 나머지를 사용할 수 없는 작업에서 유용한 부분이 됐습니다.

표시된 줄을 자막, 대사 기록, 완성된 영화에 관한 근거로 채택할 생각은 없습니다. 문법적으로 완결된 문장처럼 보여도, 그것을 만든 시스템이 스스로 신뢰도가 낮다고 하고 실제로 들어본 내용과도 다르다면 믿을 수 없습니다.

눈에 띄는 오류 몇 개를 고쳐 결과를 살리고 싶은 유혹이 있습니다. 하지만 여기서 다룬 것은 단어 하나를 놓치거나 이름 하나를 혼동한 문제가 아니었습니다. 영어 모델이 일본어 목소리를 듣고 환각을 일으키는 문제였습니다.

그러면 결정도 달라집니다. 약간의 흠이 있는 깔끔한 전사문이 아니었습니다. 거부해야 할 결과였습니다.

화면 속 글자와 말로 한 대사는 별개의 작업입니다

실제로 사용하는 측정 작업 흐름에는 이미 화면에 쓰인 자막을 확보하는 방법이 있었습니다.

그 프로그램은 목소리를 듣지 않았습니다. 영상에서 쓰인 자막을 가져와 잘라낸 뒤 읽기 편한 시트에 배치했습니다.

전사 시도는 오디오를 들었습니다.

두 입력은 서로 바꿔 쓸 수 없습니다. 하나는 완성된 프레임에 이미 있는 글자를 읽습니다. 다른 하나는 음성에서 단어를 추론하려 합니다. 이 영화에서는 첫 번째 과정이 최종 측정 순서에 남았습니다. 두 번째는 작동하지 않는 시험으로 남았습니다.

이렇게 분리한 덕분에 잘못된 전사문이 유용한 자막 기록을 오염시키지 않았습니다.

채택 기준도 더 명확해졌습니다. 자막 시트는 화면에 보이는 글자에서 나왔습니다. 전사문은 영어 모델이 일본어 목소리를 해석한 결과에서 나왔습니다. 신뢰도 검사에서 27줄 중 23줄을 의심스럽다고 표시한 이상, 두 결과물을 똑같이 믿을 만하다고 볼 이유가 없었습니다.

신뢰도는 통과 기준이지 수정 수단이 아닙니다

신뢰도 검사가 지어낸 대사를 올바른 대사로 바꿔주지는 않았습니다.

의심스러운 23줄을 대체하지도 않았습니다. 나머지 줄을 검증하지도 않았습니다. 제가 아는 것은 의심스럽다는 판단이 옳았다는 사실뿐입니다.

이는 모델이 스스로 수정했다고 말하는 것보다 범위가 좁습니다. 모델은 스스로 수정하지 않았습니다.

제대로 작동한 것은 중단 조건이었습니다. 시스템은 결과를 만들고 신뢰도를 측정한 뒤, 제가 그 결과를 최종 측정 작업 흐름에서 제외할 만큼 충분한 경고를 제공했습니다.

자율 실행 프로그램은 중간의 모든 결정을 제게 확인해 달라고 하지 않으므로 이 기능은 중요합니다. 실제로 사용하는 4개 측정 프로그램은 아무것도 요청하지 않고 실행됩니다. 또 다른 자율 과정을 추가하려면 그 결과를 최종 측정에 포함할지 판단할 명확한 방법이 필요합니다.

이번 전사 시도에서는 신뢰도가 그 판단 근거를 제공했습니다. 27줄 중 의심스러운 줄이 23줄이라는 것은 다듬어 쓸 결과가 아닙니다. 사용을 중단해야 할 결과입니다.

실패를 문서로 남겼습니다

아무도 반복하지 않도록 이 전사 시도는 작동하지 않는다고 적었습니다.

그 경고를 남기는 일도 결과의 일부입니다.

기록이 없으면 나중에 같은 아이디어로 돌아와 음성 모델이 대사 전체를 만들어내는 것을 보고 같은 경로를 다시 시험하느라 시간을 낭비할 수 있습니다. 실패한 전사문도 텍스트 형태로 나오므로 비교하기 전에는 쓸 만해 보일 수 있습니다. 과정 내부에서 문제를 드러낸 것은 신뢰도 검사였습니다.

저는 두 측면을 모두 보존했습니다.

영어 모델은 일본어 목소리에서 대사를 지어냈습니다.

모델 자체의 신뢰도 검사는 27줄 중 23줄을 의심스럽다고 표시해 실패를 포착했습니다.

저는 두 번째 결과를 신뢰합니다. 첫 번째 결과는 거부합니다.

모순이 아닙니다. 서로 다른 질문에 답하는 서로 다른 결과물입니다.

채택 기준

이 영화에서 해당 영어 모델의 음성 전사문은 최종 측정 과정에 포함되지 않습니다.

채택한 순서는 여전히 4개의 자율 실행 프로그램입니다. 길이, 컷, 소리 레벨을 측정하고, 숏마다 프레임 하나씩 담은 콘택트 시트를 만들고, 화면에 쓰인 자막을 추출하고, 컷 전후 프레임 20쌍을 기준으로 숏 수를 보정합니다.

거부한 경로도 그 옆에 기록으로 남아 있습니다.

여기서 “포착했다”는 말은 그런 뜻입니다. 신뢰도 검사는 일본어 전사를 해결하지 않았습니다. 지어낸 대사가 영화의 측정 결과로 받아들여지는 것을 막았습니다.

오늘 이미 내용을 검증한 비영어 클립 하나를 음성 모델에 넣어보십시오. 전사문을 실제 작업에 사용하기 전에 신뢰도가 낮은 모든 줄을 확인된 원본과 대조하십시오.

---

방금 하나의 숏을 이루는 결정들을 하나씩 살펴봤습니다. 어느 것도 우연히 그 자리에 놓이지 않았습니다.