멘토링 1회차 (26.05.23)

1교시 방향성 잡기
멘토님은 개발자 관점이 아니라 고객 사용자 관점에서 왜 만드는가, 무엇을 하는가, 어떤 가치를 주는가를 먼저 정의하라고 하셨습니다. 기승전결 구조의 스토리텔링을 우선 확립하자는 얘기였습니다.

음성(Audio) 처리는 이번 프로젝트에서 제외하기로 했습니다. 한국어 딥페이크 데이터셋이 절대적으로 부족하고, STT 정확도도 사투리 감정 인식 등에서 현실적으로 한계가 있기 때문입니다. 대신 FaceForensics, Celeb-DF처럼 확보하기 쉬운 글로벌 데이터셋을 써서 영상 이미지 기반 딥페이크 탐지에 집중하기로 했습니다. 컴퓨팅 자원과 비용 제약 때문에 대형 모델을 직접 학습하기보다는, 경량 오픈소스 사전학습 모델로 PoC와 시스템 구현에 집중하기로 합의했습니다.

멘토님이 강조하신 포인트도 몇 가지 있었습니다. 제안서는 기술 욕심을 빼고 고객이 필요로 하는 비즈니스 요구만 구체적으로 써야 합니다. 듣는 사람이 스스로 납득해야 잘 만든 프로젝트가 됩니다. AI에서 정확도는 핵심인데, 30퍼센트에서 60퍼센트로 올리는 건 비교적 쉽지만 90퍼센트 이상 상용화 수준은 초기 구축 이상의 리소스와 비용이 듭니다. 그래서 목표 정확도와 현실적 범위를 팀에서 먼저 합의해야 한다고 하셨습니다.

RAG 파이프라인에 대한 이야기도 나왔습니다. 단순 생성형 API 호출을 넘어 특정 도메인 정보를 쓰려면 STT 후 RAG로 주기적으로 데이터를 재학습시키는 구조가 필요하다는 설명이었습니다. 이번엔 음성을 빼지만, 나중에 확장할 때 이 개념이 기반이 된다고 하셨습니다.

그리고 가장 인상 깊었던 말입니다. AI가 만든 결과물은 내 것이 아니다. 그것을 이해해야 비로소 내 것이 된다. Thinking은 내 의도를 프롬프트로 명확히 전달하는 능력이고, Understanding은 생성된 결과의 구조를 해석하고 내재화하는 능력입니다. AI가 짠 코드를 그대로 가져오지 말고, 라인 하나하나까지는 몰라도 데이터가 어디서 와서 어떻게 화면에 표시되는지는 반드시 알아야 한다고 하셨습니다.

필수 산출물도 안내받았습니다. 프로젝트 계획서, 서비스 구성도, 시스템 아키텍처, 클라우드 아키텍처 순서로 가야 하고, 서비스 구성도 없이 클라우드 아키텍처를 먼저 그리는 것은 안 된다고 하셨습니다.

2교시 AI 기초와 로드맵
1교시 직후 팀에서 이야기를 나눴고, 음성 제외가 가장 큰 타격으로 느껴졌습니다. 해외 정치인으로 가면 데이터는 가능하다는 의견도 있었지만, 현실적인 한계 때문에 제외 방침은 유지했습니다.

멘토님이 ML, DL, LLM 개념을 정리해 주셨습니다. 머신러닝은 데이터의 특징을 학습해 분류, 예측, 생성과 추론 모델을 만드는 과정입니다. 딥러닝에서는 CNN이 이미지의 특징을 뽑아 인식하고, RNN과 LSTM은 순차 데이터와 문맥을 다루며, GAN은 생성자와 판별자가 경쟁하며 진짜 같은 가짜를 만드는 딥페이크의 핵심 원리라고 하셨습니다. Transformer가 이 한계들을 넘어서 지금의 LLM 시대를 열었다고도 하셨습니다.

CycleGAN으로 아이유 목소리를 만들려다 실패한 사례도 들었습니다. 유튜브와 라디오에서 노래가 아닌 발화만 수작업으로 모았는데, 1시간 분량에서 쓸 만한 음성은 5분에서 10분뿐이었고, 결국 기간 대부분을 데이터 수집에 쓰고 문장 한 개 생성하는 데 그쳤다고 합니다. 한국어 음성 딥페이크가 왜 어려운지 피부로 와닿는 이야기였습니다.

당시 확정 방향은 딥페이크 영상 이미지 탐지 웹 서비스였습니다. 웹캠 실시간 판별이거나 유튜브 URL 입력 후 진위 판별, 결과 시각화와 리포트 제공을 목표로 잡았습니다.

로드맵은 약 2개월 반으로 잡았습니다. 1주차부터 3주차까지는 Python, PyTorch, CNN, HuggingFace로 기술 검증과 사전 학습을, 4주차는 기능 정의와 WBS를, 5주차부터 8주차까지는 모델 비교와 KPI, 웹 서비스 연동을, 9주차는 배포와 MLOps LLMOps 파이프라인까지 가는 그림이었습니다. 요건 정의는 무엇을 하겠다는 상위 정의이고, 기능 정의는 그걸 구현 가능한 단위로 쪼개는 것이라 둘을 헷갈리지 말라고 하셨습니다.

멘토님은 지금 여러분은 기승전결에서 중간만 갖고 왔다고 하셨습니다. 참과 거짓 판별만으로는 부족하고, 왜 필요한지인 페인포인트, 어떻게 해결하는지인 솔루션, 사용자에게 어떤 가치를 주는지인 밸류까지 팀이 스스로 채워야 한다는 말씀이었습니다. 모델도 무작정 고르지 말고 여러 개를 테스트해 KPI로 비교한 뒤, 왜 A를 쓰고 B를 쓰는지 설명할 수 있어야 한다고 하셨습니다. 9주차 배포는 끝이 아니라 서빙, 검증, 재학습, 재배포를 자동화하는 파이프라인의 시작이라고도 하셨습니다.

3교시 AGI, CoT, AI Ops
AI에서 AGI, ASI로 가는 흐름과 OpenAI의 AGI 5단계를 들었습니다. 1단계는 Chatbot, 2단계는 Reasoning(CoT), 3단계는 Agent(실행), 4단계는 Innovator(창조), 5단계는 System Organization입니다. 현재 기술은 Agent 단계까지 와 있다고 하셨습니다. 챗봇, 어시스턴트, 에이전트 차이는 직접 찾아보라고 하셨고, 기획할 때 우리가 만드는 게 어느 수준인지 분명히 해야 한다고 하셨습니다.

CoT는 NVIDIA GPU 공급량 질문 예시로 설명하셨습니다. 무료 버전은 바로 피상적인 답을 주고, 유료 CoT 적용 버전은 모델과 기업 범위 등을 물어가며 리포트 수준까지 만든다는 이야기였습니다. AI와 핑퐁하듯 주고받으면 결과가 훨씬 정밀해진다고 하셨습니다.

AI Ops는 한 번 하고 끝나는 게 아니라, 가설 수립부터 배포와 확장까지 돌고 다시 가설로 돌아가는 사이클이라고 하셨습니다. 2개월 반 뒤 서비스를 열었다고 끝이 아니라, 운영 중 데이터와 모델 업그레이드로 이 사이클을 계속 돌려야 하고, 그 자동화가 MLOps LLMOps, 통칭 AI Ops라고 하셨습니다.

아이디어가 없는 게 진짜 문제라는 말도 기억에 남습니다. 기술 제약은 AI 덕분에 많이 줄었고, 이제 한계는 아이디어의 부재라는 말씀이었습니다. 뻔한 스토리는 AI도 만들 수 있으니, 사람이 가져야 할 건 AI가 못 배운 창의적 연결과 기획력이라고 하셨습니다. AI를 이기는 게 아니라 AI 시대에서 어디에 설지를 준비해야 한다는 이야기도 함께 나왔습니다.

4교시 주제 발표와 피드백
팀은 두 안을 발표했습니다. 1안은 유튜브 URL이나 MP4를 넣으면 딥페이크 여부를 단계적으로 판정하고 근거와 의심 구간을 시각화하는 범용 판독 플랫폼이었고, 음성은 제외했습니다. 2안은 정치와 선거를 타겟으로 영상 음성 딥페이크와 뉴스 팩트체크까지 가는 플랫폼이었습니다.

멘토 피드백은 꽤 날카로웠습니다. 두 주제 모두 URL을 넣는 방식이 비슷해서 차별점이 불명확하다고 하셨고, 2안에서 영상이 정치 뉴스인지 아닌지 판단하는 기준이 없다고 지적하셨습니다. 정치인이 표준 발음을 써서 음성 학습이 가능하다는 전제도, 사투리와 데이터 부족 때문에 회의적이라고 하셨습니다.

사용성 문제도 컸습니다. 스마트폰으로 유튜브를 보다가 URL을 복사해 다른 웹으로 가서 붙여넣고 기다렸다가 다시 돌아가는 과정은 너무 불편하고, 딥페이크가 위험하다는 이유만으로는 그 불편을 감수하게 만들기 어렵다고 하셨습니다. UI도 웹만 보고 모바일을 안 봤다는 점도 지적받았습니다.

탐지만으로는 프로젝트 볼륨이 작고, 서비스로 가려면 왜 써야 하는가에 대한 설득이 필요한데 그게 부족하다는 평가였습니다. URL 복붙 대신 플러그인이나 전용 플레이어처럼 시청 환경에 자연스럽게 녹아드는 형태를 검토해 보라고 제안하셨습니다.

피드백 후 팀에서 Zoom 면접과 시험 감독, 보이스피싱 영상통화, 비대면 본인인증, 원본 영상 전용 플레이어, SNS 도용 알림 같은 아이디어를 나눴습니다. 멘토님은 타겟이 뉴스든 면접이든 인증이든 핵심 기술은 같고, 앞단에 어떤 서비스를 붙이느냐에 따라 스토리가 달라진다고 정리하셨습니다. 페르소나와 엔드투엔드 사용 시나리오를 먼저 확정하고, 그다음에 기술 스택을 맞추라고 하셨습니다.

5교시 문제 정의
4교시 이후에도 방향이 잘 안 잡혀 5교시에 들어갔습니다. 확장 프로그램, Zoom 감지, 보이스피싱 앱 등 아이디어는 많았지만 쓸 사람이 있을까, 볼륨이 너무 작다에서 계속 막혔습니다.

멘토님은 딥페이크라는 단어에서 벗어나라고 하셨습니다. 딥페이크를 빼고 AI로 만들고 싶은 서비스가 뭔가부터 생각하면, 오히려 딥페이크가 자연스럽게 붙을 자리가 보인다는 말씀이었습니다. 가장 자연스럽게 붙는 곳은 얼굴 인증이고, 출입 통제, 계좌 개설, 비대면 의료처럼 인증이 메인인 서비스에 딥페이크 탐지를 보호 수단으로 붙이는 구조가 설득력 있다고 하셨습니다. 일반 사용자가 귀찮아서 안 쓸 B2C보다, 기업이 돈을 내고라도 도입할 B2B 니즈를 보라는 조언도 있었습니다.

멘토님이 나가신 뒤 팀은 딥페이크가 실제로 악용되는 분야를 금융, 의료, 법적 증거, 공공, 부동산, 교육, 국방과 정치, 언론, 성범죄, 브랜드와 기업 등으로 나눠 정리했습니다. 이 조사가 다음 주 과제의 기반이 됩니다.

다음 주까지 할 일
화요일 전까지는 카테고리별 피해 사례를 노션에 정리하고, 페인포인트 기반으로 누구의 어떤 문제를 푸는가에서 시작하는 솔루션을 기획합니다. 웹사이트, B2B SaaS, 설치형, 플러그인 중 어떤 형태로 운영할지도 정해야 합니다. 블로그도 작성합니다.

다음 주에는 기능 정의와 WBS, 서비스 구성도 초안, 프로젝트 계획서 초안을 잡습니다. 병행해서 Python, PyTorch, CNN 기초와 HuggingFace 사전학습 모델 탐색, 딥페이크 탐지 논문과 레퍼런스 조사, 챗봇 어시스턴트 에이전트 차이 정리도 시작합니다.

소감
첫 멘토링에서 가장 크게 남은 말은, 판별 기능만 있으면 기승전결의 중간만 있는 것이라는 점과, AI가 만든 결과물은 이해해야 내 것이 된다는 말이었습니다. 딥페이크라는 기술 키워드에 매몰되지 말고, 누구의 어떤 문제를 푸는 서비스인지부터 다시 잡아가기로 했습니다.