목록으로
실험

유튜브 성공 공식을 이식하는 AI 비디오 & 보이스 스튜디오 구축 (유튜브 '퍼플카우'를 기계적으로 복제하기)

SeungjoonLee 11 2
게시물 메뉴

안녕하세요! 퇴근 후 취미로 코딩하고 있는 직장인 바이브코더입니다.

 

오늘은 유튜브 흥행 영상들의 성공 공식(오프닝 훅, 서사 구조, 연출)을 기계적으로 해킹하고, 이를 나만의 새로운 기획에 주입하여 기승전결 시네마틱 비디오 프롬프트 + 7개국어 대본 + Qwen3-TTS 내 목소리 복제(Voice Clone) 성우 음성을 원스톱으로 생성해 내는 비디오 제작 스튜디오를 만들어 보았습니다.

 

해당 깃허브 레포 : https://github.com/casareborgia/youtube-video-analysis.git

 

🛠️ My Vibe Coding Stack

  • Local Dev: Mac Mini M4 Pro + Ollama + Docker Compose
  • Backend: Python FastAPI + yt-dlp + Pydantic v2
  • Model : gemma4:latest (로컬 개발/분석용) 
  • Voice Engine: Qwen3-TTS (CustomVoice, 12Hz-1.7B-Base Voice Clone, VoiceDesign)
  • Target Video generators: Google Flow, Midjourney v6.1, Runway Gen-3, Kling AI
  • Frontend UI: Next.js Modern Zen 인터페이스

📝 오늘 완료된 핵심 모듈 & 마일스톤

1. 🔍 [모듈 1] 유튜브 영상 심층 분석 & 데이터 파이프라인 (yt-dlp + Gemma4)

  • 고속 스크래핑: yt-dlp 기반으로 유튜브 영상의 제목, 채널 정보, 상세 조회수/좋아요 추이, 챕터 타임라인, 자막 데이터(KO/EN), 상위 시청자 댓글 반응을 실시간으로 수집합니다.
  • 5단계 리포팅 엔진: 로컬 Ollama Gemma4를 구동해 수집된 데이터를 바탕으로 아래 항목을 정교하게 도출합니다.
    1. 제목 및 훅 구조 분석 (어떻게 1.7초 만에 사용자를 정지시켰는가?)
    2. 전개 방식 (단계별 서사 빌드업 방식)
    3. 핵심 메시지 및 인사이트
    4. 시청자 댓글 여론 및 잠재적 불편/수요 분석
    5. 내 채널에 즉시 적용할 수 있는 구체적인 실행 방안 3가지

2. 🎨 [모듈 2] AI 프롬프트 스튜디오 (성공 공식 주입 & 헐리우드 시네마틱 추론)

  • 퍼플카우 공식 자동 주입: 분석된 영상들의 공통 강점(예: '초반 5초 오프닝 훅', '4단계 빌드업', '스케일 대비 앵글')을 새로 기획 중인 주제에 프롬프트로 강제 이식합니다.
  • 카메라 앵글 & 시네마틱 조명 자동 추론(Auto-Inference): 비개발자나 전문 영상 디렉터가 아니어도, AI가 씬(Scene)의 극적 분위기를 파악해 최적의 카메라 기법(Dolly Zoom, Drone 360, Extreme Wide)과 조명(Cyberpunk Neon, Chiaroscuro, Volumetric Fog)을 적재적소에 배정합니다.
  • 타겟 AI 맞춤형 렌더링:
    • Google Flow (Veo/Imagen): 호환 서술형 프롬프트 자동 조립
    • Midjourney v6.1: --ar 16:9 --v 6.1 --style raw 등 매개변수 빌드
    • Runway Gen-3 / Kling: 물리 엔진과 모션 제어에 맞춤화된 동사 위주의 비디오 프롬프트 빌드
  • 레이턴시 극대화 (10~20초대 단축): 프롬프트 스키마를 경량화하여 LLM이 핵심 뼈대만 출력하도록 제어하고, 복잡한 문자열 조합은 Python 백엔드가 0.001초 만에 가공하여 토큰 비용을 75% 절감하고 응답 시간을 대폭 단축시켰습니다.

3. 🌐 [모듈 3] 7개국 다국어(Multilingual) 대본 창작

  • 지원 언어: 🇰🇷 한국어, 🇺🇸 English, 🇯🇵 日本語, 🇨🇳 中文, 🇫🇷 Français, 🇩🇪 Deutsch, 🇪🇸 Español
  • 타겟 국가의 자연스러운 구어체 뉘앙스와 감정선을 반영한 글로벌 비디오 내레이션 생성 모듈 구현.

4. 🎙️ [모듈 4] Qwen3-TTS & 내 목소리 학습(Voice Clone) 스튜디오

  • Voice Clone (Zero-shot): Qwen3-TTS 1.7B-Base 모델을 연동하여, 사용자의 짧은 목소리 샘플 업로드만으로 감정선이 살아있는 자연스러운 '나의 복제 목소리' 내레이션을 가동합니다.
  • Voice Design: "50대 중후반의 깊고 차분한 다큐 해설가"와 같이 자연어 묘사 기반의 가상 캐릭터 보이스를 즉석에서 설계합니다.
  • 성우 라인업 고도화: 진중한 다큐 전용 남성 보이스 Ryan, 차분한 여성 정보 전달 보이스 Sohee, 미스터리 특화 보이스 Uncle Fu, 쇼츠 특화 보이스 Vivian 탑재 완료.

5. 📤 [모듈 5] 유연한 Export 포맷 지원

  • AutoFlow-Pro (.txt): 비디오 자동화 편집 툴에서 원클릭으로 일괄 로드 가능한 줄바꿈 포맷 지원.
  • 스마트 태스크 (.csv): 씬 번호, 내레이션, 카메라 앵글, 조명 사양이 한눈에 정리된 스프레드시트 제공.
  • 워크플로우 데이터 (.json): 외부 자동화 파이프라인과의 연동을 돕는 표준 API 규격 데이터셋 출력.
  •  

🔍 오늘의 진짜 실질: 겪어낸 삽질과 해결

1. WatchFiles 루프로 인한 서버 무한 리로딩 해결

로컬에서 개발 중 음성 합성 결과물(.mp3)이 특정 미디어 디렉터리에 생성될 때마다, 파일 감시 서버(WatchFiles)가 이를 변경 사항으로 감지해 웹 서버를 무한히 재부팅시키는 치명적인 루프에 걸렸습니다. 러너 스크립트의 감시 대상에서 미디어 아웃풋 경로를 정적으로 격리하고, 서브프로세스의 타임아웃을 120초로 여유 있게 높여 서버 안정성을 완전히 확보했습니다.

 

2. 가벼운 LLM 프롬프트 조립을 통한 비용/레이턴시 혁명

초기에는 씬별 카메라 무빙, 조명, 구도, 프롬프트 문법 세부 양식을 LLM에게 전부 통으로 생성하라고 유도했더니, 생성 시간이 무려 1분을 초과하는 심각한 병목이 일어났습니다. 이를 극복하기 위해  LLM은 장면의 핵심 서사적 키워드만 빠르게 정의하고, 앵글/조명 매개변수와 미드저니/구글 플로우 공식은 파이썬 백엔드가 고속 조립(Assembly)" 하도록 파이프라인을 완전히 분리했습니다. 결과적으로 응답 시간이 10~20초대로 3배 이상 단축되었고 비용(토큰 사용량)도 75% 절감되었습니다.

 

💬 크루분들께 드리는 질문!

이제 분석부터 프롬프트 조립, 보이스 클론을 아우르는 전체 스튜디오 파이프라인 구축을 마쳤습니다. 요즘 유튜브에 이런 쇼츠가 넘쳐나는데 아마

이런설 써서 양산하는게 아닌가 싶네요. 저도 한번 편승해보고자 만들어 보았습니다^^ 주역기반 상담앱의 본격 배포작업 전 우연히 다른 커뮤니티서

yt-dlp 라이브러리를 보고 제작해 보았습니다. 다만, ai가 젬마4 여서 그런지 퀄리티가 썩 좋아보이진 않습니다.ㅠㅠ 이건 개선이 필요할듯 해요

  1. 소셜 미디어 트렌드 분석을 할 때, 시청자 댓글의 여론 분석 외에 AI가 추가로 감지하면 좋을 '비디오 성공 공식(예: 화면 컷 편집 주기, 배경 음악 톤앤매너 등)'은 무엇이 있을까요?
  2. 로컬에서 Qwen3-TTS와 같은 무거운 음성 합성 모델을 서빙하실 때, 동시성(Concurrency) 처리나 오디오 청크 스트리밍 속도를 개선하는 자신만의 노하우가 있으신가요? 👇

 

, , ,
게시물 메뉴