Agentic AI Workflow

전체 워크플로우

Gemini로 쇼츠 대본 생성

import { GoogleGenAI } from '@google/genai';

async function generateScript(topic: string) {
  const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY });

  const result = await ai.models.generateContent({
    model: 'gemini-2.5-pro',
    contents: [{
      role: 'user',
      parts: [{ text: `
        당신은 역사 다큐멘터리 작가입니다.
        '포레스트 검프' 스타일로 역사적 순간을 평범한 사람의 시선에서 전해주세요.

        주제: ${topic}
        길이: 2분 (약 300단어)
        형식: 5개 장면, 각 장면에 [장면 N: 이미지 설명]과 내레이션 포함

        JSON 형식으로 반환:
        {
          "title": "영상 제목",
          "scenes": [
            { "sceneNumber": 1, "imagePrompt": "이미지 생성 프롬프트", "narration": "내레이션" }
          ]
        }
      ` }]
    }],
  });

  return JSON.parse(result.response.text());
}

TTS 음성 합성

import ElevenLabs from 'elevenlabs';

const client = new ElevenLabs({ apiKey: process.env.ELEVENLABS_API_KEY });

async function generateNarration(text: string) {
  const audio = await client.textToSpeech.convert({
    voice_id: 'pNInz6obpgDQGcFmaJgB', // Adam (한국어 지원)
    model_id: 'eleven_v3', // 최신 다국어 모델
    text: text,
    voice_settings: {
      stability: 0.5,
      similarity_boost: 0.75,
    },
  });

  // audio는 ReadableStream
  const chunks = [];
  for await (const chunk of audio) {
    chunks.push(chunk);
  }
  return Buffer.concat(chunks);
}

장면별 이미지 생성

async function generateSceneImage(prompt: string) {
  const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY });

  const result = await ai.models.generateImages({
    model: 'imagen-3.0-generate-002',
    prompt: `Historical illustration, cinematic style: ${prompt}`,
    config: {
      numberOfImages: 1,
      aspectRatio: '9:16', // 쇼츠용 세로 화면
    },
  });

  // base64 이미지 반환
  return result.generatedImages[0].image.imageBytes;
}

Ken Burns 효과로 비디오 생성

import ffmpeg from 'fluent-ffmpeg';

async function assembleVideo(images: string[], audioPath: string, outputPath: string) {
  // 각 이미지에 Ken Burns 효과 (줌/팬) 적용
  const duration = 24; // 2분 = 120초, 5장면 = 각 24초

  return new Promise((resolve, reject) => {
    let command = ffmpeg();

    // 각 이미지 입력 (Ken Burns 효과)
    images.forEach((img, i) => {
      command = command
        .input(img)
        .inputOptions(['-loop 1', `-t ${duration}`]);
    });

    command
      .input(audioPath) // 오디오 입력
      .complexFilter([
        // 각 이미지에 줌인 효과
        ...images.map((_, i) =>
          `[${i}:v]scale=1920:1080,zoompan=z='min(zoom+0.001,1.2)':d=${duration * 30}:s=1080x1920[${i}v]`
        ),
        // 모든 비디오 연결
        `[${images.map((_, i) => `${i}v`).join('][')}]concat=n=${images.length}:v=1:a=0[outv]`,
      ])
      .outputOptions([
        '-map [outv]',
        '-map 5:a', // 오디오 (마지막 입력)
        '-c:v libx264',
        '-c:a aac',
        '-shortest',
      ])
      .output(outputPath)
      .on('end', resolve)
      .on('error', reject)
      .run();
  });
}

YouTube Data API v3 연동

import { google } from 'googleapis';
import * as fs from 'fs';

async function uploadToYouTube(videoPath: string, metadata: VideoMetadata) {
  const oauth2Client = new google.auth.OAuth2(
    process.env.YOUTUBE_CLIENT_ID,
    process.env.YOUTUBE_CLIENT_SECRET,
  );

  oauth2Client.setCredentials({
    refresh_token: process.env.YOUTUBE_REFRESH_TOKEN,
  });

  const youtube = google.youtube({ version: 'v3', auth: oauth2Client });

  const response = await youtube.videos.insert({
    part: ['snippet', 'status'],
    requestBody: {
      snippet: {
        title: metadata.title,
        description: `${metadata.description}\n\n#역사 #쇼츠 #AI생성`,
        tags: ['역사', '쇼츠', 'shorts', 'AI', '역사의목격자'],
        categoryId: '27', // Education
      },
      status: {
        privacyStatus: 'public',
        selfDeclaredMadeForKids: false,
      },
    },
    media: {
      body: fs.createReadStream(videoPath),
    },
  });

  return response.data.id; // 업로드된 영상 ID
}

매일 자동 실행 설정

import { onSchedule } from 'firebase-functions/v2/scheduler';

// 매일 아침 6시에 실행 (한국 시간)
export const dailyYouTubeShorts = onSchedule(
  {
    schedule: '0 6 * * *',
    timeZone: 'Asia/Seoul',
    memory: '2GiB', // 비디오 처리용 메모리 증가
    timeoutSeconds: 540, // 9분 타임아웃
  },
  async (event) => {
    // 1. 오늘의 역사 주제 선택 (중복 방지)
    const topic = await selectTodaysTopic();

    // 2. 스크립트 생성
    const script = await generateScript(topic);

    // 3. 음성 생성
    const audioBuffer = await generateNarration(script.fullNarration);

    // 4. 이미지 생성
    const images = await Promise.all(
      script.scenes.map(scene => generateSceneImage(scene.imagePrompt))
    );

    // 5. 비디오 조립
    const videoPath = await assembleVideo(images, audioBuffer);

    // 6. YouTube 업로드
    const videoId = await uploadToYouTube(videoPath, {
      title: script.title,
      description: script.description,
    });

    // 7. Firestore에 기록 (중복 방지용)
    await saveEpisodeRecord(topic, videoId);

    console.log(`Uploaded: https://youtube.com/shorts/${videoId}`);
  }
);

• 유튜브 채널 생성하고 주제 결정하기
• 파이프라인 각 단계별로 테스트 실행하기
• 첫 번째 쇼츠 수동 업로드해보기
• Cloud Function으로 자동화 배포하기
• (도전) 중복 에피소드 방지 로직 구현하기