(小範圍實驗) 任務 9: AI 自動化新聞播報系統 - 可行性研究

[TzuHanLiang]

模塊一：研究如何生成「自動化新聞播報系統」

在 Python 環境中研究如何實施一個基於多種生成式 AI 技術的自動化新聞播報系統。系統將利用 LLaMA、FLUX.1、AnimateDiff、CosyVoice 和 Suno 等工具，從新聞摘要生成完整的新聞播報影片。

研究步驟

• [x] 調研生成新聞稿的技術

  • 工具: LLaMA 模型
  • 使用 luphia 架好的 LLaMA 生成新聞稿
    • 目前失敗

• [x] 調研生成分鏡稿圖片的技術

  • 工具: FLUX.1 模型
  • 研究如何在 python 使用 FLUX.1 並根據新聞稿生成分鏡圖片
    • 可以使用 diffusers ，用法參考： https://huggingface.co/black-forest-labs/FLUX.1-schnell#diffusers
  • 研究如何生成虛擬新聞主播圖片

• [x] 調研生成動畫的技術

  • 工具: AnimateDiff 模型
    • 參考來源：
      • https://github.com/guoyww/AnimateDiff
      • https://huggingface.co/docs/diffusers/api/pipelines/animatediff
  • 研究如何在 python 使用 AnimateDiff 並根據分鏡稿生成動畫，包括主播動畫
    • 關於環境安裝還要再研究
  • AnimateDiff 的簡要介紹和建議

    
    1. **AnimateDiffPipeline**：

  • 適合最基本的文本到視頻生成需求。
  • 如果不需要額外的控制網絡或複雜的條件控制，只需從文本生成動畫，這個是最簡單、直接的選擇。

2. AnimateDiffControlNetPipeline：

   • 適合需要精確控制每一幀內容的視頻生成。
   • 使用 ControlNet 可以根據特定的條件（如深度圖、邊緣檢測）來調整生成過程。
   • 適合需要根據複雜條件生成動畫的應用。

3. AnimateDiffSparseControlNetPipeline：

   • 適合使用稀疏控制網絡來生成動畫，特別適合靜態圖像轉換為動畫的情境。
   • 如果已經有一些條件幀或草圖，並希望生成一個連續的動畫，可以選擇這個。

4. AnimateDiffSDXLPipeline：

   • 適合使用 SDXL 模型進行高分辨率的文本到視頻生成。
   • 如果需要更高的分辨率或更精細的細節，可以選擇這個。

5. AnimateDiffVideoToVideoPipeline：

   • 適合從現有視頻生成新視頻的應用，即視頻到視頻的轉換。
   • 如果已經有現有的視頻並希望應用特定風格或效果來生成新視頻，可以選擇這個。

6. Using SparseCtrl Scribble / RGB：

   • 這兩個選項是使用稀疏控制網絡的具體方法，分別適用於草圖和RGB 圖像作為條件幀的場景。
   • 如果條件幀是簡單的草圖或 RGB 圖像，可以考慮這些方法。

7. Using Motion LoRAs / PEFT：

   • 適合希望在生成過程中使用運動 LoRA 來微調和優化結果的情況。
   • 如果需要高度定制化的動畫效果，可以考慮使用這些方法來進行細微調整。

8. Using FreeInit：

   • 這個選項允許在生成過程中使用自由初始化，適合需要更多創造性或隨機性的動畫生成。
   • 如果希望生成的動畫有更多變化或創造性，可以考慮這個選項。

建議：

• 如果是初次使用並且需求相對簡單，選擇 AnimateDiffPipeline 是最簡單和直觀的。

• 如果需要精確控制每一幀的動畫生成，選擇 AnimateDiffControlNetPipeline。

• 如果有靜態圖片或草圖並希望將其轉換為動畫，選擇 AnimateDiffSparseControlNetPipeline。

• [x] 調研生成語音的技術

  • 工具: CosyVoice 模型
    • 參考來源： CosyVoice 官方文檔：https://github.com/FunAudioLLM/CosyVoice
  • 研究如何生成對應新聞稿的語音
    • 目前環境設置有問題

• [x] 調研生成背景音樂的技術

  • 工具: Suno 的 Bark 模型
    • 參考來源： Suno Bark 模型介紹：https://github.com/suno-ai/bark
  • 研究如何生成新聞背景音樂

• [x] 調研合成完整影片的技術

  • 工具: FFmpeg
    • 參考來源:
    • FFmpeg 官方文檔 提供了如何使用 FFmpeg 來合成和處理多媒體文件的詳細說明。
  • 研究如何將動畫、語音和背景音樂合成為完整的新聞播報影片

[TzuHanLiang]

8/23 took 8hrs 8/26 took 3hrs done