分享

2025 年 5 月 16 日

使用 Gemini API 的 Cartwheel 進階角色動畫

Jonathan Jarvis

共同創辦人兼技術長

Andrew Carr

共同創辦人暨首席科學家

Vishal Dharmadhikari

AI DevRel

Cartwheel 展示主頁橫幅

使用 Gemini API 的 Cartwheel 進階角色動畫

Cartwheel 是新一代動畫技術的先驅,提供可輸入自然語言的平台 (例如「跳躍」、「騷莎舞旋轉」) 直接指示角色動作。這項創新功能可改善創作者在影片、遊戲、廣告和社群媒體中製作動畫的方式。Cartwheel 整合了 Imagen 3,可提供直覺性的文字轉字設計,並運用 Gemini 2.5 Pro 預先發布版開發複雜的動畫專用演算法、探索複雜的程式碼庫,以及加快平台最佳化,讓使用者能發揮創意,說出更精彩的故事。

克服生成式 3D 動畫的研發障礙

開發先進的動畫平台不僅需要使用者友善的設計工具,還需要持續創新的後端演算法和高效的程式碼集管理。Cartwheel 面臨的挑戰是,需要快速製作原型並實作複雜的動畫功能、改善龐大的程式碼庫以提升效能,以及讓開發人員能快速瞭解並為大型系統做出貢獻。他們需要強大的 AI 合作夥伴,才能加強開發作業。

Cartwheel 如何使用 Imagen 3 和 Gemini 2.5 Pro 預先發布版

Cartwheel 使用 Gemini API 改善面向使用者的創作管道,並協助內部開發程序。

  • 使用 Imagen 3 進行 AI 輔助角色構思:Cartwheel 整合了 Imagen 3 的文字轉圖片功能,讓創作者可透過文字提示進行構思,並直接在平台上產生獨特的角色視覺效果。這些自訂角色可使用自然語言製作動畫,然後匯出完整設定的角色,並準備使用 Maya 或 Blender 等業界標準 3D 編輯軟體,以便整合至專業製作環境。
  • 透過 Gemini 2.5 Pro 預先發布版協助研發與最佳化作業:Cartwheel 團隊在內部使用 Gemini 2.5 Pro 預先發布版,支援其工程和研究工作流程:
    • 開發演算法:Gemini 2.5 Pro 預覽版可協助開發動畫專屬功能,包括用於資料合成的動態模糊演算法、用於混合處理的拉普拉斯金字塔,以及用於編輯器內姿勢的自動 IK (反向運動學)。
    • 程式碼探索與偵錯:團隊使用 Gemini 2.5 Pro 預覽版探索複雜的程式碼庫,產生新實驗的構想,並協助有效偵錯極端案例,例如複雜的相機旋轉錯誤。
    • 善用長脈絡窗口執行程式碼集作業:Gemini 2.5 Pro 預覽版的長脈絡窗口功能可用於 Cartwheel 的整個程式碼集。如此一來,開發人員就能將新的程式碼集 (例如前端) 納入情境,以便新增功能,或針對系統架構和功能提出高層次問題。

強化動畫工作流程

Cartwheel 使用 Gemini 2.5 Pro 預覽版協助開發演算法、探索程式碼及偵錯,以期改善開發流程並加快平台最佳化。整合 Imagen 3 後,使用者就能以簡化的方式,從文字生成角色視覺效果,而 Gemini 2.5 Pro 預先發布版則可協助開發人員建構基礎技術。這些整合功能可協助 Cartwheel 達成目標,讓動畫工作流程更快速且更容易存取,例如:

  • 加快遊戲和影片的素材資源製作速度,讓團隊能專注於核心設計。
  • 有效率地產生行銷和社群媒體內容。

「動畫是將腦中故事呈現給世人最純粹的方式之一。我們正在開發各種工具,讓所有人都能更輕鬆地使用這項功能!」

- Cartwheel 執行長暨共同創辦人 Jonathan Jarvis

打造動畫的未來

Cartwheel 整合了 Imagen 3 和 Gemini 2.5 Pro 預先發布版,凸顯 Google AI 技術如何應用於推出面向使用者的全新功能,並協助建構下一代工具所需的複雜開發工作。

請參閱 Gemini API 說明文件,瞭解 Imagen 3,並在 Google AI Studio 中開始使用。

Cartwheel 是 Google AI Futures Fund 的參與者,該基金會投資並與雄心勃勃的新創公司合作,共同打造 AI 技術的未來。