详细介绍
Gaga AI 是 Sand.ai 团队做的音画同步视频生成模型,主打的事情很具体:让一张静态照片开口说话,并且口型对得上。
用法是上传一张人物图片或一段音频,模型自动驱动角色生成口型匹配、表情自然的高清视频,不需要写复杂提示词。除了对口型,它还支持图生视频与文生视频的音画同出、图片超分、音色复刻和多语种数字人。
这类模型的难点一直在细节:口型和辅音的对齐、说话时的头部微动、以及静止太久带来的假人感。Gaga 在这几项上的表现属于当前第一梯队,尤其是短句场景。适合做真人短剧、数字人播报、短视频 IP 和多语言口播素材。
官网提供免费试用,也开放 API 平台。要注意的是,用真人肖像生成说话视频涉及肖像权,商用前需要拿到本人授权。
用它做 AI 短剧的话,剧本和分镜可以先去 TVLab 找:那里有海外热播短剧的剧情拆解、短剧套路节奏表和拆好分镜的灵感卡,复制过来就能当提示词用。
相关推荐
Xylia
Xylia是一款提升生产力和缩小知识差距的AI会议助手。
AI Meeting Summaries: Zoom, Meet & MS Teams
人工智能会议助手,用于录制、转录和分析会议。
Scribbl: AI Meeting Notes for Google Meet
为Google Meet提供自动记录和转录的AI。
EnhanceTalk
通过实时转录分析和关键词推荐提升Google Meet通话效果。
Teameet: Free Video Conferencing
Teameet是一款免费的无限视频会议应用程序,具备AI驱动的功能。
AI Phone
一款用于多种语言实时通话翻译、转录和摘要的人工智能应用。