Vidu 是我们应该关注的新 AI 视频生成器

Vidu 是一个新兴的文本转视频 AI 平台，自 2024 年 4 月首次发布以来，已经进行了多次重要升级。其中最令人印象深刻的更新是 参考转视频 功能。

在 4 月，我发布了一篇关于 Vidu 的 文章，分享了我对其卓越速度和质量的初步看法。几个月后，其创始人证明他们正在不懈努力，将技术推向极限，与 Runway 和 Kling AI 等主要竞争对手展开竞争。

什么是 Vidu？

Vidu 是一个 AI 驱动的工具，具备以下视频生成能力：

• 文本转视频
• 图像转视频
• 参考转视频

图片来源：Jim Clyde Monge

该 AI 模型基于一种名为 Universal Vision Transformer (U-ViT) 的专有视觉转换模型架构。它整合了两个文本转视频 AI 模型：扩散模型和变换器。

这种架构使得能够创建高质量的视频，具有动态的相机运动、复杂的面部表情以及真实的光影效果。

Vidu 是首个在 2022 年推出这一全球首创技术框架的平台。

现在，让我们来看看视频生成仪表板。在左侧，您可以选择从现有图像、现有主题或文本生成视频。

图片来源：Jim Clyde Monge

可以调整多个设置，包括视频风格（普通或动画）、时长（4 秒或 8 秒）或模式（在速度和质量之间切换优先级）。

图片来源：Jim Clyde Monge

示例视频

让我们通过一个例子来说明这一点。

提示：一个男人坐在桌子旁，用筷子吃面条

处理完成后，您将在右侧看到结果。这次，您可以通过修改提示来编辑视频，或者以额外的 4 积分提升视频质量。提升后的视频分辨率为 2K（1934 × 1080）。

图片来源：Jim Clyde Monge

视频效果如下：

图片来源：Jim Clyde Monge

仅用 30 秒，Vidu 生成了一个 4 秒、688 × 384 的视频文件，完美捕捉了场景。令人印象深刻的不仅是生成视频的质量，还有其生成的 速度。

作为对比，我尝试过的其他 AI 视频生成器要么耗时更长，要么在相似速度下提供的结果不尽如人意。正因如此，Vidu 脱颖而出。

“我们很自豪能将这一功能推向市场，并相信它将显著提升用户与 AI 的互动和创作过程。” — Shengshu Technology 的联合创始人兼首席执行官唐佳宇。

以下是更多示例：

提示：一艘中世纪的帆船在海上航行，雾蒙蒙的夜晚，明亮的月光，阴森的气氛

图片来源：Jim Clyde Monge

Vidu 生成的视频完美捕捉了文本提示中描述的阴森气氛。最终视频中所有元素都得到了体现。雾蒙蒙的夜晚、明亮的月光投射出阴森的光辉，以及中世纪的帆船在海上静静航行——所有这些元素共同构成了一个令人难忘的美丽场景。

我对生成速度之快和质量之高感到特别惊讶，仅用大约 30 秒。

提示：一窝金毛猎犬小狗在雪地里玩耍

图片来源：Jim Clyde Monge

看看这些小狗是多么可爱！Vidu 能够通过添加飞溅的雪花来理解物理现象，表现出它们在奔跑时的动态。我还注意到阴影的投射非常自然，为场景增添了深度和真实感。

并不是所有的 AI 视频生成器都能处理如此细节，尤其是在动态环境和移动主体的情况下。这是一个非常出色的工具，这个例子展示了 Vidu 技术的先进性。

如何访问 Vidu

访问 Vidu 非常简单。只需前往 vidu.studio，您首先会看到一个模态窗口，展示平台最新更新的详细信息。

1. 新升级的参考生成视频能力
2. 新的生成模式配置

图片来源：Jim Clyde Monge

稍后我们将尝试这些功能。您可以关闭窗口并开始创建帐户。

我们稍后会更详细地介绍这些功能，但用户界面干净、现代且直观——这是我个人在创意工具中非常欣赏的特点。即使是第一次使用的用户，生成视频的过程也不会显得过于复杂。

Vidu 的新功能

参考转视频 功能确保视频的核心主题或场景在整个过程中保持一致，这听起来可能很基础，但实际上在保持观众注意力和视频完整性方面至关重要。

例如，如果您正在生成一个角色在不同环境中行走的视频，Vidu 可以在整个场景中保持角色的身份和外观一致。

许多竞争工具在这方面表现不佳，常常导致角色的外观在每一帧中微妙变化——这可能会相当分散注意力。

以下是一个使用 Midjourney 生成的示例：

提示：在挪威冰面上快速驾驶的保时捷

图片来源：Jim Clyde Monge

将图像上传到 Vidu 的图像转视频工具，并在提示字段中描述它。

图片来源：Jim Clyde Monge

以下是最终视频输出：

GIF 来源：Jim Clyde Monge

另一个显著的功能是 参考生成视频能力，允许用户输入参考图像或视频，以帮助指导生成视频的风格或氛围。

让我们尝试一个例子：

提示：一位女商人悠闲地坐在一朵白色的蓬松云上，她有短短的棕色卷发，戴着圆形眼镜，正在笔记本电脑上工作，飞过一座传统的欧洲银行，市中心，穿着蓝白色的商务服装，棕色裤子和白色运动鞋，从高处俯瞰，天堂，云朵。

图片来源：Jim Clyde Monge

将图像上传到 Vidu，并选择图像中的单一主题以获得最佳效果。同时，不要忘记在提示字段中描述视频。

图片来源：Jim Clyde Monge

以下是最终视频输出：

GIF 来源：Jim Clyde Monge

很酷吧？快去试试这些新功能，看看您喜欢什么。如果您已经是 Kling AI 或 Runway 的用户，请告诉我您认为 Vidu 与这两者相比如何。

Vidu 提示指南

为了充分利用 Vidu，平台提供了一个 提示指南，帮助用户创建最佳的视频提示。文档内容详尽，提供示例结构、关键词和创建更有效且视觉吸引力强的视频的技巧。

您可以探索与电影风格、艺术风格、拍摄设置和文本效果相关的各种提示关键词。

提示如何影响输出？

您提供的文本提示的质量对视频的最终结果有很大影响。当提示遵循主题、场景、环境和风格的基本结构时，可以在一定程度上增强视频生成的有效性。

看看下面的例子：

提示：一只柯基在游泳

GIF 来源：Vidu

如预期，输出是一个柯基游泳的视频，但它相当简单——没有太多花哨的效果。现在，让我们改进提示。

提示：捕捉一个宁静的时刻，展现一只小柯基在一个阳光明媚的大泳池中优雅地游泳。水下视角展示了小狗，它温柔的微笑在柔和的金色时光照射下闪耀，水面透过水面，形成光影在泳池底部的舞动。场景设定在柔和的粉彩色调中，增强了梦幻般的氛围。高分辨率摄影捕捉了水的质感和柯基快乐表情的每一个细节，创造出一个简单而富有电影感的宁静与纯真的肖像。这种极简而富有情感的设置传达了一种平静和快乐的感觉，理想用于宁静而视觉吸引力强的电影序列。

GIF 来源：Vidu

如您所见，结果大大改善，照明更好，镜头角度更动态，整体呈现出电影感。Vidu 在提示结构经过深思熟虑时，能够捕捉这些细节。

为了增强效果和氛围的一致性，有必要不断强调和完善整体氛围。

费用是多少？

Vidu 提供免费积分供用户试用该工具，同时也提供付费订阅计划：

• 免费：每月 80 积分，生成 4 秒视频，提升分辨率，不可商业使用，同时只能处理 1 个任务。
• 标准：每月 9.99 美元（50% 折扣，通常为 19.99 美元），每月 320 积分，生成 4 秒和 8 秒视频，提升分辨率，可商业使用，提升后去除水印，同时可处理 2 个任务。
• 高级：每月 29.99 美元（50% 折扣，通常为 59.99 美元），每月 880 积分，生成 4 秒和 8 秒视频，提升分辨率，可商业使用，提升后去除水印，同时可处理 3 个任务，优先体验新功能。
• 高级：每月 99.99 美元（50% 折扣，通常为 199.99 美元），每月 2960 积分，生成 4 秒和 8 秒视频，提升分辨率，可商业使用，提升后去除水印，同时可处理 4 个任务，优先体验新功能。

图片来源：Jim Clyde Monge

免费计划提供了相当数量的积分供您测试，但如果您认真考虑持续生成高质量内容，您很快就会想升级到 标准 或 高级 计划。

用户还可以选择年度订阅，享受 20% 的折扣。

开发者的 API 访问

API 目前尚未公开，但您可以注册以获取早期访问权限。请填写此 表单 申请 API 访问。

我们很高兴能提供我们的 API，以支持社区开发基于 Vidu 的各种应用程序，将多模态大模型的力量带给每个人。我们希望选择一些测试用户，以测试我们的 API 服务的稳定性，以便尽快向所有人开放。

图片来源：Jim Clyde Monge

我还没有看到关于 API 使用和费用的文档。一旦我获得该信息，将会更新这篇文章。

最后想法

我对 AI 视频生成器的最新更新和改进仍然感到惊讶。在最近几个月，我们看到 Runway Gen-3 和 Kling AI 等平台的升级。今天，Vidu 加入了顶级 AI 视频生成器的行列。至于 Sora，OpenAI 似乎没有计划公开发布它。

根据 Vidu 的首席执行官的说法，该公司正在积极探索生成 AI 在艺术设计、游戏开发、电影后期制作和内容社交化等领域的商业潜力。他们的最终愿景是利用这一多模态模型，通过 AI 增强人类的创造力和生产力。

生成 AI 已经在游戏、社交媒体和艺术等各个领域得到了应用。我们不久将看到 AI 生成的媒体，如完整的电影和电视剧、按需生成的游戏，甚至与无法区分于真实人类的 AI 伴侣互动。

那么，您对 Vidu 的看法是什么？您喜欢这个新的 AI 视频工具吗？您认为它与 Kling 和 Runway 相比如何？我很想知道您的想法。