Transformers模型添加实操：10分钟搞定VidEoMT推理

新媒网跨境了解到，有关如何在Transformers库中添加新模型的实战教程，可以为跨境从业者提供通俗易懂的技术参考。以下内容以VidEoMT模型集成为案例，通过详细工作步骤和经验分享，帮助更多人掌握这一技术。

如何基于Transformers库进行VidEoMT推理？

我们先简单介绍一下VidEoMT模型，这是一个针对视频语义、实例和全景分割的创新模型，目前已发布到Transformers库中。以下是模型实际运行和推理的效果图展示：

没有技术基础，如何手动添加模型？

作为一名长期致力于开源AI生态的人，我花了几年时间进行Transformers库的模型架构贡献，并分享了不少添加模型的实战经验。早在2020年，我最初接触了TAPAS模型的贡献，它是一个相对小众的模型。然而，通过这次机会，我不仅进一步熟悉了Transformers库的开发框架，也掌握了Git、PyTorch等开发工具，以及代码质量工具的使用。之后又陆续参与了诸如LayoutLM这样的热门文档AI模型的贡献。

新媒网跨境认为，大量实践加深入学习逐渐让自己熟练掌握了各种模型的转换和实现，包括但不限于谷歌的Vision Transformer与SigLIP、Meta的DETR，以及微软的LayoutLM系列。在这过程中，我还发布了多篇教程帮助更多开发者入门，分享了自己的心得和操作路径。

从个人经历可以看出，开源的魅力在于任何人都可以通过贡献自己的能力，在没有正式求职流程或简历需求的情况下脱颖而出。这不仅是一个学习的平台，也是技术交流的重要渠道。

2020年前后手动添加新模型的复杂过程

在没有现成辅助工具的情况下，手动迁移和添加一个新模型到Transformers库，是一件颇具挑战的事情。首先，需要理解原始模型在GitHub的实现逻辑，再将其转换至Transformers API。期间还要编写测试代码，确保模型功能的准确性。

比如，处理像TAPAS这样从TensorFlow 1迁移到PyTorch的模型，实现过程需要解决诸多问题。例如有时在Windows本地运行过程面临依赖安装难题，我采取的解决方案是通过Google Colab进行调试，依靠免费环境运行预测脚本，并逐层比对模型的隐藏状态输出，最终实现迁移的功能一致性。然而，这个过程耗时长且涉及大量代码调整的细节。

模型实现过程中使用的Tensor操作也可能面临不兼容。比如，TAPAS模型原生使用了Tensorflow中的scatter操作，而PyTorch当时并不直接支持此功能。幸运的是，通过torch-scatter库，我成功替代了这些操作。这一部分虽技术性很高，但也在此过程中积累了大量经验，如如何处理不同框架的特性差异。

在此基础上，学习Git的使用也是新手面临的挑战，特别是git rebase和git merge等命令的理解与应用。在这一过程中，持续的实践和经验总结是推动进步的重要方式。

2026：用智能助手简化模型集成

跨入2026年，随着技术的发展和AI助手的崛起，添加模型的过程迎来了质变。以Codex为代表的编码代理工具已经能在短时间内完成相对复杂的编程任务。譬如，在短短几分钟内完成模型的迁移与实现，而这在以前可能需要数周甚至数月。同时，也不需要再大量查阅文档或自行调试。

为了验证当前工具的能力，我选择了位于荷兰的埃因霍温大学团队刚刚推出的VidEoMT模型作为实践案例。这一模型专注于视频分割任务，其设计兼顾了简单性和高效性。

实践流程：基于智能助手的操作案例

首先，我在本地启动了Codex桌面应用，连接到本地Transformers库，并用transformers-cli add-new-model-like命令创建了一个以EoMT为基础的分支。这样会自动生成一系列需要完成的模板文件，为后续操作提供了基础。

在使用Codex时，我提供了详细的任务描述，明确了路径及具体要求，这种方式大大减少了工具任务分配中的模糊性。任务中，我将目标限定为只需完成单个检查点权重的转换，而非全体任务的一次完成，以确保操作的专注度和准确率。

在实际运作中，Codex迅速返回结果，仅用10分钟便给出了基础的实现代码。期间，它还能记录操作进度并生成progress.md文件，便于后续追踪。

操作体验与总结

通过此次使用智能工具的实践，我发现，这些新一代编码代理结合传统API模板的大幅自动化，已经让开发者从过去繁琐的关注细节中解放出来，转而将更多精力集中于算法逻辑的创新和模型优化。尤其在面向那些不熟悉代码实现的新手或偏业务导向的从业者，这一技术的门槛大大降低。

新媒网跨境预测，随着智能开发工具的普及化应用，未来更多的跨境开发者将在技术领域获得更深的赋能。结合模型算法与商业场景的应用探索，将能带来更多创新机遇和价值提升。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/transformers-add-model-10min-videomt.html