技术标签: llama 语言模型 音视频 大语言模型文献调研
本文是关于论文《Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding》的简要介绍。Video-LLaMA是阿里达摩院的一个多模态大语言模型产品,可以理解视频中视觉和听觉内容。和很多多模态大语言模型类似,模型结构和训练方式中规中矩,但是针对视频这种信息量丰富的数据类型,作者提出了一些创意。
有关本专栏的更多内容,请参考大语言模型文献调研专栏目录
模型结构:与以往仅补充LLMs处理视觉或音频信号的作品不同,Video-LLaMA通过应对两个挑战实现视频理解:
(1)捕捉视觉场景中的时序变化:作者提出了Video Q-former,将一个预训练的图像编码器组装到视频编码器中,并引入视频到文本生成任务来学习视频-语言对应关系。
(2)整合音频-视觉信号。利用通用嵌入模型ImageBind作为预训练音频编码器,并在ImageBind之上引入一个Audio Q-former,为LLM模块学习合理的听觉查询嵌入。
训练方式:和很多多模态大语言模型一样,Video-LLaMA冻结预训练视觉和音频编码器,冻结的LLMs,进行跨模态训练。为了将视觉和音频编码器的输出与LLM的嵌入空间对齐,作者首先在海量视频/图像标题对上训练Video-LLaMA,然后使用质量更高但数量适中的视觉指导数据集模型。
论文链接:https://arxiv.org/pdf/2306.02858.pdf
代码链接:https://github.com/DAMO-NLP-SG/Video-LLaMA
展示样例:https://www.youtube.com/watch?v=RDNYs3Rswhc&feature=youtu.be
论文引用:
@article{zhang2023video,
title={Video-llama: An instruction-tuned audio-visual language model for video understanding},
author={Zhang, Hang and Li, Xin and Bing, Lidong},
journal={arXiv preprint arXiv:2306.02858},
year={2023}
}
大型语言模型(LLMs)已经表现出了出色的理解和遵循用户意图和指令的能力。研究人员通常将用户请求和LLMs的响应都以文本形式表达,但是,在许多应用场景下,仅限于文本的人机交互并不足够,真实世界的信息通常是多模态的。
现有工作的不足。为了进一步探索LLMs的潜力,许多研究人员尝试赋予LLMs理解多模态内容的能力。包括使用大量交织的图像-文本数据或语音-文本数据对多模态LLMs进行大规模预训练,以适应多模态输入。或者采用更高效的参数方式,通过补充LLMs与现成的视觉或语音基础模型来实现多模态理解。尽管这些方法有效,但它们致力于将来自一个额外模态(即图像或音频)的输入与文本对齐,这对于视频理解来说远远不够。要使LLMs理解视频,需要全面处理包括视觉输入、听觉输入和文本输出在内的不同模态,这比仅理解图像或仅理解音频任务更具挑战性。近期有一些研究尝试释放LLMs的视频理解能力,但它们主要目的是仅理解视频的视觉内容,而忽略了听觉内容。因此,作者的研究旨在填补加入音频的-视觉LLMs的空白,探讨构建支持视频输入的多模态LLMs的可能性,使用户能够围绕用户上传的视频与计算机进行交流。
构建端到端模型处理多模态结构。视频通常由多个视频帧和音频组成。与使用外部感知模型将视觉/听觉信号转换为文本信号不同,作者构建了一个端到端模型,可以在单个框架内处理来自多种模态的数据。采用BLIP-2的思想来保证跨模态预训练的效率。为了明确捕获视频中视觉场景的变化,使用预训练的视觉编码器分别计算帧表示。然后,我们引入了帧嵌入层来注入时间信息,以及一个视频Q-Former来生成视觉查询标记。对于视频中的音频信号,我们另外利用预训练的音频编码器以及音频Q-Former来学习合理的听觉查询嵌入。
多支路跨模态预训练实现视频与文本的对齐。为了使文本输出与视频对齐,作者设计了多支路交叉模态预训练,以学习视觉-语言对应关系和音频-语言对应关系。首先在大规模视频文本数据集上对与视觉相关的组件进行预训练,然后在视频会话数据集上进行微调,以执行视觉指令调整。对于音频编码器和语言解码器之间的对齐,作者进一步在音频文本数据集上对音频相关组件进行预训练。作者利用Imagebind作为编码器,将不同模态对齐到公共嵌入空间。
**大型语言模型(LLMs)**已成为跨领域的自然语言理解和生成的强大工具,涵盖了文章、对话、故事和诗歌等多种领域。诸如LLaMA、BLOOM和OPT等开源LLMs大大推动了技术的进步,并为自然语言处理社区做出了巨大贡献。借助这些LLMs奠定的基础,研究人员进一步扩展了它们的能力,开发了针对特定自然语言处理任务的专门模型,如Vicuna和Baize。作者在这些进展的基础上,通过增强LLMs的能力,使其能够理解视频中的视觉和听觉内容,从而扩展了它们在多媒体应用中的实用性和影响力。
研究人员一直积极探索利用LLMs处理多模态输入的方法。现有方法可分为两大类。第一类是将LLMs作为控制器,利用现有的多模态模型作为工具。在这种方法中,当接收到用户的文本指令时,LLM识别用户意图并决定调用哪些工具,然后通过整合这些现成的多模态模型得到综合性回应。例如包括ChatGPT、HuggingGPT和AudioGPT等。第二类侧重于训练基础的大规模多模态模型。这一系列工作的关键思想是将其他模态的预训练基础模型与文本LLMs进行对齐。例如,Flamingo利用感知器重采样器和门控交叉注意力层连接冻结的图像编码器和LLMs。BLIP2引入Q-Former将学习的图像查询映射到LLMs的文本嵌入空间。mPLUG-owl和MiniGPT4使用图像-指令数据集开发了遵循指令的图像-LLMs。Video-Chat和Video-ChatGPT将图像编码器扩展到视频编码器,并与LLMs连接以理解视频中的视觉内容。PandaGPT利用ImageBind的多模态编码器,专门训练在图像-指令对上,使大型模型能够理解六种模态。作者的工作属于第二类别,训练基础模型来理解视频中的视觉和听觉内容。
视觉-语言分支。视觉-语言分支旨在使大型语言模型(LLMs)能够理解视觉输入,有以下要点:
组成部分:
过程:
实现:
音频-语言分支。引入音频-语言分支来处理所提供视频的音频内容。旨在使LLMs能够理解并基于音频输入生成文本,要点如下:
组成部分:
过程:
实现:
作者分别训练视觉-语言和音频-语言分支。在第一阶段,使用大规模的视觉-文本数据集进行训练;在第二阶段,使用高质量的指示遵循数据集进行微调。将图像视为单帧视频处理。
视觉-文本分支,有以下要点:
数据集利用:利用Webvid-2M和CC595k数据集进行预训练。Webvid-2M包含库存视频网站的短视频及文本描述。CC595k数据集源自CC3M。
预训练阶段:采用视频到文本生成任务。促使冻结的LLM生成相应的文本描述。部分文本描述无法充分反映视频内容,导致视觉语义与文本描述不完全一致。预训练阶段旨在利用大量数据,使视频特征尽可能包含更多视觉知识。
微调阶段:视觉-文本对齐和指示遵循能力留待下一个阶段。模型在信息生成方面表现良好,但遵循指令的能力有所下降。
使用高质量的指示数据对模型进行微调。整合了来自MiniGPT4、LLaVA和Video-Chat的图像和视频指令数据集。Video-LLaMA在遵循指示和理解图像和视频方面展现出显著能力。
音频-文本分支:
作者提出了多模态框架Video-LLaMA,为大型语言模型赋予了音频和视频理解能力。实验展示了Video-LLaMA在音频和视频驱动对话中的能力,突显其作为音视频人工智能助手有着巨大潜力的原型。作者开源了整个训练代码和各种模型,并提供了详细指导,以帮助开发人员利用我们的代码进行进一步开发。另外,作者提供了在线演示网站和离线演示部署指南,让用户直接体验Video-LLaMA的功能。致力于不断维护和改进Video-LLaMA,并将继续为开源社区做出贡献。
现有工作也有一些可以提高的地方:
有关本专栏的更多内容,请参考大语言模型文献调研专栏目录
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf