tencent cloud

云点播

动态与公告
产品动态
公告
产品简介
产品概述
产品特性
产品功能
产品优势
应用场景
解决方案
专业版
云点播专业版简介
快速入门
控制台指南
开发指南
购买指南
计费概述
计费方式
购买指引
账单查询
续费说明
欠费说明
退费说明
快速入门
控制台指南
控制台介绍
服务概览
应用管理
媒体管理
资源包管理
License 管理
实时日志分析
实践教程
媒体上传
如何将点播的媒体文件进行智能降冷
媒体处理
分发播放
如何接收事件通知
如何进行源站迁移
直播录制
如何进行自定义源站回源
直播精彩剪辑固化至云点播 VOD 指引
如何使用 EdgeOne 分发云点播内容
开发指南
媒体上传
媒体加工处理
媒体 AI
事件通知
媒体分发播放
媒体加密与版权保护
播放频道
访问管理
下载媒体文件
应用体系
错误码
播放器 SDK 文档
概述
基本概念
产品功能
Demo 体验
免费测试
购买指南
SDK 下载
License 指引
播放器教程
含 UI 集成方案
无 UI 集成方案
高级功能
API 文档
第三方播放器插件
Player SDK Policy
服务端 API 文档
History
Introduction
API Category
Other APIs
Media Processing APIs
Task Management APIs
Media Upload APIs
Media Management APIs
Event Notification Relevant API
Media Categorization APIs
Domain Name Management APIs
Distribution APIs
AI-based Sample Management APIs
Region Management APIs
Data Statistics APIs
Carousel-Related APIs
Just In Time Transcode APIs
No longer recommended APIs
Making API Requests
AI-based image processing APIs
Parameter Template APIs
Task Flow APIs
Data Types
Error Codes
Video on Demand API 2024-07-18
常见问题
移动端播放问题
费用相关问题
视频上传问题
视频发布问题
视频播放问题
Web 端播放问题
全屏播放问题
数据统计问题
访问管理相关问题
媒资降冷问题
相关协议
Service Level Agreement
VOD 政策
隐私政策
数据处理和安全协议
联系我们
词汇表

音视频内容分析

PDF
聚焦模式
字号
最后更新时间: 2023-03-22 14:46:48
视频内容分析,即借助 AI 对音视频内容进行智能分析,是一种离线任务。使用音视频内容分析,可以对视频分类、打标签及截取封面等给出智能建议,帮助视频平台准确高效地管理视频。
音视频内容分析包括以下功能:
功能名称
说明
智能分类
对视频所属的分类给出建议,目前有十余个类别,包括:
新闻、娱乐、游戏、科技、美食、体育、旅行、动漫、舞蹈、音乐、影视及汽车等。
智能标签
对视频可以打上的标签给出建议,目前共有3000余种标签,例如:
游戏、交通工具、音乐家、赛车、宠物、架子鼓、自行车、魔兽世界、电脑、学校及夹克等。
智能封面
从视频中选出一张或几张截图,作为推荐采用的封面。
智能按帧标签
为视频逐帧画面,给出打标签的建议,目前共有1000余种标签,例如:
现代舞、水上运动、牛排、宝宝、小猫、一年生植物、驱逐舰、漫画、草坪、婚纱、多功能厅及护照等。

音视频内容分析模板

通过音视频内容分析参数,可以控制分析任务具体执行哪几项分析操作。云点播使用音视频内容分析模板来表示智能分析参数集合:
是否启用智能分类。
是否启用智能标签。
是否启用智能封面。
是否启用智能按帧标签。
针对常见的操作组合,云点播提供了 预置音视频内容分析模板。另外,您还可以调用 服务端 API 创建和管理自定义音视频内容分析模板。

任务发起

发起音视频内容分析任务,有“通过服务端 API 直接发起”、“通过控制台直接发起”和“上传时指定要执行的任务”三种方式。具体请参照视频处理的 任务发起
以下是各种方式发起音视频内容分析任务的说明:
调用服务端 API ProcessMedia 发起任务:在请求中的AiAnalysisTask参数指定 音视频内容分析模板 的模板 ID。
通过控制台对视频发起任务:调用 服务端 API 创建任务流,任务流中配置音视频内容分析任务(MediaProcessTask.AiAnalysisTask中指定);在控制台使用该任务流 发起视频处理
服务端上传时指定任务:调用 服务端 API 创建任务流,任务流中配置音视频内容分析任务(MediaProcessTask.AiAnalysisTask中指定);申请上传 中的procedure参数指定为该任务流。
客户端上传时指定任务:调用 服务端 API 创建任务流,任务流中配置音视频内容分析任务(MediaProcessTask.AiAnalysisTask中指定);在 客户端上传签名 中的procedure指定该任务流。
控制台上传:调用 服务端 API 创建任务流,任务流中配置音视频内容分析任务(MediaProcessTask.AiAnalysisTask中指定);通过控制台上传视频,选择 上传的同时对视频进行处理操作 并指定视频上传后执行该任务流。

结果获取

发起音视频内容分析任务后,您可以通过异步等待 结果通知 和同步进行 任务查询 两种方式获取视频内分析任务的执行结果。下面是发起内容分析任务后,普通回调方式下结果通知的示例(省略了值为 null 的字段):
{
"EventType":"ProcedureStateChanged",
"ProcedureStateChangeEvent":{
"TaskId":"1256768367-Procedure-2e1af2456351812be963e309cc133403t0",
"Status":"FINISH",
"FileId":"5285890784246869930",
"FileName":"动物世界",
"FileUrl":"http://1256768367.vod2.myqcloud.com/xxx/xxx/AtUCmy6gmIYA.mp4",
"MetaData":{
"AudioDuration":60,
"AudioStreamSet":[
{
"Bitrate":383854,
"Codec":"aac",
"SamplingRate":48000
}
],
"Bitrate":1021028,
"Container":"mov,mp4,m4a,3gp,3g2,mj2",
"Duration":60,
"Height":480,
"Rotate":0,
"Size":7700180,
"VideoDuration":60,
"VideoStreamSet":[
{
"Bitrate":637174,
"Codec":"h264",
"Fps":23,
"Height":480,
"Width":640
}
],
"Width":640
},
"AiAnalysisResultSet":[
{
"Type":"Classification",
"ClassificationTask":{
"Status":"SUCCESS",
"ErrCode":0,
"Message":"",
"Input":{
"Definition":10
},
"Output":{
"ClassificationSet":[
{
"Classification":"动物",
"Confidence":80
},
{
"Classification":"旅行",
"Confidence":34
}
]
}
}
},
{
"Type":"Cover",
"CoverTask":{
"Status":"SUCCESS",
"ErrCode":0,
"Message":"",
"Input":{
"Definition":10
},
"Output":{
"CoverSet":[
{
"CoverUrl":"http://1256768367.vod2.myqcloud.com/xxx/xxx/xxx1.jpg",
"Confidence":79
},
{
"CoverUrl":"http://1256768367.vod2.myqcloud.com/xxx/xxx/xxx2.jpg",
"Confidence":70
},
{
"CoverUrl":"http://1256768367.vod2.myqcloud.com/xxx/xxx/xxx3.jpg",
"Confidence":66
}
]
}
}
},
{
"Type":"Tag",
"TagTask":{
"Status":"SUCCESS",
"ErrCode":0,
"Message":"",
"Input":{
"Definition":10
},
"Output":{
"TagSet":[
{
"Tag":"马",
"Confidence":34
},
{
"Tag":"鸟",
"Confidence":27
},
{
"Tag":"植物",
"Confidence":13
},
{
"Tag":"海滩",
"Confidence":11
}
]
}
}
}
],
"TasksPriority":0,
"TasksNotifyMode":""
}
}
回调结果中,ProcedureStateChangeEvent.AiAnalysisResultSetTypeClassificationCoverTag三种类型的分析结果,分别代表视频智能分类、视频智能封面和视频智能标签。
TypeClassification的结果显示,Output.ClassificationSet置信度最高的分类是动物,其次的分类则是旅行
TypeCover的结果Output.CoverSet,给出了3个建议采用的封面,CoverUrl是对应封面的下载地址。
TypeTag的结果Output.TagSet,给出了4个视频建议采用的标签,按照置信度从高到低排列。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈