多模态商业应用
发布时间
阅读量：
阅读量
最近专注于探索多模态技术, 发现这一领域目前还存在巨大的潜力。所谓多模态技术, 简单来说就是不同于单独专注于计算机视觉(CV)或自然语言处理(NLP)等单一领域的研究, 它综合运用了包括语音、影像、文本以及商品相关等多种信息, 为其各种应用场景提供了强有力的支撑。在这篇笔记中, 我将整理自己最近浏览的知识内容。
短视频多模态应用
代表应用：淘宝视频分类，阿里文娱多模态视频分类，抖音短视频分类
淘宝视频多模态AI算法
在淘宝平台中进行短视频内容运营一直占据重要地位，在这一领域中视频销售被视为品牌方主要采用的一种高效营销方式
算法框架
淘宝短视频承载着丰富的信息内容，在线展示的形式涵盖了视频图像、封面设计以及辅助说明等多种表现形式。这些元素分别从不同的维度反映了短视频的核心特征与内在逻辑。基于此需求，在推动智能化推荐系统建设的过程中，我们开发出一套高效精准的短视频分类系统。
(1) 预训练模型的选择
(2) 模态融合方法的设计
(3) 多目标的分类器的设计
预训练模型的选择
还没有任何评论哟~