[视频推荐|视频剪辑|拆条]横转竖|剪辑|讲座|剧情|多模态推荐|麻雀SparrowRecSys|王喆

[geekchen007]

基于标签的实时短视频推荐系统 - 知乎 https://zhuanlan.zhihu.com/p/80069135

基于标签的实时短视频推荐系统_架构_gongyouliu_InfoQ精选文章 https://www.infoq.cn/article/vyumhequzrjjqlvbmh1v

QCon北京2021_全球软件开发大会_InfoQ技术大会 https://qcon.infoq.cn/2021/beijing/presentation/3403

[geekchen007]

知识推荐的难点和挑战

• 用户行为稀疏 用户活跃度低 内容浏览量低

引入基于图神经网络的lightGCN的跨域推荐方法

• 缺少知识体系 知识体系差异大 KOS体系覆盖度低

基于无监督标签算法构建标签体系

• 用户体验要求高 可解释，企业场景，用户对不可解释的推荐几乎0容忍 过滤宣传贴

• 服务高性能、高可用

基于推荐平台，快速构建推荐服务

[geekchen007]

同为工业界最大的推荐业务场景，快手短视频推荐与淘宝推荐有何不同？

https://mp.weixin.qq.com/s/AsJDF-JmbYlv8dYFeYXVKw

推荐领域所有问题，比如用户 & 内容冷启动、公平性问题、异构性问题、多样性和惊喜性等等。

推荐差异性主要来自业务差异，短视频推荐有很多需要考虑的特别因素，比如冷启动，包括用户和内容冷启动。在电商推荐里，用户有很多渠道接触到平台的新商品，推荐不是唯一能影响新用户的渠道，因此冷启动并不是一个非常重要的优化项，或者推荐优化对冷启动影响较小。快手短视频推荐影响了快手 APP 大部分流量，直接影响新作品爬坡和用户是否留存，因此冷启动是非常重要的推荐技术，围绕冷启动我们建立了专门的技术团队来负责这项技术的研发。

另外短视频推荐需要更多地考虑生态，优化目标和约束非常多，除了大量的消费侧指标，还有很多生产侧和社交侧指标都是推荐需要关注的。最后，电商推荐数据上结构已经规范化了，类目和 SPU 体系很完善，短视频这类内容推荐，多模态内容理解相对电商推荐会更重。

[geekchen007]

AI碰撞短视频，从推荐到直播，快手探索了这些ML新思路 - 云+社区 - 腾讯云 https://cloud.tencent.com/developer/article/1527013

Adobe动画AI：自动跟踪人体运动，制作动画从未如此简单！ https://mp.weixin.qq.com/s/MYdlN_Pb4SVJpxWqrFWyCQ

让UP主不再为剪视频发愁，百度等提出用AI自动截取故事片段 https://mp.weixin.qq.com/s/_c-9HYLJeiAzzmRZs7Fr8A

[geekchen007]

【YouTube章節功能】如何在YouTube時間軸分段 時間戳教學 - YouTube https://www.youtube.com/watch?v=nCvu9G5MFdU

用户为google免费增加了许多高质量的标注

分段章节操作指南_哔哩哔哩_bilibili https://www.bilibili.com/video/BV1d8411e7LV/?spm_id_from=333.337.search-card.all.click&vd_source=8fb543f7341dd2a28d3e666eb70e136f

[geekchen007]

2021年以来，B站上线Story-Mode竖屏视频。2022年第一季度，B站竖屏视频播放量占总播放量的比例已超过20%。微信视频号也在逐渐完善体系，成为腾讯公司未来的重点业务。 加码短视频，小红书“抖音化”？ https://mp.weixin.qq.com/s/oCBsTI5OOJ28-suDCOLRIQ

[geekchen007]

【汤旭】https://tangxuvis.github.io/resume/

我是一名AI视频 up 主，日更万部：这是我对人类世界的理解 - 知乎 https://zhuanlan.zhihu.com/p/380903235 Ai根据剧情自动生成解说脚本，剪辑视频 我是一名AI视频 up 主，日更万部：这是我对人类世界的理解

解密优酷智能生产技术，看 AI 赋能内容数字化 - 掘金 https://juejin.cn/post/6999883655141146637

[geekchen007]

Multimodal Recommender Systems: A Survey

What You Look Matters?: Offline Evaluation of Advertising Creatives for Cold-start Problem Overview of Content-Based Click-Through Rate Prediction Challenge for Video Recommendation Multi-modal Representation Learning for Video Advertisement Content Structuring Multi-modal Representation Learning for Short Video Understanding and Recommendation Adversarial Multimodal Representation Learning for Click-Through Rate Prediction

[geekchen007]

Oops!

https://www.opus.pro/not-available

VidyoAI/用google账号登录

https://app.vidyo.ai/editor/7cc76456-7aa8-42eb-b8c5-dd0e18d32202/elements

[geekchen007]

AI - Dumme Studio - Long2Short - YouTube

https://www.youtube.com/watch?v=Gz_a0o8S7HQ

[geekchen007]

Best AI Subtitiles for your TikTok

https://submagic.co/

[geekchen007]

wzhe06/SparrowRecSys: A Deep Learning Recommender System

https://github.com/wzhe06/SparrowRecSys

[geekchen007]

paddleREC 短视频推荐场景下的多任务学习应用实践

[geekchen007]

Doragd/Algorithm-Practice-in-Industry: 搜索、推荐、广告、用增等工业界实践文章收集（来源：知乎、Datafuntalk、技术公众号） https://github.com/Doragd/Algorithm-Practice-in-Industry

[geekchen007]

视频横转竖开源项目

JackieZhangdx/H2V: Code for TMM paper "Horizontal-to-Vertical Video Conversion" https://github.com/JackieZhangdx/H2V

EricFH/SOR: implementation of "Salient Object Ranking with Position-Preserved Attention" https://github.com/EricFH/SOR

[geekchen007]

汤旭Xu Tang's Homepages

https://tangxuvis.github.io/

[geekchen007]

推荐如何用多模态信息？南洋理工最新《多模态推荐系统》综述，33页pdf阐述多模态推荐系统的分类、评价和未来方向 https://mp.weixin.qq.com/s/gF1IdRrWD6Xpb9WXHq1RBg 我们的框架位于:https://github.com/enoche/MMRec

其他类似的文章 大多数现有的序列推荐模型都基于ID特征，但这些特征在稀稀疏ID和冷启动问题上经常表现不佳，而且ID映射不一致会影响模型的可迁移性，隔离了相似的推荐领域。 使用四个公开数据集（Arts_mm_full, Books_mm_full, Movies_mm_full, Music_mm_full）进行评估。数据集包含文本、图像、音频等多模态信息。评估指标包括准确率、召回率、F1值等。

[geekchen007]

视频摘要

dsnet a flexible detect-to-summarize network for video summarization 试图解决的问题是如何利用检测到总结的网络（DSNet）框架来进行监督视频摘要。该领域的技术路线主要有两种：基于锚点的方法和无锚点的方法。基于锚点的方法通过生成时间兴趣提议来确定和定位视频序列的代表性内容，而无锚点的方法则消除了预定义的时间提议，直接预测重要性分数和片段位置。

该文章的创新点有： 提出了一个新颖的检测到总结的网络框架，可以灵活地插入现有的监督视频摘要方法，提高其性能和效率。 首次尝试利用时间一致性的约束来提高视频摘要的质量，通过对正负片段的分配来保证生成摘要的正确性和完整性。 提出了一个无锚点的方法，避免了时间提议的缺点，直接预测视频帧的重要性分数和片段位置，简化了网络结构和训练过程。

1）在SumMe和TVSum数据集上分别训练和测试基于锚点和无锚点的方法，使用F-score作为评价指标，与其他监督视频摘要方法进行比较。 2）在OVP和YouTube数据集上进行跨数据集的实验，分析不同方法的泛化能力和鲁棒性。 3）进行消融实验，分析不同组件和参数对方法性能的影响，如时间一致性的约束，正负片段的分配，锚点的数量和尺度，非极大值抑制的阈值等。 该文章的不足之处有： 没有考虑视频的语义信息和语音信息，可能导致生成的摘要缺乏逻辑性和连贯性。

[geekchen007]

拆条|场景分割

BaSSL视频场景分割-长视频领域 · 模型库: https://www.modelscope.cn/models/iic/cv_resnet50-bert_video-scene-segmentation_movienet/

[geekchen007]

视频拆条能力展示-阿里云视觉智能开放平台

https://vision.aliyun.com/experience/detail?tagName=videorecog&children=SplitVideoParts