moeoverflow / animeloop-illus2vec

illustration2vec script for Animeloop
GNU General Public License v3.0
2 stars 0 forks source link

it's continue ? #1

Closed koke2c95 closed 3 years ago

koke2c95 commented 4 years ago

Great works !!

大佬你们太强了,收集了那么多BD生肉的动画,然后在上面做loop检测,现在还在更新 (但动画anime这方面没人做,我想做,但1没大量生肉资源,2也没能力写个标注系统什么的)

话说谷歌最近有篇,自动计数君:《Counting Out Time: Class Agnostic Video Repetition Counting in the Wild》,应该能拿来用一用

但是我想,不仅仅是loop,而是片段(例如sakugabooru) 针对不同任务,压制不同分辨率的片段 然后用于 视频摘要,视频理解,视频压缩,视频风格迁移 等任务, 例如danbooru众包的方式来标注,制作出动画数据集

sakugabooru.com X animeloop.org ? animebooru设计: 充分利用资源与设计数据集,部分思想: 元信息:动画公司,导演,分镜演出作监 视频:动作行为,场景,标注粗细度(例如danbooru),片段语义粗细度,摄影效果,此分镜的关键帧(用于视频理解的增广) 音声轨:效果音,对话音声,背景音乐

例如下边这些数据集 summe tvsum http://cvlab.hanyang.ac.kr/coview2019/ https://www.crcv.ucf.edu/THUMOS14/download.html gwern works (danbooru2019 etc.)

关于收集动画,插画,漫画,等等进行机器学习研究的法律,版权问题? 除生成模型以外,无任何问题,(不限于“非商业用途”),收集动漫数据对第三方进行培训并发布经过培训的模型是安全的。

从第三方的原始数据创建数据库,通过对数据库进行标签处理等来创建学习数据集并提供和出售数据集的行为 - OK(分类模型,检测模型等) 用第三方的学习数据集执行机器学习以生成训练模型并提供和出售训练模型的行为 - NG 参考:

日本改正著作権法「著作権法47条の7」 進化する機械学習パラダイス ~改正著作権法が日本のAI開発をさらに加速する~ 機械学習に使うデータセットの著作権について

shincurry commented 4 years ago

SERVER NOTES

CLI NOTES

ISSUE PROPOSAL

从动画视频本身的制作上来看,本身其就是通过一个个场景片段拼接而成,而且这些片段自身又是靠一些关键帧(原画)支撑。所以对动画视频做识别分段处理相当于还原一些动画制作的原素材,这些素材不管是用来分析总结或者是拿来做MAD都是很有用的。收集制作动画数据集是一个非常有趣的项目,实际上我觉得就算没有自动程序,如果能有大量的人员进行标记,手工裁剪分段也是可以的(有自动程序当然更好)。

版权法律相关的我不太了解,之前做 Animeloop 也是全凭兴趣做好随时关站跑路(笑

不过,与其一开始就计划数据集标注系统这样偏复杂的项目,不如先定个小目标,试试写出一些能用的剪片段(不同于剪loops)的cli工具,如果效果很好,我们可以继续考虑进一步开发标注系统。标注系统总的来说实现还不算很难(我个人认为),只要不牵涉到推荐系统,差不多也就是个 CRUD 的活儿。

googleblog 那篇文章我抽时间看看

另外,我无法访问 sakugabooru.com Error 520 看上去这个站是没有在维护了?

koke2c95 commented 4 years ago

感谢回复!

animeloop竟如此简单的机制,原来都是全自动。但可惜我只有家宽没带宽资源复现(

sakugabooru能够正常访问

大佬没有继续深入研究deep learning那很可惜啊,(illus2vec其实就是VGG) 等大佬有能力搞这些,我再重提此issue

关于动画标注数据库,我构思了一种不同于CRUD的设计,但整体设计还是booru dataset_system_plan.md

如果实现,可玩性将非常高!