ShinkaiTomomichi / SuiseiSongApp

歌枠の動画を自動再生するためのアプリを作成します
0 stars 0 forks source link

データベースの拡充 #8

Closed ShinkaiTomomichi closed 2 years ago

ShinkaiTomomichi commented 2 years ago

概要

歌枠のタイムスタンプなどを管理するためのデータベースが不十分であるため、これを拡充する

ゴール

データベースの拡充が完了する

ShinkaiTomomichi commented 2 years ago

誰のデータベースを作成するか

すいちゃんのデータベース作成は確定 上記作成完了後、追加で作成するとしたら誰の歌枠のデータセットを作るか検討したい

検討中の候補

注意

最終的には人力での管理になるため、3~5人がマックスになると思われる ※実際に運用した場合の知見などがあるとより具体化できそう

ShinkaiTomomichi commented 2 years ago

何をどのように収集するか

何を取るかとどう取るかはセットで検討する

何を収集するか

表形式で必要な情報をまとめる

キー名 詳細 備考
ID コンテンツを識別するためのID 一意になるようにする
Members 歌っているメンバー
SongName 曲名
StartTime 再生開始のタイムスタンプ
EndTime 再生終了のタイムスタンプ
VideoID Youtubeの動画ID
TrackName SpotifyAPIから取得した曲名 Spotifyで見つからなかった場合はSongNameと同じ(SongNameと被るので削除してもいいかも)
TrackID SpotifyAPIから取得した楽曲のID Spotifyで見つからなかった場合None
Duration 楽曲の総時間 (アプリでは不要なため削除してもいいかも)
ArtistName 楽曲を歌っているアーティスト 表記揺れをなくしておきたい
ArtistID SpotifyAPIから取得したアーティストのID Spotifyで見つからなかった場合None
ArtistURL SpotifyAPIから取得したアーティスト画像のURL Spotifyで見つからなかった場合None
ArtistGenres SpotifyAPIから取得したアーティストジャンル Spotifyで見つからなかった場合None
Collaboration メンバーが複数いる場合にTrue
Anime アーティストジャンルから識別
Rock アーティストジャンルから識別
Vocaloid アーティストジャンルから識別
Acappella 動画単位で識別
3DLive 動画単位で識別
現状追加できていない以下は必須であるため追加する キー名 詳細 備考
Date 投稿時間 ソートに利用する

どう収集するか

  1. 非公式Wikiのテーブルからスクレイピングで「動画ID、開始時刻、曲名、メンバー」を取得
  2. 曲名をSpotifyAPIにかけて追加情報を取得
  3. DurationからEndTimeを追加
  4. メンバーからCollaborationを自動で追加
  5. アーティストジャンルからAnime、Rock、Vocaloidを自動で追加
  6. 手動でアカペラと3DLiveフラグを追加
  7. YoutubeAPIにかけてDateを(他に必要な情報もあればそれも)追加

スクレイピングに関するルールは以下を見る限り特別な制限はないはず

ShinkaiTomomichi commented 2 years ago

他にもデータの収集を行うか

現在は月毎におすすめの動画を10本ほど追加している

今後オプションとしてどのようなデータを追加するかは検討したい

ShinkaiTomomichi commented 2 years ago

どういった情報を追加するかは永遠の課題であるため一旦クローズ