code
β£ audio
β β£ audio_check_dB.py
β β£ audio_crop.py
β β£ audio_remove_noise.py
β β£ audio_to_mfcc.py
β β audio_wav_cropping.py
β£ crawling
β β£ crawling_detect.py
β β£ crawling_rename_video.py
β β£ crawling_select_csv.py
β β£ crawling_urlsave.py
β β crawling_videosave.py
β£ EDA
β β£ EDA_deepfake.ipynb
β β£ EDA_HQvoxceleb.ipynb
β β£ EDA_OLKAVS.ipynb
β β EDA_survey.ipynb
β£ image
β β£ image_clipseg2.py
β β image_face_frame.py
β£ preprocess
β β£ preprocess_file_tree_csv.py
β β preprocess_image_gender_csv.py
β£ relabel
β β£ relabel_detect_getframe.py
β β£ relabel_select_csv.py
β β relabel_Vox_age.py
β£ total
β β£ total_audio_video_image.py
β β total_origin_remove.py
β video
β£ video_clipimage.py
β video_download.py
β README.md
β requirements.txt
β airflow_docker
β Dockerfile
...
audio_check_dB.py
: νΉμ dB κ°μ νμΈνμ¬ μ¬λμ μμ± μ¬λΆλ₯Ό νλ³νλ μ€ν¬λ¦½νΈμ
λλ€.audio_dB_crop.py
: μ€λμ€ νμΌμμ μΈκ°μ λͺ©μ리 μΈκ·Έλ¨ΌνΈλ₯Ό μΆμΆνκ³ κ°μ§λ μμ± μΈκ·Έλ¨ΌνΈλ₯Ό ν¬ν¨νλ μλ‘μ΄ μ€λμ€ νμΌμ 10μ΄λ‘ μλ₯΄λ μ€ν¬λ¦½νΈμ
λλ€.audio_remove_noise.py
: μ€λμ€ νμΌμμ μμ±μ λΆλ¦¬ν ν λ
Έμ΄μ¦λ₯Ό μ€μ΄κ³ μ¦νννλ μ€ν¬λ¦½νΈ μ
λλ€.audio_to_mfcc.py
: μ€λμ€ νμΌμ MFCC μ΄λ―Έμ§λ‘ λ³ννμ¬ μ μ₯νλ μ€ν¬λ¦½νΈ μ
λλ€.audio_wav_cropping.py
: JSON POINTμ λ§μΆ° μ€λμ€λ₯Ό μλ₯΄λ μ€ν¬λ¦½νΈμ
λλ€.crawling_detect.py
: λΉλμ€ ν΄λ¦½μμ μΌκ΅΄κ³Ό μ€λμ€λ₯Ό κ°μ§νκ³ μΈλΆννλ μ€ν¬λ¦½νΈμ
λλ€.crawling_rename_video.py
: 'download' ν΄λμμ λΉλμ€ μ΄λ¦κ³Ό CSVμ μΈλ±μ€λ₯Ό λ§μΆλ μ€ν¬λ¦½νΈμ
λλ€.crawling_select_csv.py
: μ£Όμ΄μ§ CSV νμΌμμ YouTube IDλ₯Ό μ°Ύμ ν΄λΉνλ νμΌ μ΄λ¦μμ μ 보λ₯Ό μΆμΆνκ³ , μ΄ μ 보λ₯Ό μλ‘μ΄ CSV νμΌμ μ μ₯νλ κ°λ¨ν λ°μ΄ν° μ²λ¦¬ μμ
μ μννλ μ€ν¬λ¦½νΈμ
λλ€.crawling_urlsave.py
: Seleniumμ μ¬μ©νμ¬ YouTube ν¬λ‘€λ§μ μννμ¬ μ½ 162κ°μ λΉλμ€μ λν μ΄λ¦, μ λͺ© λ° URL μ 보λ₯Ό Youtube_search_df.csvμ μ μ₯νλ μ€ν¬λ¦½νΈμ
λλ€.crawling_videosave.py
: 'crawling_urlsave.py
'λ₯Ό ν΅ν΄ μ»μ URLμμ λΉλμ€λ₯Ό λ€μ΄λ‘λνλ μ€ν¬λ¦½νΈμ
λλ€. λΉλμ€λ 'download' ν΄λμ μ μ₯λ©λλ€.EDA_deepfake.ipynb
: 'λ₯νμ΄ν¬ λ³μ‘° μμ' λ°μ΄ν°μ
metadataλ₯Ό ν΅ν EDA μ€ν¬λ¦½νΈμ
λλ€.EDA_HQvoxceleb.ipynb
: 'HQ-Voxceleb' λ°μ΄ν°μ
metadataλ₯Ό ν΅ν EDA μ€ν¬λ¦½νΈμ
λλ€.EDA_OLKAVS.ipynb
: 'OLKAVS' λ°μ΄ν°μ
metadata, voiceλ₯Ό ν΅ν EDA μ€ν¬λ¦½νΈμ
λλ€.EDA_survey.ipynb
: μλΉμ€ μ΄μ©μλ₯Ό λμμΌλ‘ μ§νν μ€λ¬Έμ‘°μ¬ EDA μ€ν¬λ¦½νΈμ
λλ€.image_clipseg2.py
: CLIPSeg λͺ¨λΈμ μ¬μ©νμ¬ ν
μ€νΈ ν둬ννΈλ₯Ό κΈ°λ°μΌλ‘ μ΄λ―Έμ§ μΈλΆνλ₯Ό μννλ μ€ν¬λ¦½νΈμ
λλ€. μ΄λ―Έμ§λ₯Ό λΆλ¬μ ν
μ€νΈ ν둬ννΈλ‘ μ²λ¦¬νκ³ , μλ³λ κ°μ²΄λ₯Ό κΈ°λ°μΌλ‘ μΈλΆνλ μ΄λ―Έμ§λ₯Ό μμ±ν©λλ€.image_face_frame.py
: λΉλμ€μμ μ¬λμ μΌκ΅΄μ΄ μ λ©΄μ΄κ³ , λμ λ¨κ³ μμ λ μΊ‘μ³νκ³ λ°°κ²½μ μ κ±°νλ μ€ν¬λ¦½νΈμ
λλ€.preprocess_file_tree_csv.py
: OLKAVS λ°μ΄ν°μ
μ 체λ₯Ό νμ΅(train), κ²μ¦(validation), ν
μ€νΈ(test) 3κ°μ§λ‘ λλ ν, κ° λ°μ΄ν°μ
μ μ 보λ₯Ό CSV νμΌλ‘ μ μ₯νλ μ€ν¬λ¦½νΈμ
λλ€.preprocess_image_gender_csv.py
: μ΄λ―Έμ§ κ²½λ‘μ μ±λ³ λ°μ΄ν°λ₯Ό 맀μΉν΄ csv νμΌλ‘ μ μ₯νλ μ€ν¬λ¦½νΈμ
λλ€.relabel_detect_getframe.py
: μ£Όμ΄μ§ λΉλμ€μμ μΌκ΅΄μ κ°μ§νκ³ , κ°μ§λ μΌκ΅΄μ λν΄ μ±λ³κ³Ό μ°λ Ήμ μΆμ νμ¬ νλ©΄μ νμνκ³ , μΌμ ν κ°κ²©μΌλ‘ νλ μμ μΊ‘μ²νμ¬ μ΄λ―Έμ§ νμΌλ‘ μ μ₯νλ κΈ°λ₯μ μνν©λλ€.relabel_select_csv.py
: λ°μ΄ν° κ²½λ‘μμ YouTube IDλ₯Ό μΆμΆνκ³ , νμΌ μ΄λ¦μμ νμν μ 보λ₯Ό μΆμΆνμ¬ μλ‘μ΄ CSV νμΌμ μ μ₯νλ μ€ν¬λ¦½νΈμ
λλ€.relabel_Vox_age.py
: μ΄λ―Έμ§ ν΄λμμ μ΄λ―Έμ§λ€μ μ½μ΄μ κ° μ΄λ―Έμ§μ λμ΄λ₯Ό μμΈ‘νκ³ , κ°μ₯ νν λμ΄ κ·Έλ£Ήμ μΈμ μΆλ ₯νκ³ , κ·Έ κ²°κ³Όλ₯Ό CSV νμΌμ μ μ₯νλ μμ
μ μνν©λλ€.video_clipimage.py
: μ£Όμ΄μ§ μ΄λ―Έμ§μμ μΌκ΅΄μ κ°μ§νκ³ , κ°μ§λ μΌκ΅΄ μμμ μ¬κ°νμΌλ‘ νμν ν ν΄λΉ μΌκ΅΄μ 256x256 ν¬κΈ°λ‘ μ‘°μ νμ¬ μ μ₯νλ μμ
μ μνν©λλ€.video_download.py
: μ£Όμ κΈ°λ₯μ μ£Όμ΄μ§ YouTube λΉλμ€ λ§ν¬μμ λΉλμ€λ₯Ό λ€μ΄λ‘λνκ³ , λ€μ΄λ‘λν λΉλμ€λ₯Ό mp4 λλ mp3 νμμΌλ‘ λ³ννλ μ€ν¬λ¦½νΈμ
λλ€.total_audio_video_image.py
: μ€λμ€, λΉλμ€ λ° μ΄λ―Έμ§μ κ΄λ ¨λ μμ
μ μ΄ μννλ μ€ν¬λ¦½νΈμ
λλ€.total_origin_remove.py
: λ°μ΄ν° κ²½λ‘μμ μλ³Έ νμΌμ μ κ±°νλ μ€ν¬λ¦½νΈμ
λλ€.
su -
source .bashrc
conda create -n env python=3.8
conda activate env
deactivate
To Install the necessary packages listed in requirements.txt
, run the following command while your virtual environment is activated:
pip install -r requirements.txt