👩‍🦳Speech-and-object-recognition-for-elderly-people-living-alone👨‍🦳

프로젝트 소개

음성 인식과 컴퓨터 비전을 활용한 독거 노인 안부 확인 서비스
: 독거 노인들의 일상에 주기적으로 안부를 묻고, 위급한 상황 발생 시 비상 연락망으로 연락 조치할 수 있는 서비스

• 구현 동영상
  https://drive.google.com/file/d/1-zyx4oHsKzfmW0_0CCX7HMN1fujugCkJ/view?usp=sharing
  
  

📅 개발 기간

2024년 5월 3주 ~ 2024년 6월 3주차

⚙ 개발 환경

• 사용한 dataset
  https://drive.google.com/file/d/1cejStp1n6TYp6CaD2dsXXWqUxX40c6y4/view?usp=sharing
  
  

📢 OSS NOTICE

이 애플리케이션은 다음의 오픈소스 AI 모델을 포함합니다:

• yolov7 anaconda 가상환경

  conda create -n yolov7 python=3.7
  conda activate yolov7
  conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

• yolov7 git clone

  git clone https://github.com/WongKinYiu/yolov7.git
  cd yolov7
  pip install -r requirements.txt

• 음성 출력

  pip install gtts
  pip install SpeechRecognition
  pip install pyaudio
  pip install pygame
  pip install schedule
  pip install playsound
  pip install pydub 
  pip install ffmpeg-python
  # ffmpeg를 window에서 설치 시 별도의 설정이 필요합니다. 
  # reference : https://gumu.kr/blog/1091/ffmpeg-%EC%84%A4%EC%B9%98-%EB%B0%A9%EB%B2%95/

• 웹 서버

  pip install flask
  # download ngrok & execute

📜 flowchart

✔ 주요 기능

1. 사람(person / fallen person) 객체 인식
2. person으로 객체가 인식되면 알림 음성 출력 / fallen person으로 인식되면 움직여달라는 경고 음성 출력
3. 위급 상황으로(fallen person으로 객체 인식되나 움직임 없을 시) 판단 시 웹페이지 출력 및 이메일 전송
   
   

   

❓ 프로젝트 사용 방법

python main.py  # main.py 실행 

📌 Discussion

[ yolo 버전에 따른 한계점 비교 (pretrained model) ]

[ yolov9 모델 학습 문제 ]