웹

[anybirds]

[목표] \ 11.25 수요일까지 핵심 기능 및 추가 기능 완성

[레퍼런스] \ ChromeVox 다운로드 \ https://chrome.google.com/webstore/detail/chromevox-classic-extensi/kgejglhpjiefppelpmljglcjbhoiplfn?hl=en#:~:text=The%20ChromeVox%20Classic%20Extension%20screen,Chrome%20to%20visually%20impaired%20users.&text=This%20extension%20specifically%20works%20within%20the%20Chrome%20browser%20to%20read%20content%20aloud.

Extensions 코드 뜯어보는 방법 \ https://www.bleepingcomputer.com/tutorials/how-to-view-files-installed-by-a-chrome-extension/#:~:text=When%20extensions%20are%20installed%20into,the%20ID%20of%20the%20extension.

Extensions 공부 \ https://developer.chrome.com/extensions/getstarted \ https://developer.chrome.com/extensions/content_scripts \ https://developer.chrome.com/extensions/samples \ Get Started Tutorial + Content Script + Samples 몇 개 뜯어서 보시면 이해가 빠르실 것 같습니다.

[핵심기능]

1. 하준 - 특정 type의 웹 element를 순서대로 하나씩 읽어내기
   • 단축키로 웹 element type 지정, 순서대로 넘기기 기능
   • TTS(Text to Speech)
2. 현지 - popup에서 TextVQA를 통해 사용자의 질문에 답하기
   • popup UI 구성
   • 단축키로 popup 띄우기 기능
   • 현재 선택된 web page, image 또는 element에 대해 질의응답

[추가기능]

1. 모델 불러오기
   • ONNX pytorch-javascript
2. 사용자로부터 입력받는 동안 입력한 내용 읽어내기

[다음목표] \ 11.30까지 Model evaluation 해보고 발표 자료 완성하기

[anybirds]

[TTS library 불러오기]

ChromeVox github https://github.com/operasoftware/chromevox

TTS samples https://developer.chrome.com/extensions/samples#search:tts

Speak Selection sample 보고 chrome.tts api 사용하면 아래 기능 얼추 구현 가능

1. background에서 문장 소리내서 읽는 함수 구현
2. content script에서 선택된 element의 문장을 뽑아내 message passing으로 background에서 소리내서 읽게 하기
3. options script에서 localStorage를 활용해 볼륨, 목소리, 말하기 속도 등 저장