Audio reading

[maxidrom]

https://www.amplenote.com/notes/ac7e12ca-5922-11ee-a6c4-ee47d1f4bc09?query=onboundary

• • onPlay
  • Take logically completed peace of text
  • Choose start
    • Right after the first period.
  • Choose finish
  • Utter::Start
• onboundary
  • if end of sentence
  • trigger text scrolling
    • triggers (implemented) location saving
• on Stop (Pause)
  • Utter::Stop

[maxidrom]

• [ ] reading after current page
• [ ] scroll while reading
• [ ] start audio when no text in visible area

[maxidrom]

• utterThis.onboundary дает только начала слов. Не дает ничего связанного с предложением.
• utterThis.onmark не сработал. Похоже SSML до сих пор не реализовали
• Поэтому я собираюсь расширить функционал Web Speech API функционалом помогающим со скроллингом (либо добавить работу с концом предложения, либо с концом спана). Заодно спрятать детали работы с синтезатором.
• есть еще вариант отдавать синтезатору по одному предложению тогда просто по событию окончания чтения тригерить скроллинг на следующий спан.

[maxidrom]

https://github.com/maxidrom/pdf.js/commit/e2f12f3b9711a9f958b15e0db6b03417b11101a7

• idea of mapping between text speaking and spans
  • idea rejected due to the fact that android not support end and boundary events. So don't know how to get current char index.
• experimental scroll

[maxidrom]

Cleaned code from commented peaces. Need to be tested and committed.

[maxidrom]

https://cloud.google.com/text-to-speech/docs/apis https://developers.google.com/assistant/conversational/ssml#mark https://www.w3.org/TR/speech-synthesis/#S3.3.2

[maxidrom]

https://www.amplenote.com/notes/cdbe08d4-6226-11ee-8ba3-42f4b3d87a1e

[maxidrom]

829d7362ec965ffaf848d55cbb002ed2e0e2928d

• if sentence starts from the beginning of the screen it reads next sentence because it looks for .!?

[maxidrom]

With stopping on page edge.