shiguredo / sora-ios-sdk

WebRTC SFU Sora iOS SDK
https://sora-ios-sdk.shiguredo.jp/
Apache License 2.0
42 stars 8 forks source link

マルチストリーム接続での発言者の音量取得について #23

Open hkk opened 6 years ago

hkk commented 6 years ago

マルチストリーム(group)で接続したチャンネル内で、現在、どのユーザが発言しているかを分かりやすくする為に、発言者をハイライト表示したいと考えています。

そこで、同一のチャンネルに接続したストリームそれぞれの現在の音量を受信側で確認する方法はございますでしょうか?

iOS の仕様上実装は難しいのか、または、実装する方法について何かしらのヒントなどございましたらご教授頂けると幸いです。

どうぞよろしくお願いいたします。

voluntas commented 6 years ago

@hkk sora-ios-sdk で音声を個別に取得するという仕組みは提供できていません。理由としては WebRTC 部分に利用している libwebrtc が iOS SDK に音声が渡ってくる時点で全て合成されて渡ってきてしまうためです。

この部分は弊社でも課題と考えており、現在別の方法で解決を実装中です。

解決策としてシグナリングに利用している WebSocket 経由でサーバからクライアントそれぞれの音量が定期的に送られてくるといった機能を提供する予定です。早ければ 今月末リリース予定の 18.07 に含められる予定です。

仕組みとしては WebSocket 経由で定期的にクライアント単位での音量が送られてくるという仕組みです。

ご迷惑をおかけして申し訳ありませんが、お待ち頂ければと思います。

hkk commented 6 years ago

ありがとうございます。 上記機能が実装されるとユーザビリティを改善することができそうです。 どうぞよろしくお願いいたします。