search

metaiintw / build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face

198 stars 60 forks source link

Strange answer from avatar #3

Open 0781532 opened 1 year ago

0781532 commented 1 year ago

Hi Author,

Thank you for your contribution.

I had successfully communicated with the avatar.

I faced some problems when talking with the avatar. Could you help to answer them?

  1. I asked some simple questions in Chinese like " 你是誰？你叫什麼名字？台灣在哪裡？" but the answers all went wrong and strange. Did I install something wrong? or how to make the avatar answer right? "We use the Gossiping-Chinese-Corpus as the question-answering dataset, because it contains a total of 774,114 question-answer pairs on different topics."

  2. The avatar just can answer one question at one time and the channel was closed. Say something Sending audio data... SUCCESS Closed channel

*What should I do if I want to keep asking more questions after the avatar answers the first one? I want to keep a long enough communication with the avatar.

  1. Do we need to connect to the internet or server when running this program/code?

Thank you very much!

Camila

metaiintw commented 1 year ago

Hi there, thank you for sending me the messages. I am actually a Taiwanese, please feel free to communicate in Chinese. 🤝

0781532 @.***>於 2022年10月21日 週五，17:11寫道：

Hi Author,

Thank you for your contribution.

I had successfully communicated with the avatar.

I faced some problems when talking with the avatar. Could you help to answer them?

1.

I asked some simple questions in Chinese like " 你是誰？你叫什麼名字？台灣在哪裡？" but the answers all went wrong and strange. Did I install something wrong? or how to make the avatar answer right? "We use the Gossiping-Chinese-Corpus https://github.com/zake7749/Gossiping-Chinese-Corpus as the question-answering dataset, because it contains a total of 774,114 question-answer pairs on different topics." 2.

The avatar just can answer one question at one time and the channel was closed. Say something Sending audio data... SUCCESS Closed channel

*What should I do if I want to keep asking more questions after the avatar answers the first one? I want to keep a long enough communication with the avatar.

  1. Do we need to connect to the internet or server when running this program/code?

Thank you very much!

Camila

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPHEQBBEDESTPCJ4PW3WEJM5BANCNFSM6AAAAAARK66FSY . You are receiving this because you are subscribed to this thread.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3 @github.com>

metaiintw commented 1 year ago
  1. 聊天機器人回答問題是基於在資料集內搜尋最接近使用者的問題，並且用對應的答案作為回答。因此，任何資料集內所不包含的問題就會得到奇怪的回答。

您可以擴充這個資料集的問題跟對應的答案，聊天機器人就能夠正確回答。

  1. 您可以寫一個迴圈，讓對話可以無限量持續下去
  2. 是的，程式運行時一定要連上網路，因為使用者的語音是透過 Google speech recognition web API 所辨識的。

有任何問題歡迎討論，我是 MetAI 的嘉呈，很高興認識您

MetAI - 宇見智能徐嘉呈 @.***>於 2022年10月21日 週五，17:23寫道：

Hi there, thank you for sending me the messages. I am actually a Taiwanese, please feel free to communicate in Chinese. 🤝

0781532 @.***>於 2022年10月21日 週五，17:11寫道：

Hi Author,

Thank you for your contribution.

I had successfully communicated with the avatar.

I faced some problems when talking with the avatar. Could you help to answer them?

1.

I asked some simple questions in Chinese like " 你是誰？你叫什麼名字？台灣在哪裡？" but the answers all went wrong and strange. Did I install something wrong? or how to make the avatar answer right? "We use the Gossiping-Chinese-Corpus https://github.com/zake7749/Gossiping-Chinese-Corpus as the question-answering dataset, because it contains a total of 774,114 question-answer pairs on different topics." 2.

The avatar just can answer one question at one time and the channel was closed. Say something Sending audio data... SUCCESS Closed channel

*What should I do if I want to keep asking more questions after the avatar answers the first one? I want to keep a long enough communication with the avatar.

  1. Do we need to connect to the internet or server when running this program/code?

Thank you very much!

Camila

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPHEQBBEDESTPCJ4PW3WEJM5BANCNFSM6AAAAAARK66FSY . You are receiving this because you are subscribed to this thread.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3 @github.com>

0781532 commented 1 year ago

Hi 嘉呈， 我是Camila。 謝謝你的回答， 也感謝你的貢獻。

  1. 聊天機器人回答問題是基於在資料集內搜尋最接近使用者的問題，並且用對應的答案作為回答。因此，任何資料集內所不包含的問題就會得到奇怪的回答。 -->謝謝你。我用資料集內的問題去問，但他還是回答不對。我可能重新run一下程式看看。

您可以擴充這個資料集的問題跟對應的答案，聊天機器人就能夠正確回答。 -->data／Gossiping-QA-Dataset-2_0-non-null-old.csv 都是亂碼。不知道如何擴充資料集的問題跟對應的答案？

  1. 您可以寫一個迴圈，讓對話可以無限量持續下去 -->謝謝

  2. 是的，程式運行時一定要連上網路，因為使用者的語音是透過 Google speech recognition web API 所辨識的。 --> 謝謝

Camila

metaiintw commented 1 year ago

Dear, 目前程式當中設定為從資料集中搜尋 N 個類似的問題，從中隨機挑一個作為答案，您把 N 設定成 1 就可以找到最正確的答案了！

0781532 @.***>於 2022年10月21日 週五，17:47寫道：

Hi 嘉呈， 我是Camila。 謝謝你的回答， 也感謝你的貢獻。

  1. 聊天機器人回答問題是基於在資料集內搜尋最接近使用者的問題，並且用對應的答案作為回答。因此，任何資料集內所不包含的問題就會得到奇怪的回答。 -->謝謝你。我用資料集內的問題去問，但他還是回答不對。我可能重新run一下程式看看。

您可以擴充這個資料集的問題跟對應的答案，聊天機器人就能夠正確回答。 -->data／Gossiping-QA-Dataset-2_0-non-null-old.csv 都是亂碼。不知道如何擴充資料集的問題跟對應的答案？

1.

您可以寫一個迴圈，讓對話可以無限量持續下去 -->謝謝 2.

是的，程式運行時一定要連上網路，因為使用者的語音是透過 Google speech recognition web API 所辨識的。 --> 謝謝

Camila

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1286720011, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPFO6TWPZG52OR2TKADWEJRBJANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1286720011 @github.com>

metaiintw commented 1 year ago

亂碼是因為編碼問題，您可以用可以開啟中文編碼的編輯器試看看，或是直接用我的程式碼、使用 pandas 去擴充問題跟答案的對應，有需要幫忙的話我晚點傳簡單範例給您看

MetAI - 宇見智能徐嘉呈 @.***>於 2022年10月21日 週五，17:49寫道：

Dear, 目前程式當中設定為從資料集中搜尋 N 個類似的問題，從中隨機挑一個作為答案，您把 N 設定成 1 就可以找到最正確的答案了！

0781532 @.***>於 2022年10月21日 週五，17:47寫道：

Hi 嘉呈， 我是Camila。 謝謝你的回答， 也感謝你的貢獻。

1. 聊天機器人回答問題是基於在資料集內搜尋最接近使用者的問題，並且用對應的答案作為回答。因此，任何資料集內所不包含的問題就會得到奇怪的回答。 -->謝謝你。我用資料集內的問題去問，但他還是回答不對。我可能重新run一下程式看看。

您可以擴充這個資料集的問題跟對應的答案，聊天機器人就能夠正確回答。 -->data／Gossiping-QA-Dataset-2_0-non-null-old.csv 都是亂碼。不知道如何擴充資料集的問題跟對應的答案？

1.

您可以寫一個迴圈，讓對話可以無限量持續下去 -->謝謝 2.

是的，程式運行時一定要連上網路，因為使用者的語音是透過 Google speech recognition web API 所辨識的。 --> 謝謝

Camila

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1286720011, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPFO6TWPZG52OR2TKADWEJRBJANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1286720011 @github.com>

0781532 commented 1 year ago

目前程式當中設定為從資料集中搜尋 N 個類似的問題，從中隨機挑一個作為答案，您把 N 設定成 1 就可以找到最正確的答案了！ -->請問你所說的N是在程式裡面的第幾行呢？我找不到。

0781532 commented 1 year ago

...直接用我的程式碼、使用 pandas 去擴充問題跟答案的對應，需要幫忙的話我晚點傳簡單範例給您看 -->我會試試看，但也希望你可以提供範例給我參考一下。 感謝你！

metaiintw commented 1 year ago

抱歉，N 只是一個表示，程式碼的對應 Answer 中有一個 top_k 參數，改成 1 即可

0781532 @.***>於 2022年10月21日 週五，17:55寫道：

目前程式當中設定為從資料集中搜尋 N 個類似的問題，從中隨機挑一個作為答案，您把 N 設定成 1 就可以找到最正確的答案了！ -->請問你所說的N是在程式裡面的第幾行呢？我找不到。

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1286729146, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPDYJMHMIIQKYJMPBFLWEJSBVANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1286729146 @github.com>

metaiintw commented 1 year ago

MetAI - 宇見智能徐嘉呈 @.***>於 2022年10月21日 週五，18:00寫道：

抱歉，N 只是一個表示，程式碼的對應 Answer 中有一個 top_k 參數，改成 1 即可

0781532 @.***>於 2022年10月21日 週五，17:55寫道：

目前程式當中設定為從資料集中搜尋 N 個類似的問題，從中隨機挑一個作為答案，您把 N 設定成 1 就可以找到最正確的答案了！ -->請問你所說的N是在程式裡面的第幾行呢？我找不到。

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1286729146, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPDYJMHMIIQKYJMPBFLWEJSBVANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1286729146 @github.com>

0781532 commented 1 year ago

抱歉，N 只是一個表示，程式碼的對應 Answer 中有一個 top_k 參數，改成 1 即可 -->我找到了，非常感謝你。

a1445605672 commented 1 year ago

您好，請問下執行到這一步以後，是在瀏覽器輸入localhost:50051這個地址嗎 image

metaiintw commented 1 year ago

Dear:

針對您遇到的兩個問題給您回答：

  1. 此應用代碼內使用了 Google Speech Recognition API 來便是使用者輸入的語音，所以運行時請務必確定電腦有連上網路。
  2. localhost:50051 是 NVIDIA Audio2Face 所用來接收音頻的 port，不是在 web browser 中開啟，您需要確保 NVIDIA Audio2Face 在啟動的狀態，您可以參考這一篇官方教學 https://www.youtube.com/watch?v=qKhPwdcOG_w&t=33s

有任何進一步的問題都歡迎交流

Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1288112323 @github.com>

0781532 commented 1 year ago

嘉呈你好，

請問一下， 目前有任何辦法應用Player Streaming Audio於一個customer character嗎？

謝謝！ Camila

metaiintw commented 1 year ago

可以，您可以參考這篇教學、將人臉動畫遷移到自己的角色上： https://youtu.be/SkFrmiA_kLE

0781532 @.***>於 2022年10月28日 週五，10:04寫道：

嘉呈你好，

請問一下， 目前有任何辦法應用Player Streaming Audio於一個customer character嗎？

謝謝！ Camila

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1294343945, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPG6PKFNVAXIM3JNIATWFMYEBANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1294343945 @github.com>

0781532 commented 1 year ago

嘉呈你好，

我的問題是有沒有辦法將你的interactive互動講話的程式套用在一個customer character。

目前只能用在Demo Fullface Mark嗎？？？

Character transfer 我可以做到customer character，但沒辦法應用你的interactive互動講話的程式去執行。

謝謝 Camila

metaiintw commented 1 year ago

可以呀，用 streaming player 驅動 mark、再用 mark 遷移到您的自定義人物。在我的程式內沒有實作，但您透過教學影片應該就可以自行實作

0781532 @.***>於 2022年10月28日 週五，10:38寫道：

嘉呈你好，

我的問題是有沒有辦法將你的interactive互動講話的程式套用在一個customer character。

目前只能用在Demo Fullface Mark嗎？？？

Character transfer 我可以做到customer character，但沒辦法應用你的interactive互動講話的程式去執行。

謝謝 Camila

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1294370042, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPA3UMW2T7BDFRF7MV3WFM4DDANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1294370042 @github.com>

0781532 commented 1 year ago

謝謝嘉呈!

"用 streaming player 驅動 mark、再用 mark遷移到您的自定義人物"流程是這樣沒錯，但我add "Streaming Audio Player" 之後，啟動Lazy Graph （AudioFace 2022.1.2 沒有Ominigraph）一直沒有辦法找到/audio2face/player_instance去連。

我是不是哪裡理解錯誤？！

ERROR: Audio Player Streaming: instance does not exist: /audio2face/player_instance Closed channel

如果Open Demo Scene／Fullface Core+Streaming Player，我自己的customer character和Mark就不見了。

不好意思，問你太多問題。

謝謝 Camila

metaiintw commented 1 year ago

Dear: 沒問題的，有事多交流別客氣，我盡量協助您。 我先前有做出一個 demo，恰好就是您的需求，這幾天忙完找時間再回復您的問題唷，謝謝！

0781532 @.***> 於 2022年10月28日 週五 上午11:14寫道：

謝謝嘉呈!

"用 streaming player 驅動 mark、再用 mark遷移到您的自定義人物"流程是這樣沒錯，但我add "Streaming Audio Player" 之後，啟動Lazy Graph （AudioFace 2022.1.2 沒有Ominigraph）一直沒有辦法找到/audio2face/player_instance去連。

我是不是哪裡理解錯誤？！

ERROR: Audio Player Streaming: instance does not exist: /audio2face/player_instance Closed channel

如果Open Demo Scene／Fullface Core+Streaming Player，我自己的customer character和Mark就不見了。

不好意思，問你太多問題。

謝謝 Camila

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1294394459, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPEAK4NZ4GP7UVH56WLWFNAIFANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1294394459 @github.com>

0781532 commented 1 year ago

Dear 嘉呈，

這樣太好了！ 好期待！

非常感謝, Camila

0781532 commented 1 year ago

Dear 嘉呈，

我剛剛把上面的問題解決了。謝謝你的幫忙!

你上次有提到： 『亂碼是因為編碼問題，您可以用可以開啟中文編碼的編輯器試看看，或是直接用我的程式碼、使用 pandas 去擴充問題跟答案的對應，有需要幫忙的話我晚點傳簡單範例給您看』 －－》等你有空可以傳簡單範例給您看嗎?

謝謝 ～ Camila

metaiintw commented 1 year ago

Dear Camila:

能否麻煩您能否透過 README 首頁的我的 linkedin 加我，用訊息交流比較直接呢?

Renton

0781532 @.***> 於 2022年10月28日 週五 下午4:43寫道：

Dear 嘉呈，

我剛剛把上面的問題解決了。謝謝你的幫忙!

你上次有提到： 『亂碼是因為編碼問題，您可以用可以開啟中文編碼的編輯器試看看，或是直接用我的程式碼、使用 pandas 去擴充問題跟答案的對應，有需要幫忙的話我晚點傳簡單範例給您看』 －－》等你有空可以傳簡單範例給您看嗎?

謝謝 ～ Camila

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1294710114, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPDQB2VXSYYOWTTGHY3WFOG3FANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1294710114 @github.com>

positive666 commented 1 year ago

请问下 源码哪部分可以获取到blendshape的值

metaiintw commented 1 year ago

Dear:

Blendshape 的值預測是在 A2F 內自動進行的，原碼內沒有喔。

Best Renton

cheng @.***> 於 2022年10月31日 週一 下午2:13寫道：

请问下 源码哪部分可以获取到blendshape的值

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1296587734, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPAA35ZH4NEOXS7G5OLWF5PQVANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1296587734 @github.com>

positive666 commented 1 year ago

Dear: Blendshape 的值預測是在 A2F 內自動進行的，原碼內沒有喔。 Best Renton cheng @.***> 於 2022年10月31日 週一 下午2:13寫道： … 请问下 源码哪部分可以获取到blendshape的值 — Reply to this email directly, view it on GitHub <#3 (comment)>, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPAA35ZH4NEOXS7G5OLWF5PQVANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1296587734 @github.com> 我的理解是 TRT的模型是不可见的 但是AF2内部应该存在模型的输出和转换bs的过程把 ？

guanshiang commented 1 year ago

Dear: i got some error : image image

metaiintw commented 1 year ago

Dear:

Hello, the first problem you encountered is that the SentenceTransformer package could not be successfully imported, which resulted in all codes not being executed correctly. And the second problem is that the variable is not defined, you need to ensure that each line of code is executed in order. Try to understand why the package cannot be imported successfully and resolve it, then execute each line of code in sequence.

Best regards Renton

guanshiang @.***> 於 2023年1月17日 週二 下午12:04寫道：

Dear: i got some error : [image: image] https://user-images.githubusercontent.com/9477939/212807441-aaf22f27-116d-4890-9269-2687a6d54da6.png [image: image] https://user-images.githubusercontent.com/9477939/212807507-5f2fdb14-e6ee-4b3f-bb27-6559f46435cb.png

— Reply to this email directly, view it on GitHub https://github.com/metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3#issuecomment-1384805156, or unsubscribe https://github.com/notifications/unsubscribe-auth/AY2MCPBNAIFK2RDJZXNZYTTWSYK5DANCNFSM6AAAAAARK66FSY . You are receiving this because you commented.Message ID: <metaiintw/build-an-avatar-with-ASR-TTS-Transformer-Omniverse-Audio2Face/issues/3/1384805156 @github.com>