Closed YoshikiKubotani closed 4 months ago
I conducted an additional experiment comparing the response with and w/o the chat history. (llm model: gpt-3.5-turbo-0125
)
query: "motion synthesisとはどのようなタスクを指すのでしょうか?"
response: "モーション合成(motion synthesis)は、人間の身体骨格の理解可能な空間的および時間的な運動の生成を指します。現在の手法では、手動で構造化されたシーケンスまたはグラフベースの構造から構造的および動的なパターンを抽出します。これらの表現は、時系列の依存関係を学習するために自己回帰的なモデル、または確率分布を学習するために生成モデルを介してアクションを合成するために使用されます。"
query: "では他にはどのような手法がありますか?"
response: "他にも、自己教師付き学習や強化学習などがあります。自己教師付き学習では、モデルが自ら生成したデータを使って学習する方法です。一方、強化学習では、報酬を最大化するような行動を学習するために環境とのやり取りを通じて学習します。これらの手法も動作生成やサンプル品質の向上に役立つことがあります。"
query: "ありがとうございます。あなたの今までの解答をまとめていただけますか?"
response: "もちろんです。提供された情報に基づいて以下のようにまとめることができます。\n\n1. 追加実験(セクションA):追加の実験を行い、その結果を報告しています。\n2. 追加の質的結果(セクションB):追加の質的結果を提供しています。\n3. 実装の詳細(セクションC):実装の詳細について説明しています。\n\n何か他に質問があればお知らせください。"
query: "motion synthesisとはどのようなタスクを指すのでしょうか?"
response: "モーション合成(motion synthesis)は、人間の身体の骨格の空間的および時間的な運動の生成を指します。現在の方法では、手動で構造化されたシーケンスまたはグラフベースの構造から構造的および動的なパターンを抽出し、それらの表現を用いてアクションを合成します。これは、自己回帰(時系列の依存関係を学習するため)または生成モデル(確率分布を学習するため)を用いて行われます。"
query: "では他にはどのような手法がありますか?"
response: "モーション合成にはさまざまな手法があります。自己回帰型の手法としては、LSTMやGRUなどのリカレントニューラルネットワークが広く使用されています。また、生成モデルには、Generative Adversarial Networks(GANs)やVariational Autoencoders(VAEs)などが利用されることもあります。他にも、トランスフォーマーモデルやニューラル放射輝度場(neural radiance fields)などの新しい手法も取り入れられることがあります。これらの手法は、モーション合成における様々な課題に対処するために使用されます。"
query: "ありがとうございます。あなたの今までの解答をまとめていただけますか?"
response: "モーション合成(motion synthesis)は、人間の身体の骨格の空間的および時間的な運動の生成を指します。現在の方法では、手動で構造化されたシーケンスまたはグラフベースの構造から構造的および動的なパターンを抽出し、それらの表現を用いてアクションを合成します。これは、自己回帰(時系列の依存関係を学習するため)または生成モデル(確率分布を学習するため)を用いて行われます。モーション合成には、リカレントニューラルネットワーク(LSTMやGRUなど)、Generative Adversarial Networks(GANs)、Variational Autoencoders(VAEs)、トランスフォーマーモデル、ニューラル放射輝度場(neural radiance fields)などの手法が使用され、様々な課題に対処するために活用されます。
I faced following error during local test.
Cloud you double check if the file data/templates/question_making_template.txt
is needed or not?
Issue URL
NA
Change overview
How to test
1. Prerequisite
environments/.env
referringenvironments/.env.sample
and specify the keys above as environment variablesDownload the OCR-ed paper data from here and place as below.
2. Local Test
Due to modifications to the Dockerfile, it is necessary to restart the container once.
All the steps below should be processed inside the container
Check if the RAG-based chat logic works properly on http://localhost:8000/docs
path parameters (![image](https://github.com/cvpaperchallenge/Crux/assets/61688218/33ad5be0-566b-4109-a6a9-9f6ecb058098)
user_id
andconversation_id
) are to be used to treat each user's conversation as different and to provide different chat historyIf you get the responses below, the logic works correctly.![image](https://github.com/cvpaperchallenge/Crux/assets/61688218/e2232e8d-f09a-4c0b-9dd1-f3b02ba7508d)
3. Test on AWS
I deployed it as a serverless application to AWS Lambda. You can verify its operation by sending a request to the Lambda function's URL. Calling the lambda from a function URL requires the signature with AWS Signature Version 4, but the signature generation process is complicated and takes much time. Thus, using tools like Postman is recommended link
The command below is one example of calling a lambda function with the basic curl command. link *I DID NOT check the below command works without problems as I used Postman.
The following process summarizes the steps to deploy a serverless application using AWS Lambda functions. Although it's possible to test using the above command, I've briefly summarized it here for sharing and recording purposes.
Install AWS CLI on the host PC. link *all commands on the following step should be executed on your host PC, not inside the container
Authenticate the Docker client against the Amazon ECR registry (issue a 12-hour valid token and perform docker login, it's necessary to execute this again after 12 hours).
environments/deploy/Dockerfile.backend
to create a Docker image.Create a function from the container image uploaded to Amazon ECR on the AWS Lambda page. link
Change the timeout settings of the Lambda function and the memory of the resources to be provisioned as shown in the photo.
Generate the function URL for the created function. link *This time, since I wanted only authorized persons to access it, I set the Auth Type to AWS_IAM.
Note for reviewers