letta-ai / letta

Letta (formerly MemGPT) is a framework for creating LLM services with memory.
https://letta.com
Apache License 2.0
13.05k stars 1.43k forks source link

Can't run MemGPT with LMStudio... Everything broke down... #234

Closed ProjCRys closed 1 year ago

ProjCRys commented 1 year ago

Okay, first I tried setting up my venv to run MemGPT so I got this: run.bat @echo off setlocal

:: Set the path to your Python 3.10.0 installation set PYTHON_PATH=C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\python.exe

:: Set the path to the directory where you want to create the virtual environment set VENV_DIR=D:\AI\ChatBots\MemGPT_Setup\venv

:: Set the environment variables set OPENAI_API_BASE=http://localhost:1234 set BACKEND_TYPE=lmstudio

:: Create and activate the virtual environment %PYTHON_PATH% -m venv %VENV_DIR% call %VENV_DIR%\Scripts\activate

:: Run your Python script with the environment variables set set PYTHONPATH=%PYTHONPATH%;%VENV_DIR%\Lib\site-packages python MemGPT/main.py

:: Deactivate the virtual environment deactivate

endlocal

Error: Traceback (most recent call last): File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\main.py", line 1, in from memgpt.main import app File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\main.py", line 16, in from prettytable import PrettyTable ModuleNotFoundError: No module named 'prettytable'

I pip installed prettytable but didn't change anything.


So then I tried calling python main.py and this is what I got.

D:\AI\ChatBots\MemGPT_Setup\MemGPT>python main.py Warning: Running legacy run command. Run memgpt run instead. ? Continue with legacy CLI? Yes โš™๏ธ Found saved config file. ? Use most recent config file 'C:\Users\ADMIN.memgpt\configs\2023-10-30_08_25_34_AM_PDT-0700.json'? Yes Running... [exit by typing '/exit', list available commands with '/help'] ๐Ÿ’ญ Bootup sequence complete. Persona activated. Testing messaging functionality. ? Load in saved agent 'C:\Users\ADMIN.memgpt\saved_state\2023-10-30_09_07_01_AM_PDT-0700.json'? Yes Loaded checkpoint C:\Users\ADMIN.memgpt\saved_state\2023-10-30_09_07_01_AM_PDT-0700.json /load warning: loading persistence manager from C:\Users\ADMIN.memgpt\saved_state\2023-10-30_09_07_01_AM_PDT-0700.persistence.pickle failed with: Ran out of input Hit enter to begin (will request first MemGPT message) [A[K {'content': '{"status": "OK", "message": null, "time": "2023-10-30 09:04:29 AM ' 'PDT-0700"}', 'name': 'send_message', 'role': 'function'} Warning: no wrapper specified for local LLM, using the default wrapper step() failed user_message = None error = 'choices' 'choices' An exception ocurred when running agent.step(): Traceback (most recent call last): File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\main.py", line 524, in run_agent_loop ) = await memgpt_agent.step(user_message, first_message=False, skip_verify=no_verify) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\agent.py", line 1013, in step raise e File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\agent.py", line 958, in step response = await get_ai_reply_async(model=self.model, message_sequence=input_message_sequence, functions=self.functions) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\agent.py", line 159, in get_ai_reply_async raise e File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\agent.py", line 140, in get_ai_reply_async response = await acreate( File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\openai_tools.py", line 102, in wrapper raise e File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\openai_tools.py", line 82, in wrapper return await func(*args, kwargs) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\openai_tools.py", line 111, in acompletions_with_backoff return await get_chat_completion(kwargs) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\local_llm\chat_completion_proxy.py", line 52, in get_chat_completion result = get_lmstudio_completion(prompt) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\local_llm\lmstudio\api.py", line 42, in get_lmstudio_completion result = result["choices"][0]["message"]["content"] KeyError: 'choices' ? Retry agent.step()? Yes


I then also tried creating a new agent which led to this... D:\AI\ChatBots\MemGPT_Setup\MemGPT>python main.py Warning: Running legacy run command. Run memgpt run instead. ? Continue with legacy CLI? Yes โš™๏ธ Found saved config file. ? Use most recent config file 'C:\Users\ADMIN.memgpt\configs\2023-10-30_08_25_34_AM_PDT-0700.json'? No โš™๏ธ No settings file found, configuring MemGPT... ? Which model would you like to use? gpt-4 ? Which persona would you like MemGPT to use? memgpt_starter The following is a blank slate starter persona, I need to expand this to develop my own personality. My name is MemGPT. I am kind, thoughtful, and inquisitive. ('memgpt_starter', None) ? Which user would you like to use? basic First name: Chad ? Would you like to preload anything into MemGPT's archival memory? Yes ? What would you like to load? A folder or file ? Please enter the folder or file (tab for autocomplete): C:\Users\ADMIN.memgpt\saved_state ? Would you like to compute embeddings over these files to enable embeddings search? Yes โ›”๏ธ Embeddings on a non-OpenAI endpoint are not yet supported, falling back to substring matching search. โš™๏ธ Saved config file to C:\Users\ADMIN.memgpt\configs\2023-10-31_09_25_16_PM_PDT-0700.json. Running... [exit by typing '/exit', list available commands with '/help'] Preloaded 139 chunks into archival memory. Initializing InMemoryStateManager with agent object InMemoryStateManager.all_messages.len = 4 InMemoryStateManager.messages.len = 4 ๐Ÿ’ญ Bootup sequence complete. Persona activated. Testing messaging functionality. Hit enter to begin (will request first MemGPT message) [A[K Warning: no wrapper specified for local LLM, using the default wrapper step() failed user_message = None error = 'choices' 'choices' An exception ocurred when running agent.step(): Traceback (most recent call last): File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\main.py", line 524, in run_agent_loop ) = await memgpt_agent.step(user_message, first_message=False, skip_verify=no_verify) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\agent.py", line 1013, in step raise e File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\agent.py", line 949, in step response = await get_ai_reply_async(model=self.model, message_sequence=input_message_sequence, functions=self.functions) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\agent.py", line 159, in get_ai_reply_async raise e File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\agent.py", line 140, in get_ai_reply_async response = await acreate( File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\openai_tools.py", line 102, in wrapper raise e File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\openai_tools.py", line 82, in wrapper return await func(*args, kwargs) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\openai_tools.py", line 111, in acompletions_with_backoff return await get_chat_completion(kwargs) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\local_llm\chat_completion_proxy.py", line 52, in get_chat_completion result = get_lmstudio_completion(prompt) File "D:\AI\ChatBots\MemGPT_Setup\MemGPT\memgpt\local_llm\lmstudio\api.py", line 42, in get_lmstudio_completion result = result["choices"][0]["message"]["content"] KeyError: 'choices' ? Retry agent.step()? (Y/n)


And finally I tried pip install pymemgpt and use that as a last resort which then led to this: D:\AI\ChatBots\MemGPT_Setup>memgpt Warning: Running legacy run command. Run memgpt run instead. ? Continue with legacy CLI? Yes โš™๏ธ Found saved config file. ? Use most recent config file 'C:\Users\ADMIN.memgpt\configs\2023-10-31_09_25_16_PM_PDT-0700.json'? Yes โ›”๏ธ Embeddings on a non-OpenAI endpoint are not yet supported, falling back to substring matching search. โš™๏ธ Saved config file to C:\Users\ADMIN.memgpt\configs\2023-10-31_09_25_16_PM_PDT-0700.json. Running... [exit by typing '/exit', list available commands with '/help'] Preloaded 139 chunks into archival memory. Initializing InMemoryStateManager with agent object InMemoryStateManager.all_messages.len = 4 InMemoryStateManager.messages.len = 4 ๐Ÿ’ญ Bootup sequence complete. Persona activated. Testing messaging functionality. Hit enter to begin (will request first MemGPT message) [A[K Warning: no wrapper specified for local LLM, using the default wrapper step() failed user_message = None error = 'choices' 'choices'

I tried running it again and even with venv this is what I got: D:\AI\ChatBots\MemGPT_Setup\MemGPT>memgpt run ? Do you want to enable MemGPT with Open AI? Yes ? Open AI API keys not found in enviornment - please enter: http://localhost:1234 ? Do you want to enable MemGPT with Azure? No ? Select default endpoint: http://localhost:1234 ? Select default preset: memgpt_chat ? Select default model (recommended: gpt-4): gpt-4 ['memgpt_doc', 'memgpt_starter', 'sam', 'sam_pov', 'sam_simple_pov_gpt35'] ? Select default persona: memgpt_starter ['basic', 'cs_phd'] ? Select default human: basic Saving config to C:\Users\ADMIN.memgpt/config โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ Traceback (most recent call last) โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\site-packages\llama_index\embeddings\ โ”‚ โ”‚ huggingface.py:58 in init โ”‚ โ”‚ โ”‚ โ”‚ 55 โ”‚ โ”‚ callback_manager: Optional[CallbackManager] = None, โ”‚ โ”‚ 56 โ”‚ ): โ”‚ โ”‚ 57 โ”‚ โ”‚ try: โ”‚ โ”‚ โฑ 58 โ”‚ โ”‚ โ”‚ from transformers import AutoModel, AutoTokenizer โ”‚ โ”‚ 59 โ”‚ โ”‚ except ImportError: โ”‚ โ”‚ 60 โ”‚ โ”‚ โ”‚ raise ImportError( โ”‚ โ”‚ 61 โ”‚ โ”‚ โ”‚ โ”‚ "HuggingFaceEmbedding requires transformers to be installed.\n" โ”‚ โ”‚ โ”‚ โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ โ”‚ โ”‚ cache_folder = None โ”‚ โ”‚ โ”‚ โ”‚ callback_manager = None โ”‚ โ”‚ โ”‚ โ”‚ device = None โ”‚ โ”‚ โ”‚ โ”‚ embed_batch_size = 10 โ”‚ โ”‚ โ”‚ โ”‚ max_length = None โ”‚ โ”‚ โ”‚ โ”‚ model = None โ”‚ โ”‚ โ”‚ โ”‚ model_name = 'BAAI/bge-small-en-v1.5' โ”‚ โ”‚ โ”‚ โ”‚ normalize = True โ”‚ โ”‚ โ”‚ โ”‚ pooling = 'cls' โ”‚ โ”‚ โ”‚ โ”‚ query_instruction = None โ”‚ โ”‚ โ”‚ โ”‚ self = HuggingFaceEmbedding() โ”‚ โ”‚ โ”‚ โ”‚ text_instruction = None โ”‚ โ”‚ โ”‚ โ”‚ tokenizer = None โ”‚ โ”‚ โ”‚ โ”‚ tokenizer_name = None โ”‚ โ”‚ โ”‚ โ”‚ trust_remote_code = False โ”‚ โ”‚ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚ โ”‚ โ”‚ โ”‚ C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\site-packages\transformers__init__.p โ”‚ โ”‚ y:26 in โ”‚ โ”‚ โ”‚ โ”‚ 23 from typing import TYPE_CHECKING โ”‚ โ”‚ 24 โ”‚ โ”‚ 25 # Check the dependencies satisfy the minimal versions required. โ”‚ โ”‚ โฑ 26 from . import dependency_versions_check โ”‚ โ”‚ 27 from .utils import ( โ”‚ โ”‚ 28 โ”‚ OptionalDependencyNotAvailable, โ”‚ โ”‚ 29 โ”‚ _LazyModule, โ”‚ โ”‚ โ”‚ โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ โ”‚ โ”‚ dependency_versions_table = <module 'transformers.dependency_versions_table' from โ”‚ โ”‚ โ”‚ โ”‚ 'C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\โ€ฆ โ”‚ โ”‚ โ”‚ โ”‚ TYPE_CHECKING = False โ”‚ โ”‚ โ”‚ โ”‚ utils = <module 'transformers.utils' from โ”‚ โ”‚ โ”‚ โ”‚ 'C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\โ€ฆ โ”‚ โ”‚ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚ โ”‚ โ”‚ โ”‚ C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\site-packages\transformers\dependency โ”‚ โ”‚ _versions_check.py:57 in โ”‚ โ”‚ โ”‚ โ”‚ 54 โ”‚ โ”‚ โ”‚ if not is_accelerate_available(): โ”‚ โ”‚ 55 โ”‚ โ”‚ โ”‚ โ”‚ continue # not required, check version only if installed โ”‚ โ”‚ 56 โ”‚ โ”‚ โ”‚ โ”‚ โฑ 57 โ”‚ โ”‚ require_version_core(deps[pkg]) โ”‚ โ”‚ 58 โ”‚ else: โ”‚ โ”‚ 59 โ”‚ โ”‚ raise ValueError(f"can't find {pkg} in {deps.keys()}, check dependencyversions โ”‚ โ”‚ 60 โ”‚ โ”‚ โ”‚ โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ โ”‚ โ”‚ deps = { โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'Pillow': 'Pillow<10.0.0', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'accelerate': 'accelerate>=0.20.3', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'av': 'av==9.2.0', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'beautifulsoup4': 'beautifulsoup4', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'black': 'black~=23.1', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'codecarbon': 'codecarbon==1.2.0', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'cookiecutter': 'cookiecutter==1.7.3', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'dataclasses': 'dataclasses', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'datasets': 'datasets!=2.5.0', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'decord': 'decord==0.6.0', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ ... +76 โ”‚ โ”‚ โ”‚ โ”‚ } โ”‚ โ”‚ โ”‚ โ”‚ is_accelerate_available = <function is_accelerate_available at 0x000002435C0CED40> โ”‚ โ”‚ โ”‚ โ”‚ is_tokenizers_available = <function is_tokenizers_available at 0x000002435C0CEB00> โ”‚ โ”‚ โ”‚ โ”‚ pkg = 'accelerate' โ”‚ โ”‚ โ”‚ โ”‚ pkgs_to_check_at_runtime = [ โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'python', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'tqdm', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'regex', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'requests', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'packaging', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'filelock', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'numpy', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'tokenizers', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'huggingface-hub', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ 'safetensors', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ ... +2 โ”‚ โ”‚ โ”‚ โ”‚ ] โ”‚ โ”‚ โ”‚ โ”‚ require_version = <function require_version at 0x000002435C115510> โ”‚ โ”‚ โ”‚ โ”‚ require_version_core = <function require_version_core at 0x000002435C1155A0> โ”‚ โ”‚ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚ โ”‚ โ”‚ โ”‚ C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\site-packages\transformers\utils\vers โ”‚ โ”‚ ions.py:117 in require_version_core โ”‚ โ”‚ โ”‚ โ”‚ 114 def require_version_core(requirement): โ”‚ โ”‚ 115 โ”‚ """require_version wrapper which emits a core-specific hint on failure""" โ”‚ โ”‚ 116 โ”‚ hint = "Try: pip install transformers -U or pip install -e '.[dev]' if you're workin โ”‚ โ”‚ โฑ 117 โ”‚ return require_version(requirement, hint) โ”‚ โ”‚ 118 โ”‚ โ”‚ โ”‚ โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ โ”‚ โ”‚ hint = "Try: pip install transformers -U or pip install -e '.[dev]' if you're working โ”‚ โ”‚ โ”‚ โ”‚ wi"+11 โ”‚ โ”‚ โ”‚ โ”‚ requirement = 'accelerate>=0.20.3' โ”‚ โ”‚ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚ โ”‚ โ”‚ โ”‚ C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\site-packages\transformers\utils\vers โ”‚ โ”‚ ions.py:111 in require_version โ”‚ โ”‚ โ”‚ โ”‚ 108 โ”‚ # check that the right version is installed if version number or a range was provide โ”‚ โ”‚ 109 โ”‚ if want_ver is not None: โ”‚ โ”‚ 110 โ”‚ โ”‚ for op, want_ver in wanted.items(): โ”‚ โ”‚ โฑ 111 โ”‚ โ”‚ โ”‚ _compare_versions(op, got_ver, want_ver, requirement, pkg, hint) โ”‚ โ”‚ 112 โ”‚ โ”‚ 113 โ”‚ โ”‚ 114 def require_version_core(requirement): โ”‚ โ”‚ โ”‚ โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ โ”‚ โ”‚ got_ver = '0.18.0' โ”‚ โ”‚ โ”‚ โ”‚ hint = "\nTry: pip install transformers -U or pip install -e '.[dev]' if you're โ”‚ โ”‚ โ”‚ โ”‚ working w"+12 โ”‚ โ”‚ โ”‚ โ”‚ match = [('>=', '0.20.3')] โ”‚ โ”‚ โ”‚ โ”‚ op = '>=' โ”‚ โ”‚ โ”‚ โ”‚ pkg = 'accelerate' โ”‚ โ”‚ โ”‚ โ”‚ requirement = 'accelerate>=0.20.3' โ”‚ โ”‚ โ”‚ โ”‚ w = '>=0.20.3' โ”‚ โ”‚ โ”‚ โ”‚ want_full = '>=0.20.3' โ”‚ โ”‚ โ”‚ โ”‚ want_range = ['>=0.20.3'] โ”‚ โ”‚ โ”‚ โ”‚ want_ver = '0.20.3' โ”‚ โ”‚ โ”‚ โ”‚ wanted = {'>=': '0.20.3'} โ”‚ โ”‚ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚ โ”‚ โ”‚ โ”‚ C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\site-packages\transformers\utils\vers โ”‚ โ”‚ ions.py:44 in _compare_versions โ”‚ โ”‚ โ”‚ โ”‚ 41 โ”‚ โ”‚ โ”‚ f" reinstalling {pkg}." โ”‚ โ”‚ 42 โ”‚ โ”‚ ) โ”‚ โ”‚ 43 โ”‚ if not ops[op](version.parse(got_ver), version.parse(want_ver)): โ”‚ โ”‚ โฑ 44 โ”‚ โ”‚ raise ImportError( โ”‚ โ”‚ 45 โ”‚ โ”‚ โ”‚ f"{requirement} is required for a normal functioning of this module, but fou โ”‚ โ”‚ 46 โ”‚ โ”‚ ) โ”‚ โ”‚ 47 โ”‚ โ”‚ โ”‚ โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ โ”‚ โ”‚ got_ver = '0.18.0' โ”‚ โ”‚ โ”‚ โ”‚ hint = "\nTry: pip install transformers -U or pip install -e '.[dev]' if you're โ”‚ โ”‚ โ”‚ โ”‚ working w"+12 โ”‚ โ”‚ โ”‚ โ”‚ op = '>=' โ”‚ โ”‚ โ”‚ โ”‚ pkg = 'accelerate' โ”‚ โ”‚ โ”‚ โ”‚ requirement = 'accelerate>=0.20.3' โ”‚ โ”‚ โ”‚ โ”‚ want_ver = '0.20.3' โ”‚ โ”‚ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ ImportError: accelerate>=0.20.3 is required for a normal functioning of this module, but found accelerate==0.18.0. Try: pip install transformers -U or pip install -e '.[dev]' if you're working with git main

During handling of the above exception, another exception occurred:

โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ Traceback (most recent call last) โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\site-packages\memgpt\cli\cli.py:92 in โ”‚ โ”‚ run โ”‚ โ”‚ โ”‚ โ”‚ 89 โ”‚ config = MemGPTConfig.load() โ”‚ โ”‚ 90 โ”‚ original_stdout = sys.stdout # unfortunate hack required to suppress confusing prin โ”‚ โ”‚ 91 โ”‚ sys.stdout = io.StringIO() โ”‚ โ”‚ โฑ 92 โ”‚ embed_model = embedding_model(config) โ”‚ โ”‚ 93 โ”‚ service_context = ServiceContext.from_defaults(llm=None, embed_model=embed_model, ch โ”‚ โ”‚ 94 โ”‚ set_global_service_context(service_context) โ”‚ โ”‚ 95 โ”‚ sys.stdout = original_stdout โ”‚ โ”‚ โ”‚ โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ โ”‚ โ”‚ agent = None โ”‚ โ”‚ โ”‚ โ”‚ agent_files = [] โ”‚ โ”‚ โ”‚ โ”‚ agents = [] โ”‚ โ”‚ โ”‚ โ”‚ config = MemGPTConfig( โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ config_path='C:\Users\ADMIN\.memgpt/config', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ anon_clientid='00000000000000000000581122a07091', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ preset='memgpt_chat', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ model_endpoint='http://localhost:1234', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ model='gpt-4', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ openai_key='http://localhost:1234', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_key=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_endpoint=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_version=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_deployment=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_embedding_deployment=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ default_persona='memgpt_starter', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ default_human='basic', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ default_agent=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ embedding_model='openai', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ embedding_dim=768, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ embedding_chunk_size=300, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ archival_storage_type='local', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ archival_storage_path=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ archival_storage_uri=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ recall_storage_type='local', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ recall_storage_path=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ recall_storage_uri=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ persistence_manager_type=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ persistence_manager_save_file=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ persistence_manager_uri=None โ”‚ โ”‚ โ”‚ โ”‚ ) โ”‚ โ”‚ โ”‚ โ”‚ data_source = None โ”‚ โ”‚ โ”‚ โ”‚ debug = False โ”‚ โ”‚ โ”‚ โ”‚ first = False โ”‚ โ”‚ โ”‚ โ”‚ human = None โ”‚ โ”‚ โ”‚ โ”‚ model = None โ”‚ โ”‚ โ”‚ โ”‚ no_verify = False โ”‚ โ”‚ โ”‚ โ”‚ original_stdout = <colorama.ansitowin32.StreamWrapper object at 0x0000024362A7CA90> โ”‚ โ”‚ โ”‚ โ”‚ persona = None โ”‚ โ”‚ โ”‚ โ”‚ preset = None โ”‚ โ”‚ โ”‚ โ”‚ yes = False โ”‚ โ”‚ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚ โ”‚ โ”‚ โ”‚ C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\site-packages\memgpt\embeddings.py:32 โ”‚ โ”‚ in embedding_model โ”‚ โ”‚ โ”‚ โ”‚ 29 โ”‚ โ”‚ # return f"local:{model}" โ”‚ โ”‚ 30 โ”‚ โ”‚ โ”‚ โ”‚ 31 โ”‚ โ”‚ # loads BAAI/bge-small-en-v1.5 โ”‚ โ”‚ โฑ 32 โ”‚ โ”‚ return HuggingFaceEmbedding(model_name=model) โ”‚ โ”‚ 33 โ”‚ โ”‚ โ”‚ โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ โ”‚ โ”‚ config = MemGPTConfig( โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ config_path='C:\Users\ADMIN\.memgpt/config', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ anon_clientid='00000000000000000000581122a07091', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ preset='memgpt_chat', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ model_endpoint='http://localhost:1234', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ model='gpt-4', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ openai_key='http://localhost:1234', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_key=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_endpoint=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_version=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_deployment=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ azure_embedding_deployment=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ default_persona='memgpt_starter', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ default_human='basic', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ default_agent=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ embedding_model='openai', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ embedding_dim=768, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ embedding_chunk_size=300, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ archival_storage_type='local', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ archival_storage_path=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ archival_storage_uri=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ recall_storage_type='local', โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ recall_storage_path=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ recall_storage_uri=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ persistence_manager_type=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ persistence_manager_save_file=None, โ”‚ โ”‚ โ”‚ โ”‚ โ”‚ persistence_manager_uri=None โ”‚ โ”‚ โ”‚ โ”‚ ) โ”‚ โ”‚ โ”‚ โ”‚ HuggingFaceEmbedding = <class 'llama_index.embeddings.huggingface.HuggingFaceEmbedding'> โ”‚ โ”‚ โ”‚ โ”‚ model = 'BAAI/bge-small-en-v1.5' โ”‚ โ”‚ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚ โ”‚ โ”‚ โ”‚ C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\site-packages\llama_index\embeddings\ โ”‚ โ”‚ huggingface.py:60 in init โ”‚ โ”‚ โ”‚ โ”‚ 57 โ”‚ โ”‚ try: โ”‚ โ”‚ 58 โ”‚ โ”‚ โ”‚ from transformers import AutoModel, AutoTokenizer โ”‚ โ”‚ 59 โ”‚ โ”‚ except ImportError: โ”‚ โ”‚ โฑ 60 โ”‚ โ”‚ โ”‚ raise ImportError( โ”‚ โ”‚ 61 โ”‚ โ”‚ โ”‚ โ”‚ "HuggingFaceEmbedding requires transformers to be installed.\n" โ”‚ โ”‚ 62 โ”‚ โ”‚ โ”‚ โ”‚ "Please install transformers with pip install transformers." โ”‚ โ”‚ 63 โ”‚ โ”‚ โ”‚ ) โ”‚ โ”‚ โ”‚ โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚ โ”‚ โ”‚ cache_folder = None โ”‚ โ”‚ โ”‚ โ”‚ callback_manager = None โ”‚ โ”‚ โ”‚ โ”‚ device = None โ”‚ โ”‚ โ”‚ โ”‚ embed_batch_size = 10 โ”‚ โ”‚ โ”‚ โ”‚ max_length = None โ”‚ โ”‚ โ”‚ โ”‚ model = None โ”‚ โ”‚ โ”‚ โ”‚ model_name = 'BAAI/bge-small-en-v1.5' โ”‚ โ”‚ โ”‚ โ”‚ normalize = True โ”‚ โ”‚ โ”‚ โ”‚ pooling = 'cls' โ”‚ โ”‚ โ”‚ โ”‚ query_instruction = None โ”‚ โ”‚ โ”‚ โ”‚ self = HuggingFaceEmbedding() โ”‚ โ”‚ โ”‚ โ”‚ text_instruction = None โ”‚ โ”‚ โ”‚ โ”‚ tokenizer = None โ”‚ โ”‚ โ”‚ โ”‚ tokenizer_name = None โ”‚ โ”‚ โ”‚ โ”‚ trust_remote_code = False โ”‚ โ”‚ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ ImportError: HuggingFaceEmbedding requires transformers to be installed. Please install transformers with pip install transformers.

ProjCRys commented 1 year ago

Tried 'memgpt run' with a new bat file here's a different error:


bat file @echo off

:: Define the paths to Python and the venv set PYTHON_EXECUTABLE=C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\python.exe set VENV_DIR=D:\AI\ChatBots\MemGPT_Setup\venv

:: Create the virtual environment "%PYTHON_EXECUTABLE%" -m venv "%VENV_DIR%"

:: Check if the virtual environment creation was successful if %errorlevel% neq 0 ( echo An error occurred while creating the virtual environment. Press any key to exit. pause >nul exit /b %errorlevel% )

:: Activate the virtual environment call "%VENV_DIR%\Scripts\activate"

:: Install pymemgpt using pip pip install pymemgpt pip install transformers pip install torch

:: Check if the installation was successful if %errorlevel% neq 0 ( echo An error occurred while installing pymemgpt. Press any key to exit. pause >nul exit /b %errorlevel% )

set OPENAI_API_BASE=http://localhost:1234 set BACKEND_TYPE=lmstudio cls

:: Run memgpt (replace this with your specific memgpt command) memgpt run

:: Check if memgpt encountered an error if %errorlevel% neq 0 ( echo An error occurred while running memgpt. Press any key to exit. pause >nul exit /b %errorlevel% )

:: Deactivate the virtual environment deactivate

:: Pause to allow the user to review the output echo Press any key to exit. pause >nul


Output: ? Would you like to select an existing agent? No Creating new agent... Created new agent agent_5. Hit enter to begin (will request first MemGPT message) [A[K Warning: no wrapper specified for local LLM, using the default wrapper step() failed user_message = None error = Failed to decode JSON from LLM output: { {"status": "OK", "message": null, "time": "2023-11-01 06:05:36 AM PDT-0700"}} Failed to decode JSON from LLM output: { {"status": "OK", "message": null, "time": "2023-11-01 06:05:36 AM PDT-0700"}} An exception ocurred when running agent.step(): Traceback (most recent call last): File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\local_llm\llm_chat_completion_wrappers\airoboros.py", line 392, in output_to_chat_completion_response function_json_output = json.loads(raw_llm_output) File "C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\json__init__.py", line 346, in loads return _default_decoder.decode(s) File "C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\json\decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\json\decoder.py", line 353, in raw_decode obj, end = self.scan_once(s, idx) json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 3 (char 2)

During handling of the above exception, another exception occurred:

Traceback (most recent call last): File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\local_llm\llm_chat_completion_wrappers\airoboros.py", line 395, in output_to_chat_completion_response function_json_output = json.loads(raw_llm_output + "\n}") File "C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\json__init__.py", line 346, in loads return _default_decoder.decode(s) File "C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\json\decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "C:\Users\ADMIN\AppData\Local\Programs\Python\Python310\lib\json\decoder.py", line 353, in raw_decode obj, end = self.scan_once(s, idx) json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 3 (char 2)

During handling of the above exception, another exception occurred:

Traceback (most recent call last): File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\main.py", line 526, in run_agent_loop ) = await memgpt_agent.step(user_message, first_message=False, skip_verify=no_verify) File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\agent.py", line 1084, in step raise e File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\agent.py", line 1020, in step response = await get_ai_reply_async(model=self.model, message_sequence=input_message_sequence, functions=self.functions) File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\agent.py", line 160, in get_ai_reply_async raise e File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\agent.py", line 141, in get_ai_reply_async response = await acreate( File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\openai_tools.py", line 115, in wrapper raise e File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\openai_tools.py", line 95, in wrapper return await func(*args, kwargs) File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\openai_tools.py", line 124, in acompletions_with_backoff return get_chat_completion(kwargs) File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\local_llm\chat_completion_proxy.py", line 62, in get_chat_completion chat_completion_result = llm_wrapper.output_to_chat_completion_response(result) File "D:\AI\ChatBots\MemGPT_Setup\venv\lib\site-packages\memgpt\local_llm\llm_chat_completion_wrappers\airoboros.py", line 397, in output_to_chat_completion_response raise Exception(f"Failed to decode JSON from LLM output:\n{raw_llm_output}") Exception: Failed to decode JSON from LLM output: { {"status": "OK", "message": null, "time": "2023-11-01 06:05:36 AM PDT-0700"}} ? Retry agent.step()? (Y/n)

ProjCRys commented 1 year ago

Current state of issue #248