phidatahq / phidata

Build AI Agents with memory, knowledge, tools and reasoning
https://docs.phidata.com
Mozilla Public License 2.0
11.65k stars 1.71k forks source link

Support for Open Source Models such as mistral instruct ? #121

Closed timtensor closed 1 week ago

timtensor commented 7 months ago

Hi , is it possible to configure open assistant with open source models such as mistral instruct , dolphin etc?

nicekate commented 7 months ago

Supported, there is an example https://github.com/phidatahq/phidata/blob/main/cookbook/ollama/assistant.py

timtensor commented 7 months ago

Thanks a lot . It is via ollama as I understand. I am using a colab notebook , and initializing the llm via hugging face pipeline . Can I still run assistant on it ? If there is a way similar to above it would be great !

ashpreetbedi commented 7 months ago

Thanks @nicekate :)

@timtensor happy to help build this out, can you tell me where's the inference? If you can share a link on how that works then i can add an LLM provider for that

timtensor commented 7 months ago

Hi thanks for the reply. Actually i am trying two ways to initialuize the llm , via llama cpp python and also Huggingface through llama index llama cpp

_llm = Llama(
    model_path="./mistral-7b-instruct-v0.2.Q4_0.gguf",
    n_gpu_layers=-1 if enable_gpu else 0,
    n_ctx=2048,
)
_llm.verbose = False
llm = LlamaCppLLM(name="Mistral-7B-v0.2-Instruct", llm=_llm, max_tokens=None)
llm = HuggingFaceLLM(
    model_name="mistralai/Mistral-7B-Instruct-v0.2",
    tokenizer_name="mistralai/Mistral-7B-Instruct-v0.2",
    query_wrapper_prompt=PromptTemplate("<s>[INST] {query_str} [/INST] </s>\n"),
    context_window=3900,
    max_new_tokens=256,
    model_kwargs={"quantization_config": quantization_config},
    # tokenizer_kwargs={},
    generate_kwargs={"temperature": 0.2, "top_k": 5, "top_p": 0.95},
    device_map="auto",
)

I am trying to use or get an assistant to parse through the json output and to query the output. I am currently struggling with this. looking forward for the feedback

ashpreetbedi commented 7 months ago

@timtensor I put together a cookbook on how to use Llama.cpp for you: https://github.com/phidatahq/phidata/tree/main/cookbook/llama_cpp

For now let's use the OpenAI api it provides,

from phi.assistant import Assistant
from phi.llm.openai.like import OpenAILike

assistant = Assistant(
    llm=OpenAILike(base_url="http://localhost:8000/v1"),
    description="You help people with their health and fitness goals.",
)
assistant.print_response("Share a 2 sentence quick healthy breakfast recipe.", markdown=True)
ashpreetbedi commented 7 months ago

sadly i couldnt get function calling to work at the moment, but im working on it :)

timtensor commented 7 months ago

Thank you for the feedback . I am curious to know more as it seems like it phi assistant is kind of RAG concept.

Two more questions, do you have an assistant to parse json data ?

And I am guessing I can run phi assistant in colab notebook .

ashpreetbedi commented 7 months ago

I am curious to know more as it seems like it phi assistant is kind of RAG concept.

Assistants can do a number of things:

  1. RAG - this is our most common use case
  2. Function calling - this is our bread and butter, building Autonomous Assistants. Checkout this example
  3. Producing structured outputs i.e. pydantic models using llms. example

But only GPT4 can do function calling reliably. local/oss models are great for completion therefore most of the examples you'll see with OSS models will be of RAG

ashpreetbedi commented 7 months ago

I am guessing I can run phi assistant in colab notebook

yes anywhere you want to run python :)

ashpreetbedi commented 7 months ago

do you have an assistant to parse json data

can you share the use case? we do this a lot, like a lot a lot. Even our RAG behind the scenes is all JSON. Depending on what you're looking for I can share an example

@timtensor

timtensor commented 7 months ago

Hi the use case is as following. I have a json file with different fields such as title, description, comments , reference link to name a few. Basically the idea is to analyze the json output string to query something like

  1. What was the most popular post ?
  2. Summarize the comments
  3. What is the sentiment of the comments to name a few things.

And if there is a possibility to check with agents to query the web . I can send you the example json file. Since the text is in lets say german language , i am using open source embedding model such as gtesmall and mistral 7b instruct v2.

Example json

``

    {
        "title": "DKB ETF Heiliger Gral Fragen",
        "description": "Hallo,\n\nIch würde gerne mein ETF besparen anfangen. Soweit ich mich reingelesen habe würde ich den thesaurierenden Vanguard All World aka Heiliger Gral auswählen (A2PKXG). Dieser erledigt auch alle Steuerfragen direkt selber und ich muss es in meiner Steuererklärung aufführen. \n\nAngenommen ich sag ich möchte jeden Montag 500€ einzahlen, dann wird das jeden Monat automatisch abgebucht für eine Gebühr von 1,50€, korrekt? Muss es von meinem DKB Konte sein oder auch ein anderes wäre ok?\n\nDKB hat diesen aber nur als Sparplan und nicht als einmal Zahlung? Wenn ich jetzt aber eine größere Summe aufeinmal den A2PKXG holen möchte (5k €) als Beispiel wie würde das denn gehen? Ich konnte das bei DKB unter Einmalzahlung nicht finden?\n\n&#x200B;\n\nVielen Dank für eure Hilfe!",
        "metadata": {
            "reference": "https://www.reddit.com/r/Finanzen/comments/1aq7ij0/dkb_etf_heiliger_gral_fragen/",
            "date": "20240213",
            "popularity": 2
        },
        "comments": [
            {
                "number": 1,
                "content": "> Dieser erledigt auch alle Steuerfragen direkt selber und ich muss es in meiner Steuererklärung aufführen.\n\nNicht der ETF erledigt die Steuerfragen, sondern deine Bank. An den Freistellungsauftrag denken, wenn du welchen hast. Dann musst du auch nicht die Steuererklärung machen bzw. die Anlage KAP ausfüllen (zumindest deswegen).\n\n> Angenommen ich sag ich möchte jeden Montag 500€ einzahlen, dann wird das jeden Monat automatisch abgebucht für eine Gebühr von 1,50€, korrekt?\n\nWenn du mit \"Montag\" \"Monat\" meinst, dann ja.\n\n> Muss es von meinem DKB Konte sein oder auch ein anderes wäre ok?\n\nZiemlich sicher muss es das DKB Konto sein.\n\n> DKB hat diesen aber nur als Sparplan und nicht als einmal Zahlung?\n\nDoch, natürlich kannst du auch eine normale Börsenorder machen. Kostet halt mehr. Man kann alternativ auch einmalig den Sparplan hochsetzen.\n\n> Ich konnte das bei DKB unter Einmalzahlung nicht finden?\n\nAlso bei mir kann ich in der Suche den A2PKXG suchen und dann auf Kaufen klicken..."
            },
            {
                "number": 2,
                "content": "Bin auch bei der DKB aber kann deren Depot nicht empfehlen aufgrund des Preismodells sowie der geringen Auswahl. Da gibt es eindeutig attraktivere Banken bzw. Broker. Hab jetzt ein Broker-Konto bei finanzen.net zero und das ist für den Amfang auf jeden Fall gut. Empfehlung geht raus."
            },
            {
                "number": 3,
                "content": "Als Anfänger mit noch nicht genutztem Freibetrag nimmst du doch wohl besser den Ausschütter:   A1JX52 \n\nWöchentlich am Montag kaufen ist natürlich nicht.\n\nSparpläne werden am 05. oder 20. des Monats ausgeführt.\n\nEinmalanlage gibt es wohl nicht. Da musst du wohl einen normalen Kauf machen. \n\nOb eine Lastschrift auf eine andere Bank geht weiß ich nicht. Macht für mich auch keinen Sinn. Man kann doch einen DA auf das Girokonto machen."
            },
            {
                "number": 4,
                "content": "Vielen Dank für die Antworten. Ich hatte es hier gesucht und nicht gefunden [https://www.dkb.de/privatkunden/investieren/aktion-etf-einmalanlage](https://www.dkb.de/privatkunden/investieren/aktion-etf-einmalanlage)"
            },
            {
                "number": 5,
                "content": ">geringen Auswahl. \n\nWo ist da eine geringe Auswahl, was fehlt dir im Angebot?"
            },
            {
                "number": 6,
                "content": "Bin bei der DKB und Scalable Capital und bespare trotzdem den heiligen Gral über die DKB einfach weil es das Handling einfacher macht. 1,50€ im Monat sind echt verkraftbar.\n\nIch finde gerade am Anfang ist Simplizität praktisch. Komplizierter wird's von alleine..."
            },
            {
                "number": 7,
                "content": "lol geringe Auswahl. man halt halt die wichtigsten börsenplätze der welt"
            },
            {
                "number": 8,
                "content": "Das DKB Depot hat eines der größeren Angebote an Papieren, afaik..\n\nDas Preismodell ist super für Leute die mit hohen Geldmengen rumspielen :D"
            },
            {
                "number": 9,
                "content": "Ach, wie immer.  :)\n\nMacht nur weiter mit den Downvotes.\n\nDie Reaktion von verblendeten Thesaurierer-Fanatisten zeigt mir immer wieder wie verblödet diese Gruppe ist was Steuern angeht.\n\n[https://www.fondsweb.com/de/vergleichen/ansicht/isins/IE00BK5BQT80,IE00B3RBWM25](https://www.fondsweb.com/de/vergleichen/ansicht/isins/IE00BK5BQT80,IE00B3RBWM25)\n\nJa, zwei Dinge sind unendlich, ..."
            },
            {
                "number": 10,
                "content": "Hey, ist das mit am 5. oder 20. einfach festgelegt oder hat das einen bestimmten Hintergrund?"
            },
            {
                "number": 11,
                "content": "DKB hat lediglich knappe 500 etfs in der kostenlosen Ausführung, denkendes das damit gemeint ist"
            },
            {
                "number": 12,
                "content": "Bei 1000 EUR Sparrate natürlich lächerlich.\n\nAber für Leute die nur 50 Euro im Monat sparen können durchaus ein Problem."
            },
            {
                "number": 13,
                "content": "Verstehe ich. Bin aber auch ein Pfennigfuchser muss ich zugeben :D"
            },
            {
                "number": 14,
                "content": "Wieso nur für Leute, die mit hohen Geldmengen rumspielen? Ich habe mal comdirect, DKB und ING verglichen, und da ist DKB praktisch durchgehend am günstigsten, unabhängig vom Umsatz. Allerdings nur bei Einzelaufträgen . Wertpapiersparpläne gibt’s bei ING sowieso umsonst."
            },
            {
                "number": 15,
                "content": "Na hör mal, es gibt hier ja auch hin und wieder noch die Cashflow- und Dividendengenießer"
            },
            {
                "number": 16,
                "content": "Das hat die DKB eben so festgelegt.\n\nAndere Banken machen 01./08./15./22. oder nur zwei davon."
            },
            {
                "number": 17,
                "content": "solange A2PKXG und A1JX52 dabei sind ist das Angebot doch gut!"
            },
            {
                "number": 18,
                "content": "[deleted]"
            },
            {
                "number": 19,
                "content": "DKB hat halt eine feste Gebühr. 10 von 100 ist relativ viel, während 10 von 5000 ein ganz guter Prozentsatz ist."
            },
            {
                "number": 20,
                "content": "Ja, aber nur wenige.\n\nDie Masse scheint doch eher verblödet oder inkompetent zu sein.\n\nDas geht doch oben mit den Votes schon weiter.\n\nObwohl ich in dem Vergleich gezeigt habe daß diese beiden ETF was die Performance betrifft - natürlich - zu 100% gleichwertig sind.\n\nDa jemanden für die Wahl aus steuerlichen Gründen für A oder B zu verurteilen zeigt nur die eigene Dummheit auf."
            },
            {
                "number": 21,
                "content": "Danke"
            },
            {
                "number": 22,
                "content": "0,3%  ?"
            },
            {
                "number": 23,
                "content": "Das ist, was ich meinte. Wenn du 100 investieren willst, ist das ein Wertpapiersparplan und bei ING umsonst. Wenn’s um eine echte Einmaltransaktion geht, ist DKB meine Wahl."
            },
            {
                "number": 24,
                "content": "Ich hab dich nicht runter gevotet, aber ärgere mich persönlich im Rückblick dass ich auf Leute wie dich gehört habe. \n\n\nMittlerweile sind Vorabpauschale und Zinsen so hoch dass mein Freistellungsauftrag am Jahresanfang ausgereizt ist und die Ausschütter die ich habe sind steuerlich schlechter...\n\n\n Ich stünde besser da, wenn ich von Anfang an auf Thesaurier gesetzt hätte..."
            },
            {
                "number": 25,
                "content": "Was habe ich denn gesagt?\n\nDoch sicher daß man ab ca. 80k besser einen Thesaurier nimmt."
            },
            {
                "number": 26,
                "content": "Ich habe weit vor 80k schon auf Thesaurier gewechselt. Das ändert an Grundproblem nichts. \n\n\nSobald das Depot eine entsprechende Größe hat sind Ausschütter schlecht. Bisher besparte Ausschütter verkaufen und Thesaurier kaufen ist auch steuerlich schlecht. \n\n\nMan wählt eine Strategie die am Anfang gut ist und später dann schlechter. Da Leute die das nicht empfehlen als dumm zu bezeichnen ich schon schäbig...."
            },
            {
                "number": 27,
                "content": "Welches Grundproblem?\n\nWenn du mehr als 100k hast dann ist der Freibetrag eben ausgeschöpft und du zahlst Steuern darauf. Vollkommen egal wie die Anlage aussieht."
            },
            {
                "number": 28,
                "content": ">Sobald das Depot eine entsprechende Größe hat sind Ausschütter schlecht. Bisher besparte Ausschütter verkaufen und Thesaurier kaufen ist auch steuerlich schlecht. \n\nDu musst halt so früh wechseln, dass Verkaufen auch noch möglich ist ..."
            },
            {
                "number": 29,
                "content": "Gab hier mal einen Link, wo jemand berechnet hat, dass man spätestens bei 20k wechseln sollte weil die Dividenden ja ansteigen und es deshalb immer negativer wird sobald der Freibetrag komplett ausgeschöpft ist."
            },
            {
                "number": 30,
                "content": "Das Grundproblem habe ich in dem Kommentar im Absatz danach direkt erklärt....\n\n\nAch egal, wird mir zu blöd hier..."
            },
            {
                "number": 31,
                "content": "Schon lustig, wie jemand das ganze Forum als verblödet bezeichnet  und dann selber irgendwie das Thema nicht rafft. Richtiger Experte"
            },
            {
                "number": 32,
                "content": "Woher soll man das wissen wenn die Börse manchmal -20% und manchmal +20% in einem Jahr macht?\n\n\nBei 10% Kursgewinne im Jahr ist das bei ~10.000€ der Fall. Das hätte OP bei 500€ im Monat in weniger als 2 Jahren erreicht... Lohnt sich das wirklich!?"
            },
            {
                "number": 33,
                "content": "Naja, der Kurs ist an der Stelle ja erstmal zweitrangig.\n\nAber wenn ich von meinen 1000 € 500 € \"fix\" verbrauche (BSV, Tagesgeld, Ausschüttungen), dann habe ich noch 500, die ich über Verkäufe nutzen kann. Wenn 800 fix verbraucht sind, habe ich nur noch 200. Das wäre mir persönlich zu eng.\n\nWenn ich wirklich Kursgewinne von 10% habe, verkaufe ich halt entsprechend weniger, um die 1000 auszureizen. Auf die 10% Kursgewinn folgt ja nicht zwingend auch eine entsprechende Erhöhung der Ausschüttungen."
            },
            {
                "number": 34,
                "content": "Ich dachte wir reden davon, dass man den Ausschütter komplett verkauft und auf einen Thesaurierer wechselt...?\n\nIch klink mich glaub aus der Diskussion aus - wir kommen hier nicht mehr auf einen grünen Zweig..."
            },
            {
                "number": 35,
                "content": "Mit \"wechseln\" war zunächst mal nur der Sparplan gemeint, sorry. Denn die Ausschüttungen sind ja schon praktisch – erstmal. Sie helfen mir beim Ausnutzen des Steuerfreibetrags. Was nicht ausgenutzt wird, wird über Verkäufe geregelt.\n\nDas von den Ausschüttungen und den Verkäufen stammende Geld wird dann zunächst auch jeweils in den A1 getan.\n\nIrgendwann wird dann \"geswitcht\". Bis dahin gehen wir glaube ich konform: ab dann wird der Thesaurierer bespart.\n\nFraglich ist nun: a) wann ist \"irgendwann\"? b) was bedeutet \"geswitcht\"?\n\nDieses \"irgendwann\" ist mitnichten erst, wenn der Freibetrag von allen \"automatisch\" kommenden Erträgen aufgefressen wird, sondern bereits dann, wenn man noch locker Teile des Ausschütters verkaufen kann.\n\nUnd mit \"switchen\" meine ich erstmal nur das Umstellen des Sparplans auf den Thesaurierer. Der Ausschütter kann erstmal liegen bleiben, der liegt ja gut.\n\nBeispiel: Habe ich Ausschüttungen und Zinszahlungen in Höhe von 600 €, dann habe ich noch 400 frei. Wenn ich gegen Jahresende verkaufe (und dabei ein wenig acht gebe), dann kann ich die einigermaßen auffüllen. Idealerweise verkaufe ich dann – auch nach den \"Switchen\" – vom Ausschütter. Das dabei freiwerdende Geld kommt in den Thesaurierer.\n\nSomit steigt der Ausschütter nicht ins Unermessliche, sondern wird sukzessive weniger, während der Thesaurierer wächst und mit ihm seine Vorabpauschale. Idealerweise werden die Ausschüttungen schneller weniger als die VAP auf den Thesaurierer wächst. Das lässt sich aber nicht garantieren, und deshalb sollte man frühzeitig switchen.\n\nWenn einem das zu aufwändig ist, geht man einfach auf den Thesaurierer und fertig."
            }
        ]
    },
    {
        "title": "ETF Sparplan für neugeborenen Neffen einrichten",
        "description": "Hi Community,\nzuerst mal danke für so einige Einstiegstipps, die ich hier lernen durfte.\nIch bin gerade Onkel geworden und würde gerne als Boomersparbuch-Pendant einen ETF-Sparplan für den Bub einrichten.\nIch bin mir lediglich nicht ganz im Klaren, wie ich das anstelle - mache ich ein neues Scalablekonto auf und gebe den Eltern die Zugangsdaten? Oder kann ich auf seinen Namen so etwas einrichten?\nDas Ganze ist gedacht als Anlage auf 18 Jahre, zu dem er ab seiner Volljährigkeit Zugang erhält.\nDanke im Voraus :)",
        "metadata": {
            "reference": "https://www.reddit.com/r/Finanzen/comments/1apnrm5/etf_sparplan_für_neugeborenen_neffen_einrichten/",
            "date": "20240213",
            "popularity": 14
        },
        "comments": [
            {
                "number": 1,
                "content": "mein tipp weil man nie weiß was passiert:\n\nmach dir bei irgendeinem broker einen sparplan ein und übertrag ihm das zum 18. oder zahls aus und schenk es ihm.\n\nin 18 jahren kann weiß gott was passieren."
            },
            {
                "number": 2,
                "content": "Lass ihn auf deinen Namen laufen . Niemand weiß wie das Kind mit 18 drauf ist. Evtl nen totaler Nichtsnutz, der die Kohle in kurzer Zeit wegbläst.\nMit ist klar, dass meine Einstellung diesbezüglich extrem ist, aber ich habe gerne die Kontrolle und war wie wir alle auch mal 18"
            },
            {
                "number": 3,
                "content": "Mach auf deinen Namen und gib ihm das Geld dann wenn er 18 ist (oder später, wenn du denkst er kann noch nicht damit umgehen). Außerdem kann in 18 Jahren viel Passieren wie Streit etc. So hast du das Geld dann trotzdem noch. \n\nAllerdings würde ich an deiner Stelle wirklich Konsequent einzahlen und das Gesamte Geld ihm geben, auch wenn es vielleicht insane viel geworden ist. Komm nicht in die Versuchung das Geld dann doch für dich zu behalten, du investierst ja nicht ohne Grund in einen Etf für ihn und nicht auf ein Bausparer.\n\nBtw sag den Eltern vll garnichts davon."
            },
            {
                "number": 4,
                "content": "Ich bin ein bisschen überrascht, das bisher niemand über Kapitalertragssteuer geredet hat.\n\nKlar das mit 18 ein Nichtsnutz sein. Auf der anderen Seite schmeißt man aber seinen Freibetrag weg, wenn man das Depot nicht auf seinen Namen laufen lässt. Und das sind ja nciht nur die 1000€, sondern für absehbare Zeit auch der ganze Steuerfreibetrag. Entsprechend ist es auch möglicherweise nicht optimal, das ganze thesaurierend anzulegen."
            },
            {
                "number": 5,
                "content": "Einfach den Eltern von deinem Vorhaben erzählen, sie ein wenig mit dem Thema vertraut machen und zum mitmachen animieren. \nSie legen dann ein Juniordepot (z.B. ING) und Sparplan (z.B. A2PKXG) auf den Namen des Kindes an, auf dessen Verrechnungskonto du dann einen Dauerauftrag einrichten kannst.\nBin genauso vorgegangen und die Eltern haben zusätzlich noch die Großeltern zum mitmachen animiert."
            },
            {
                "number": 6,
                "content": "Ich hab für mein Patenkind was auf meinen Namen angelegt. Da kommen monatlich 25 Euro drauf. Zum 18. Geburtstag bekommt ers dann und kann machen was er will 🙈 idee ist natürlich er kauft sich ein Auto davon oder zahlt den Führerschein etc. Was man in den alter halt so macht.\n\nDie Eltern wissen aktuell nichts davon 🙊 die würden mich steinigen 🤣🤣🤣🤣"
            },
            {
                "number": 7,
                "content": "Auf deinen Namen einrichten, thesaurierende ETF nutzen und ihm das Depot übertragen, bevor er 18 ist."
            },
            {
                "number": 8,
                "content": "Was du suchst, ist ein sog. Junior-Depot, gibts z.B. bei ING Diba oder Commerzbank. Vorteil: Das Depot wird direkt auf den Namen des Kindes eröffnet, gehört also ihm/ihr, somit fällt nach 18 Jahren keine Schenkungssteuer an (die Grenzen hierfür sind für Onkel wesentlich niedriger, als für Eltern und Großeltern). Die Zugangsdaten erhältst du und das Kind erhält mit dem 18. Geburtstag automatisch einen eigenen Zugriff auf das Konto.\n\n&#x200B;\n\nEdit: Brauchst dafür ggf. ne Vollmacht der Eltern zur Depoteröffnung"
            },
            {
                "number": 9,
                "content": "Dann macht er das. 🤷🏻‍♀️ \nAber mal ernsthaft: das wird ne Menge Geld sein, die ein vernünftiger 18 jähriger zu investieren weiß. Wenn er Partyurlaub in Malle damit machen will, gibt's einen roten Partybecher dazu. \nWenn er eine Rundreise in Australien macht, wünsche ich ihm viel Spaß. \nWenn er es wieder in etf oder so investiert, gebe ich ihm Tipps, wie er an Info kommt -> er kriegt den Link zu r/Finanzen 😉"
            },
            {
                "number": 10,
                "content": "Ich hab bei Consors ein Juniordepot für mein Kind auf dessen Namen. Ist kostenlos, ETF Sparplan ist kostenlos für ausgewählte ETFs und es wird bei mir als Bevollmächtigter in der Kontoübersicht angezeigt. Steuerlich läuft es auf das Kind. Sind ausschüttende ETFs mit automatischer Wiederanlage. Meine Vollmacht läuft ab seinen 18. Geburtstag ab. Dann könnte er natürlich alles verkaufen. \nZum Eröffnen braucht man die Geburtsurkunde des Kindes und die Unterschriften aller Erziehungsberechtigten. Neobroker machen das eher nicht.\n\nFür mein Taufkind und meine Nichte habe je ein Depot auf meinen Namen angelegt. Therausierende ETFs. Die Eltern wissen auch nichts davon. Irgendwann verschenke ich das Depot dann an die. Steuerlich macht es bei Kleinbeträgen nicht so viel aus. Kursgewinne müssen die dann halt versteuern.\nIst also etwas einfacher einzurichten."
            },
            {
                "number": 11,
                "content": "Ich würde davon abraten, das Geld auf eigenem Namen zu behalten. Zum Einen kann dann bei der Übertragung Schenkungssteuer anfallen, zum anderen kann es ja sein, dass du das Geld nicht behalten *kannst* (Arbeitslosigkeit z.B.). \n\nLass von den Eltern ein Junior-Depot und ein Junior-Konto einrichten und zahle dann regelmäßig auf letzteres. Daraus kann dann ein Sparplan bedient werden. \n\nNachteil ist natürlich, dass der Bub das ganze Geld mit einem Mal bekommt, aber ihr habt ja 18 Jahre Zeit, vernünftig zu erziehen. Bzw. ist es natürlich eine gewisse Hürde, alles zu verkaufen. Ihr könntet ja auch ausschüttende ETFs besparen so dass Quartalsweise etwas Taschengeld reinkommt."
            },
            {
                "number": 12,
                "content": "Unabhängig davon, ob man das Geld im Namen des Kindes haben möchte, kannst du nicht einfach Konten/Depots für Kinder eröffnen, deren Erziehungsberechtigter du nicht bist. Das müssten die Eltern machen, die dann auch den Sparplan einrichten müssten (und du machst halt nen Dauerauftrag aufs Referenzkonto). \n\nWenn du dagegen in deinem eigenen Namen sparst, hast du nicht nur die Besteuerungssache für den Profit sondern u.U. auch Schenkungssteuer."
            },
            {
                "number": 13,
                "content": "Sowas geht nur mit Vollmacht der Eltern, wenn ich mich richtig entsinne. Da das Depot im Optimalfall auf ihn läuft."
            },
            {
                "number": 14,
                "content": "Wieso denkt eigentlich jeder, seine Frage wäre einmalig?"
            },
            {
                "number": 15,
                "content": "Ich habe das wie folgt:\n\nKonto läuft auf mich. Kind und Eltern wissen nichts davon. Sollte ich zu erst versterben ist das Im Testament wie folgt geregelt:\n\n* Kann ab 18 als Zuschuss zur Ausbildung verwendet werden. Wird ab 35 als Zuschuss für selbstbewohnte Immobilie freigegeben. Geht ab 50 in den freie Verfügung über.\n* Strafälligkeit  (Hier Freiheitsstrafe auf Bewährung ab 2 Jahre) == Anspruch verwirkt. Die Geschwister / Counsins  freuen sich.\n\nIch lege aber auch nur einmal im Jahr nach."
            },
            {
                "number": 16,
                "content": "Ich habe selbst für meine Nichte und meinen Neffen jeweils einen ETF-Sparplan eingerichtet.  \nDafür nutze ich einfach jeweils ein Direkt-Depot bei der ING. Das läuft alles auf meinen Namen. Du kannst die Werte dann verschenken/übertragen wann du möchtest.  \nDamit obliegt es mir, ob ich die Anteile dann wirklich mit 18 verschenke oder bei eklatanter unreife (Drogensumpf,Spielsucht... wovon ich natürlich nicht ausgehe) eben zu einem späteren Zeitpunkt."
            },
            {
                "number": 17,
                "content": "Und solang sein Name nicht dran steht, hat er noch potentiell Möglichkeiten für bspw Bafög"
            },
            {
                "number": 18,
                "content": "Nein, genau aus dem Grund nur noch auf eigenen Namen.\n\nWenn ich im Umfeld die Freunde meiner Tochter sehe, alles aus \"nicht armen\" Verhältnissen, dann würde ich denen NIEMALS zum 18ten einen Haufen Geld in die Hand geben.\n\nZweckgebunden, Zuschuss zum Studium, Möbel für erste Wohnung, alles gut. Aber dann gestreckt und so wie der Geldgeber es bestimmt."
            },
            {
                "number": 19,
                "content": "Vorteil beim Kind ist halt, dass es bis zu ca. 10 000€ keine Steuern zahlt"
            },
            {
                "number": 20,
                "content": "Der letzte Satz ist absolut empfehlenswert!"
            },
            {
                "number": 21,
                "content": "Bei meinem Patenkind dasselbe Vorgehen. Andere Paten sind auch eingestiegen, denke es ist also ein guter Weg. Eltern sehen dann auch was genau vor sich geht."
            },
            {
                "number": 22,
                "content": "Thx so much. Klingt nach ner guten Idee!"
            },
            {
                "number": 23,
                "content": "So kommt es dem Kind auch später nicht zwangsläufig wegen Bafög oder so in die Quere. Kann man natürlich jetzt nicht wissen, wie dann die Regelungen/Freibeträge sind und ob das überhaupt eine Rolle spielt. Aber man sollte das nicht ganz ausblenden, wenn man abwägt zwischen der Form der Anlage, auf wessen Namen und Freibeträgen etc."
            },
            {
                "number": 24,
                "content": "Find ich gut dem Kind die Freiheit zu lassen mit 18. Die meisten heulen immer gleich rum, was wenn es alles für Koks und Nutten ausgibt...?! 111!!11"
            },
            {
                "number": 25,
                "content": "Wieso bevor 18?"
            },
            {
                "number": 26,
                "content": "Naja der Freibetrag beträgt immerhin 20k. Wenn du da drunter bist, sehe ich aktuell keinen Mehrwert das über ein Junior-Depot zu lösen. Nimmst dir so halt die Flexibilität."
            },
            {
                "number": 27,
                "content": "Schenkungssteuer fällt erst ab 20k an. Da musst du schon ordentlich in den ETF buttern."
            },
            {
                "number": 28,
                "content": "Anders rum genauso möglich. Auf fremden Namen eingezahltes Geld wird dem Begünstigten auf die Füße fallen, falls er oder auch seine Eltern mal einen Wohngeld, Bafög, oder ähnlichen Antrag stellen. Früher waren sicher Kontoeröffnungen sogar ohne Zustimmung und Kenntniss des Betroffenen möglich, das Finanzamt kennt sie aber alle. Ich fände es übergriffig, wenn jemand auf meinen Namen oder dem meiner Kinder Finanzgeschäfte treiben würde."
            },
            {
                "number": 29,
                "content": "Ok sorry - schnelles Googlen hab ich ergebnislos beendet. Beschäme mich, beschande mich, ich guck nochmal. Pls love me."
            },
            {
                "number": 30,
                "content": "Ist halt ein lebendiges Forum und kein Nachrichtenarchiv, dass wiederholte Beiträge nicht zulässt.\n\nAuch wenn die Frage nicht einmalig ist, hilft es doch, auch für die Kommentierenden, das Thema immer mal wieder aufzufrischen. Vielleicht gibt es ja was neues.\n\nUnd generell bist du auch in einem Forum für Finanzen. Die Leute mögen es hier anderen Leuten die Welt rund um Finanzen zu erklären. Also einfach leben und leben lassen."
            },
            {
                "number": 31,
                "content": "Dasselbe gilt fuer deinen unnoetigen Kommentar"
            },
            {
                "number": 32,
                "content": "Mit 50 braucht er/sie es sicherlich am dringlichsten."
            },
            {
                "number": 33,
                "content": "Auch noch n guter Punkt."
            },
            {
                "number": 34,
                "content": ">Zweckgebunden, Zuschuss zum Studium, Möbel für erste Wohnung, alles gut. Aber dann gestreckt und so wie der Geldgeber es bestimmt.\n\nSeh' ich anders. Zuschüsse zu Möbeln, Auto, Führerschein zahle ich, wenn ich das möchte, von meinem Geld. Als einmaliges Geschenk.\n\nGeld, dass ich für Kind/Neffen/XY zurücklege, gehört ihm/ihr. Wenn ich über's Jahr Bargeschenke mache (statt in ein Depot zu gehen), sagen wir zu Ostern, Weihnachten, Geburtstag, dann kommt auch ein Sümmchen zusammen, dass derjenige entweder ins Sparschwein tun oder sich ein Legoset oder ne Playstation 7 kaufen kann.\n\nWenn der 18-Jährige das Geld für den Führerschein/Auto/Mofa nutzt, perfekt. Schönen Urlaub nach der Schule? Wieso nicht! Ein Stück unnötigen Luxus wie ne schöne Uhr oder ein teureres Kleidungsstück? Klar!"
            },
            {
                "number": 35,
                "content": "Crap :D\n\nKlingt naiv, aber ich gehe zumindest davon aus, mit dem Kind nicht in Streit zu verfallen ;)"
            },
            {
                "number": 36,
                "content": "Eben. Das ist es. Aber das hatte ich im voraus alles einkalkuliert 😊"
            },
            {
                "number": 37,
                "content": "Damit die Gewinne über die Zeit steuerfrei sind"
            },
            {
                "number": 38,
                "content": "Und Vorteil ist, dass das Kind solange es keine eigenen anderen Einkünfte hat, bis zu ca. 10 000 € Einkünften ( Grundfreibetrag), keine Steuern auf die Kapitalerträge zahlt."
            },
            {
                "number": 39,
                "content": "Über 18 Jahre halte ich das für durchaus vorstellbar."
            },
            {
                "number": 40,
                "content": "Nicht googlen... hier in diesem Forum suchen."
            },
            {
                "number": 41,
                "content": "Ja, tut mir leid.  \nIch bin von meiner Arbeit ein wenig vorbelastet. Dort werde ich immer mit Fragen bombardiert, für die derjenige nicht eine Sekunde selbst recherchiert hat."
            },
            {
                "number": 42,
                "content": "Du gehst auch nicht davon aus das du dich Scheiden lässt, trotzdem ist ein Ehevertrag immer richtig und wichtig. \n\nWenn man nicht davon ausgeht sich zu scheiden dann machts ja auch nix nen Ehevertrag aufzusetzen. Same thing here.\n\n\nBtw, sehr nett das sowas machst für ihn, hätte mir gerne ein „Startkapital“ gewünscht. Macht alles viel einfacher, außer man versaufts halt"
            },
            {
                "number": 43,
                "content": "Kannst du das erklären?"
            },
            {
                "number": 44,
                "content": "Verstehe, arbeite auch mit bloeden Kunden. Scheisse Arbeit 😅"
            },
            {
                "number": 45,
                "content": "Ich gehe tatsächlich schon davon aus, dass ich nie eine dauerdauerdauerhafte Beziehung habrn werde😄"
            },
            {
                "number": 46,
                "content": "ja same, Morgen Valentinstag schaut wieder mau aus, seit schon 21 Jahren wiederholt sich das. Naja egal dafür ist mein Depot im plus"
            },
            {
                "number": 47,
                "content": "Das letzte ist das allerwichtigste"
            }
        ]
    }
]
ashpreetbedi commented 7 months ago

.. will get back soon (busy monday)

timtensor commented 7 months ago

thank you no worries, i am also trying to resolve or find solutions using other libraries etc. It would be really good if you could also have a cookbook on how to manipulate chunks , tips and tricks.

looking forward to your feedback

timtensor commented 7 months ago

@ashpreetbedi - any updates or suggestions to move forward ?

ashpreetbedi commented 7 months ago

@timtensor will check this out tomorrow :) had a busy week

VahidNaghashi commented 6 months ago

Supported, there is an example https://github.com/phidatahq/phidata/blob/main/cookbook/ollama/assistant.py

Hi, But I am getting an error when I am trying to run the assistance code:

httpx.ConnectError: [Errno 111] Connection refused

Prajwal-Nagaraj commented 4 months ago

Hi @ashpreetbedi, love the concept of assistants. But I'm also facing a similar issue. Is there a way to run the assistants without any api keys? i.e, just run the duckduckgo tool (for example) and allow us to format the output of the tool and pass it to a locally hosted llm? This would be great and very convenient

ashpreetbedi commented 4 months ago

@Prajwal-Nagaraj absolutely can run Assistants without api keys.

just run the duckduckgo tool (for example) and allow us to format the output of the tool and pass it to a locally hosted llm?

Please can you explain this a little better, i.e. do you want to run the duckduckgo tool yourself manually or want the LLM to run the tool for you and then generate a structured output.

You can use ollama to run llama3 locally that you can use with an Assistant. Here are a few examples using ollama

I'm here to help so please share what you're looking for and i'd be happy to point you in the right direction

Prajwal-Nagaraj commented 4 months ago

I would want to run the duckduckgo tool manually like in the below code snippet. This way I can parse whatever the tool returns to a locally hosted llm on my colab and then let the llm summarise the output of the search.

from phi.tools.duckduckgo import DuckDuckGo

search_tool = DuckDuckGo()
query = input("Enter the Search Query")

if query:
    search_results = search_tool.run(query)
     if search_results:
        # Extract the text content from the search results
        result_texts = [result['snippet'] for result in search_results['results']]
        combined_text = " ".join(result_texts)

        if combined_text:
            # Summarize the combined text using the local LLM
            summary = summarizer(combined_text, max_length=150, min_length=50, do_sample=False)