littleyoda / hibiscus_tradeRepublicExporter

proof of concept - Prepared trade republic transaction for import into Hibiscus.
MIT License
0 stars 0 forks source link

Error importing transaction without venv #1

Open riker65 opened 1 day ago

riker65 commented 1 day ago

Hi, danke für das Script.

Bin leider direkt in Fehler gelaufen.

müsste es nicht

python -m venv venv anstatt python -v venv venv bin echt ein python nerd.

würde es nur in venv laufen?

wenn ich es direkt aufrufe erhalte ich einen Fehlermeldung .

` Transactions to be saved: 18 Traceback (most recent call last): File "C:\Users\riker\hibiscus_tradeRepublicExporter\tr2hibiscusxml.py", line 128, in main()


  File "C:\Users\riker\hibiscus_tradeRepublicExporter\tr2hibiscusxml.py", line 122, in main
    asyncio.get_event_loop().run_until_complete(dl.dl_loop())
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^
  File "C:\Users\riker\AppData\Local\Programs\Python\Python313\Lib\asyncio\base_events.py", line 721, in run_until_complete
    return future.result()
           ~~~~~~~~~~~~~^^
  File "C:\Users\riker\hibiscus_tradeRepublicExporter\hibiscusexport.py", line 107, in dl_loop
    self.processKontobewegungen(kontobewegungen)
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^
  File "C:\Users\riker\hibiscus_tradeRepublicExporter\hibiscusexport.py", line 250, in processKontobewegungen
    with open(xmlfile, mode='w', encoding='utf-8') as output_file:
         ~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
OSError: [Errno 22] Invalid argument: 'hibiscus\\hibiscus-2024-10-30T09:47:45.xml'

Danke für Tips.

VG 
`

PS. mein venc muss ich wohl noch verbessern. da hat er import module fehler.  

Update : 
Mist das hatte ich noch vergessen:

pip install -r requirements.txt
riker65 commented 1 day ago

Neuer udpate

habe nun venv erzeugt mit python -m venv venv vorher noch install pip install -r requirements.txt -> all requrements met

dann venv activiert und python3 tr2hibiscusxml.py hibiscus --last-days 14 hibiscus/

trotzdem der Fehler:

Bin leider nur Anwender mit wenig Kenntnissen, wo kann ich den Fehler suchen? ` ID 6a2aa7cb-d80b-4d69-83cc-c83d9035839e Transactions to be saved: 18 Traceback (most recent call last): File "C:\Users\riker\hibiscus_tradeRepublicExporter\tr2hibiscusxml.py", line 128, in main()


  File "C:\Users\riker\hibiscus_tradeRepublicExporter\tr2hibiscusxml.py", line 122, in main
    asyncio.get_event_loop().run_until_complete(dl.dl_loop())
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^
  File "C:\Users\riker\AppData\Local\Programs\Python\Python313\Lib\asyncio\base_events.py", line 721, in run_until_complete
    return future.result()
           ~~~~~~~~~~~~~^^
  File "C:\Users\riker\hibiscus_tradeRepublicExporter\hibiscusexport.py", line 107, in dl_loop
    self.processKontobewegungen(kontobewegungen)
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^
  File "C:\Users\riker\hibiscus_tradeRepublicExporter\hibiscusexport.py", line 250, in processKontobewegungen
    with open(xmlfile, mode='w', encoding='utf-8') as output_file:
         ~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
OSError: [Errno 22] Invalid argument: 'hibiscus\\hibiscus-2024-10-30T09:59:04.xml'
`
littleyoda commented 1 day ago

Du hast Recht mit python -m venv venv.

Die virutellen Umgebung bei Python sind best practice. Du kannst die Pakete aber auch global ohne venv installieren.

Ich vermute, du arbeitest unter Windows, oder? ":" im Dateinamen werden das Problem sein. Korrigiere ich gleich mal.

littleyoda commented 1 day ago

Ist korrigiert. Kannst du gerne testen.

Die folgenden Kommandos sollten dir die neue Version ziehen:

cd hibiscus_tradeRepublicExporter
git update
riker65 commented 1 day ago

top läuft, super,

habe aber 2 meldungen in den transaktionen:

12:06:12 Unknown status EXECUTED

Danke VG T

es sind 3 transaktionen mit dem fehler, die sind dann nicht in deiner JSON Datei. Kann ich für die Transaktionen die Referenz zu den Ids im Statement oder WEB herstellen? Danke

update.

im html format sieht man vor dem fehlerhaften Satz

<kommentar type="java.lang.String">Anteile: None Preis pro Anteil: None Preis: 56,12 € Gebühr: None</kommentar> dabei sind merkwürdige hex zeichen zwischen betrag und € zeichen.

image

also alle transaktionen werden runtergeladen bei Trade, dann bei der Verarbeitung gibt es den Fehler.

Vielleicht hilft das. Dakne VG

littleyoda commented 1 day ago

Im Prinzip funktioniert das Skript mit einer Art Whitelist. Alles was der Bauer nicht kennt, frisst es nicht :-)

Du kannst deine hibiscusexport.py mit der hibiscusexport.py aus der beigefügten Datei überschreiben. debugversion.zip

Dann erstellt er für jede Buchung eine json-Datei. Damit solltest du die Buchung finden können.

nbsp ist nicht ungewöhnliches. https://blog.zeta-producer.com/nbsp/

Aber wie schon geschrieben, kann ich nur eingeschränkt supporten.

littleyoda commented 1 day ago

Um es allen zu vereinfachen, habe ich gerade den Parameter --save-details hinzugefügt. python3 tr2hibiscusxml.py hibiscus --last-days 14 --save-details hibiscus/

Damit wird für jede Transaction ein JSON-File angelegt.

riker65 commented 1 day ago

Hi

eventuell ist das dann was für die Whitelist: "functionalStyle": "EXECUTED",

Danke läuft sonst super.

hier das ganze ding:

littleyoda commented 1 day ago

Ich bin mir nicht sicher, ob es die richtige Transaktion ist. Ich kann sie ohne Probleme auswerten.

Kannst du es nochmal mit der aktuellen Version probieren? Dort wird auch die ID angezeigt.

riker65 commented 1 day ago

Hi,

so , ich probiere es nochmal.

Es sah so aus. Somit dachte ich die Transaktion mit ID 90f1e354-8b58-4218-ac94-d443efee2fb9 mit dem Status executed versacht den Fehler. Habe 94 Transaktionen, 91 werden korrekt verarbeitet, 3 mal der gleich Fehler mit dem Status.

12:43:19 Already seen 4e54caeb-fb58-4c12-8e50-ed5deb6967f7 12:43:19 Already seen 6a2aa7cb-d80b-4d69-83cc-c83d9035839e 12:43:19 Already seen 29d7216c-b5f4-4c21-93f6-16426970f95e ID 90f1e354-8b58-4218-ac94-d443efee2fb9 12:43:19 Unknown status EXECUTED 12:43:19 Already seen 5054f8d7-2dbe-414c-93b6-9b481db4e259 12:43:19 Already seen 28f6ef5a-ef30-40db-b32c-55d414a681d5 12:43:19 Already seen ec86f72d-ebbf-4071-89ad-8273166992bb 12:43:19 Already seen 1106bb33-62b6-40a9-9de2-6a46198b81b7 12:43:19 Already seen f824efbc-5f6a-451d-ba7c-000c54d3f60c

also der erneute Lauf zeit genau 3 Fehler, die dann auch nicht umgewandelt werden:

18:29:48 Already seen 0cee7996-0430-5deb-ac17-42fc03bce4e8 ID 43322807-3354-4924-b5a8-6c68c8894e0f 18:29:48 Unknown status EXECUTED 18:29:48 Already seen e2327ba5-a079-4058-abfa-136090b1c5fd 18:29:48 Already seen 6a2aa7cb-d80b-4d69-83cc-c83d9035839e 18:29:48 Already seen caaf7e6b-cbc5-4afa-98b6-7243c46fc8b2 18:29:48 Already seen 13540fa7-755e-4af0-9b60-0f6b8307b96a 18:29:48 Already seen 6d715ed8-7840-4ce2-a1e4-7c87b9fa7855 18:29:48 Already seen 4e54caeb-fb58-4c12-8e50-ed5deb6967f7 18:29:48 Already seen 28f6ef5a-ef30-40db-b32c-55d414a681d5 18:29:48 Already seen d9f204e4-a3bd-42a8-9558-71f3422c3a9f 18:29:48 Already seen 41702e3d-14fb-4d00-a89e-4cfb8c8801b9 ID 39a60ca5-3723-46c9-a366-a4e7e744248c 18:29:48 Unknown status EXECUTED ID 90f1e354-8b58-4218-ac94-d443efee2fb9 18:29:48 Unknown status EXECUTED 18:29:48 Already seen 84339248-3099-4a7e-8de0-2670c41e14c8 18:29:48 Already seen ec86f72d-ebbf-4071-89ad-8273166992bb

schaue mir die nochmal an

riker65 commented 1 day ago

Hi,

also diese Transaktion 31.7. ist nicht in der umgewandelten Hibiscus datei.

und sieht nach einer Fehlersache aus:

18:34:35 Already seen e2327ba5-a079-4058-abfa-136090b1c5fd **ID 39a60ca5-3723-46c9-a366-a4e7e744248c** 18:34:35 Unknown status EXECUTED 18:34:35 Already seen e5776554-de29-4bae-a904-e0f6d38c3835 18:34:35 Already seen 6d715ed8-7840-4ce2-a1e4-7c87b9fa7855

dazugeöriges JSON teilweise anonymisiert. nur name und iban

-- removed --

VG und Danke

littleyoda commented 23 hours ago

[Ich habe deine Beiträge mal geändert und die Transaktionen herausgenommen. Sie müssen ja nicht ewig hier sichtbar sein]

Kannst du noch mehr zu den 3 Transaktion sagen? Irgendwas besonderes? Ist in der App irgendwas abweichend von anderen Transkationen vormerkt?

Normalerweise kenne ich an dieser Stelle nur die Zustände ["PENDING","EXECUTED","CANCELED"]. grafik Bei dir ist es aber CREATED.

riker65 commented 23 hours ago

Hi, hi nein leider nicht, im statement sehen die so aus:

aber die TradeReplublic hatte meine IBAN geändert. die hatten das Kontomodel angepasst. eventuell liegt es daran?

image

2mal Fehermeldungen 31.7 und 1x am "timestamp": "2024-08-09T12:29:50.727+0000",

plus eine transaktion dazu: { "id": "43322807-3354-4924-b5a8-6c68c8894e0f", "timestamp": "2024-07-31T12:18:25.388+0000", "title": "anaym anaym", "icon": "logos/contacts-T-Red/v2", "badge": null, "subtitle": "Fertig", "amount": { "currency": "EUR", "value": 1.0, "fractionDigits": 2 }, "subAmount": null, "status": "EXECUTED", "action": { "type": "timelineDetail", "payload": "43322807-3354-4924-b5a8-6c68c8894e0f" }, "eventType": "INCOMING_TRANSFER", "source": "timelineTransaction", "details": { "id": "43322807-3354-4924-b5a8-6c68c8894e0f", "sections": [{ "title": "Du hast 1,00\u00a0\u20ac von anaym anaym erhalten", "data": { "icon": "logos/contacts-T-Red/v2", "subtitleText": null, "timestamp": "2024-07-31T12:18:25.388+0000", "status": "executed" }, "action": null, "type": "header" }, { "title": "\u00dcbersicht", "data": [{ "title": "Status", "detail": { "text": "Ausgef\u00fchrt", "functionalStyle": "CREATED", "type": "status" }, "style": "plain" }, { "title": "Referenz", "detail": { "text": "trade new iban", "trend": null, "action": null, "type": "text" }, "style": "plain" } ], "action": null, "type": "table" }, { "title": "Absender", "data": [{ "title": "Name", "detail": { "text": "anaym anaym", "trend": null, "action": null, "type": "text" }, "style": "plain" }, { "title": "IBAN", "detail": { "text": "xxxxIBAN", "trend": null, "action": null, "type": "text" }, "style": "plain" } ], "action": null, "type": "table" }, { "title": "Dokument", "data": [{ "title": "Transaktionsbest\u00e4tigung", "detail": "31.07.2024", "action": { "type": "browserModal", "payload": "https://traderepublic-postbox-platform-production.s3.eu-central-1.amazonaws.com/timeline/postbox/2024/7/31/9c048e82/pb17224306841821827093909791520.pdf?X-Amz-Security-Token=IQoJb3JpZ2luX2VjEAEaDGV1LWNlbnRyYWwtMSJHMEUCIDc9ZqSQUm0AI%2BrvvyMjH7OGMBPc%2FjwrNGCoPLzgpvshAiEAlzb153PfHXE2oLsIJyFEuGZDXXoCiLUjqFrkH5MBpGwqkwUIehAEGgw4MzAwMDY0NDIyNjAiDMZLO0kJvB2Q0ZOSgirwBDUFOFETgs5kmzfuqqR5VFQ57Zo9Qv%2FJtJzW9HJDoKWn9W8LTS9iVFN2g9AbZHd33Ha7tPceUcULa5pqwcJymzWiJIg9FEGoXh%2FrK8NGeA4FSloC2pq%2BuByD4EOTu76n5Cdxcy8y25L4CHH8j6x8ik4jBxFMAFu91tJYDkI5ysXwQT445M5SHEOBCDv%2FCpGGpbaeYtlNPHJBZnVYD0FqDF8WGSjeC5oCFnICpt2kXskUlmptC2iaYpqMM%2BRDTdgCuGZ4RAxibLLxASeaZLW6jjGQ16b4NLES0r7%2BDMm68tQ7LDVRtbe5dc2r3zP9YjABtU6eNf0PCS%2FyyEJmLsxnkbHPVFOmvZ%2BXpXuGDk%2BhLf5c4AVgXWiFT54R%2FRpDz8msAhxD6jPMoBIa%2FjDXnpciNij0v1ZgoKTKPWkIbg1gXdvGG7ukDShcw9%2FJXyJtJqdYOVDju759K6SgeCT6bWWFVbMbKIUNhjvOuK1waCOlt2o9oPCX5mfG%2FhyQPPZp2X7%2FwwFRcr22zPRaMQ6MCyurRwgaIRdxe3NUake7M7L%2BUxZjuiq9IOHzU3PRiKxcRWl%2BphG46zzZtSdXxxTu7PWREi2spKh57cZ193UHNtZE1rCaK0qXcSD99DZ2Rn2CSUvrZ5uhNtvIXijfwaPbQKpqY3H8MdpNYMI2W2OXP7iWe76zulagW09n61hpv0aEpa%2FBbC8GLxOmQWJK9n66xuaDZpA%2FD%2B6GvgUE44ILbbhLx%2BiunsYrjyWmTFHm6gIYv8pga9HVgz4niDxTRYW9h4v8EMDu3ucc2czLU5uVoyiShNiQrLQtckKCCG5h%2FVfl5guR7DCm1om5BjqbAcBqriCZsyFD3cvhFb4yvdgY%2FwRlmZOvgRjaO%2Bv2E7kjZnPAQPsuk2GMIKhg6A6%2BakLHgjLRMFiuhYRZ%2BU7%2FjowzQ5IYjtUU%2FVHruwlwUJey3%2F1G66KdBqoFEzpkTmZxDBLTWnN3031jYZhbxmGJbbn0s6CEtk%2F5fNxKZlOwq4HH2w6egDC6WfnqJzvxM%2Fb5VWYZUhvPkjsozuBA&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20241030T173435Z&X-Amz-SignedHeaders=host&X-Amz-Expires=900&X-Amz-Credential=ASIA4CQB5HEKJMESR4UI%2F20241030%2Feu-central-1%2Fs3%2Faws4_request&X-Amz-Signature=555f020b06769b9eacd3b7e45177abfb483a0f595175ae3a90f184621915ea59" }, "id": "ae717a9e-6a4d-40aa-ac02-327238e09a92", "postboxType": "INCOMING_TRANSFER" } ], "action": null, "type": "documents" } ] } }

riker65 commented 23 hours ago

eventuell waren das Buchungen an die alte IBAN, die dann intern umgebucht wurden auf die neue IBAN.? habe aber auch andere mit incoming Transfer die korrekt verarbeitet wurden.

Mehr fällt mir leider nicht ein