++ Add element maps - Githubissues

MaraHochstein commented 5 months ago

https://github.com/MaraHochstein/EPMAdatatools/blob/main/Documentation.md#map-analyses

like grafik

MaraHochstein commented 3 months ago

@Hezel2000 Wird für die element maps immer in eigener record erstellt, wie z.B. hier? Oder werden sie z.T. auch zu den anderen epma-records hochgeladen? Der Bsp-Link enthält nur element-maps.

Die Bezeichnungen der csv machen so weit Sinn, nur verstehe ich nicht, warum es "EdsData[nr] [el] [el].csv" und "data[nr] [el] [el].csv" gibt, sowie was die Achsen bei "data[nr] COMPO.csv" sein sollen.. was sagen die nr aus?

Hezel2000 commented 3 months ago

Ja – es gibt 3 Kategorieren möglicher Messparameter: quantitativ, element maps, qualitativ. Letzteres wird nur selten verwendet. Da für jede Kategorie eigene Messparamter nötig sind, gibt es für jede Kategorie einen eigenen Record, d.h., für element maps gibt es eigene records. Gehören quantitative, maps, etc. Messungen zusammen, können die in Collections auf Kadi gesammelt werden.

OK, da hat etwas in der documentation gefehlt, ich habe das eben aktualisiert, das heißt nun:

{map file}.csv
The naming of {map file} is as follows:
map {nr} {Eds}{internal designation} {element name} {measured charactersistic line}.csv
e.g.:
map 2 data004 Mg Ka.csv
note that 'Eds' only occurs when the element was measured with EDS, when 'Eds' is missing, the element was measured with WDS

MaraHochstein commented 3 months ago

ok, das macht Sinn. Was bedeutet die csv "data[nr] COMPO.csv" (da ist ja nicht in element name & measured characteristitc line unterteilt im Namen)

Hezel2000 commented 3 months ago

Richtig – es gibt manchmal noch 1-2 mehr Dateien, da mit einer Map auch noch ein BSE- und/oder SE-Bild aufgenommen werden kann. Das ergänze ich gleich in der documentation.

MaraHochstein commented 3 months ago

Da für jede Kategorie eigene Messparamter nötig sind, gibt es für jede Kategorie einen eigenen Record, d.h., für element maps gibt es eigene records

Ich verstehe dann nicht ganz, warum bei den anderen beiden demo datasets auch die normal-, quick-, standard-, summary-files drin sind? Ich dachte, die werden getrennt gespeichert und dann zu getrennten records? Das sollte schon am besten irgendwie einheitlich sein, damit ich weiß, was ich wann darstellen lasse und berechnen lasse. Denn die files sind ja sonst nicht dabei, oder? Sonst wäre es quasi nur ein normales quant. dataset, bei dem die maps zusätzlich hochgeladen werden..

MaraHochstein commented 3 months ago

working on styling, display works grafik

Hezel2000 commented 3 months ago

Bei map gibt es neben den maps nur das quick standard file, in dem die Messparamter stehen.

Ansonsten erhalten die normal-, quick-, standard-, summary-files jeweils für die den Record spezifische Informationen, d.h., wenn es eine andre Messung ist, oder ein anderes Messprogramm, sind die Inhalte dieser Dateien anders. Macht das Sinn?

Hezel2000 commented 3 months ago

Schick!

MaraHochstein commented 3 months ago

Bei map gibt es neben den maps nur das quick standard file, in dem die Messparamter stehen.

ok, also wenn bei allen maps-records auch ein quick standard file dabei ist, dann müssten auch die nötigen Informationen daraus angezeigt werden, oder? Welche wären das (im Unterschied zu den quant. records)? (aktuell habe ich nur die kadi metadata abgerufen)

Hezel2000 commented 3 months ago

Dieses File enthält erstaunlich wenig Information. Ich muss noch mal nachschauen, ob da nicht doch noch mehr exportiert werden kann, hatte da aber eigentlich nicht mehr gefunden. Ich melde mich dann deswegen noch mal.

MaraHochstein commented 3 months ago

grafik

filterbar

MaraHochstein commented 3 months ago

@Hezel2000 Weil es in dem preview eurer software steht: Ist der avg der jeweiligen map relevant? Ist ein Histogramm relevant?

Hezel2000 commented 3 months ago

[ ] 1. Bzgl. quick standard file: ich habe nun mal genauer nachgeschaut, da so ein paar zusätzliche Informationen schon sehr hilfreich werden, und habe die nun in einem conditions file gefunden. Da steht nun allerdings alles mögliche drin. Nun muss ich die map-files eh prä-prozessieren, da die insgesamt nicht so grandios abgelegt sind. Ich denke mal, es ist am einfachsten, wenn ich dabei auch das .cnd file mit prozessiere und die wesentlichen Daten auslese und als eine weitere Datei bei den maps mit ablege. Im Moment ist Semesterende, da dauert alles ein klein bisschen länger, ich hoffe das aber zeitnah hinzubekommen.
[ ] 2. Die maps sehen sehr gut aus. Da noch ein paar Informationen hinzu kommen, reicht glaube ich die Info: Fe | Ka | EDS. Die eine, häufig genutzte Funktion bei maps ist die Veränderung der oberen und unteren Anzahl an cps. Eine simples Bsp: An einer Stelle gibt es eine Fehlmessung mit 20.000 cps. Die max. cps aller anderen Punkte ist 1.000. D.h., die cps aller Punkte bis auf einen werden im Farbspektrum ziemlich zusammen gequetscht. Wenn mal allerdings die max cps ändern kann, lässt sich das revidieren. Was also cool wäre, für jede map ein Histogram evtl. in einem expander, das auf der x-Achse die cps hat, und auf der y-Achse die Häufigeit der Pixel mit eben diesen cps – also ein Histogramm. Dann lassen sich über einen st.select_slider die oberen und unteren cps verschieben, wodurch sich die map entsprechend anpasst. Die Parameter könnten dann ebenfalls mit in ein log file zurück nach Kadi geschrieben werden. Wenn das unklar ist gib bescheid, dann mache ich ein kurzes Video dazu mit der EPMA-Software.
[ ] 3. Ich weiß nicht, was der avg ist. Spontan würde ich denken, der ist nicht relevant. Histogramm: s. Punkt 2

MaraHochstein commented 3 months ago

@Hezel2000

"Da noch ein paar Informationen hinzu kommen" - welche Informationen werden das denn alles?
Gibt es eine Standardberechnung, wie man die "Veränderung der oberen und unteren" cps berechnet? Ansonsten würde ich den Median und dann in beide Richtungen Median +/- min /max, je nachdem, welches kleiner ist? So hätte man einen Range, der von min bis min + 2 * Median geht, was die Ausreißer an einem Ende abschneiden könnte (bzw umgekehrt, wenn es Ausreißer nur unten gibt). Das könnte ich dann als preset benutzen. Aktuell ist es nur min & max

Hezel2000 commented 2 months ago

@MaraHochstein

Ich habe nun ein kleines Programm geschrieben, dass mir die fehlenden Messparamter extrahiert und derzeit in eine json schreibt, Beispiel hängt an. Ist das so OK, oder wäre Dir ein anderes Format lieber? Ich muss noch mal über die Datei gehen, dass nun auch alles Fehlende drin steht, ist also noch ein Bespiel. additional measurement parameters.json

Hezel2000 commented 2 months ago

@MaraHochstein

vergessen: die Parameter sind bei jeder Map anders. Soll ich dann für jede Map ein file machen, oder alles in ein file schreiben?

MaraHochstein commented 2 months ago

@Hezel2000 Bezüglich der Histogramme & Einstellen der range für die Maps: Ich denke, dass es besser wäre, wenn man im oberen Bereich einen Expander hat, der dann ein Bearbeitungsfenster öffnet. Dort hat man die Steuerelemente und die gerade ausgewählte map größer und mit Histogramm dargestellt. Man kann dann für die jeweilige map die Werte anpassen und sie können im session state gespeichert werden, sodass ein upload der maps-filter auch auf kadi möglich ist und ein download zum späteren Wiederaufrufen. Unten wird dann die "Galerie" dargestellt mit den Bildern nach derzeitigen Filtereinstellungen angepasst.

Wenn man unter jedes Bild einen Expander mit Histogramm und Einstellmöglichkeiten macht, gibt es mehrere Probleme: Da die Bilder über einen loop dargestellt werden, gäbe es mehrere Slider mit den gleichen Werten. Dass man diese alle unabhängig voneinander bewegen kann und streamlit nicht den duplicate-widget-error ausgibt, muss man das ganze ziemlich nervig im session state oder cache zwischenspeichern, aber für jede Variable. Das sehe ich eher als unnötig, da man ansonsten nur alle geänderten Variablen zwischenspeichern muss (was man ansonsten ja zusätzlich müsste, sonst ist das kadi-upload-file unnötig groß). Zudem ist dann alles viel unübersichtlicher und vollgestopft und die kleinen Bildchen sind vielleicht schlechter zum Einstellen geeignet.

MaraHochstein commented 2 months ago

@MaraHochstein

vergessen: die Parameter sind bei jeder Map anders. Soll ich dann für jede Map ein file machen, oder alles in ein file schreiben?

Sorry, ich hatte die extra-conditions anders im Kopf.. Alles in ein file ist besser als getrennte files, wenn in der json als erstes der map key ist und dann untergeordnet die jeweiligen Parameter (nicht umgekehrt)

MaraHochstein commented 2 months ago

@Hezel2000 Aktueller Stand (beta) grafik

Hezel2000 commented 2 months ago

Das sieht schon gut aus.

MaraHochstein commented 2 months ago

@Hezel2000 Wie "detailliert" soll das histogram sein? Sollen es mehr bins als bei dem Screenshot sein (falls man das noch genauer einstellen muss)?

Vom workflow: ist es eher zu erwarten, dass

[ ] a) der user nur wenige einzelne maps bearbeitet (die ranges umstellt)
[x] b) der user eher fast alle / überwiegend mehrere maps bearbeitet

Die Info wäre noch relevant für das design

MaraHochstein commented 2 months ago

@Hezel2000 und gibt es noch weitere "standard" colorschemes, die für die maps zur Auswahl stehen sollen? Ich hatte mal alles genommen, was gute Kontraste gibt (es gibt aber noch mehr) und den rainbow, weil es bei eurem Programm (aus dem Video von Dir) ausgewählt war. Mögliche color palettes sind aus matplotlib oder seaborn, hier eine Liste (weiß nicht, ob es 100% vollständig ist) zum Schauen: https://www.practicalpythonfordatascience.com/ap_seaborn_palette#all-palettes

Hezel2000 commented 2 months ago

Colorschemes: schwer zu sagen. Ich würde mal abwarten, wie die Rückmeldungen sind, und das dann evtl. erweitern.

MaraHochstein commented 2 months ago

@Hezel2000 s.o.:

Wie "detailliert" soll das histogram sein? Sollen es mehr bins als bei dem Screenshot sein (falls man das noch genauer einstellen muss)?

Hezel2000 commented 2 months ago

Ja, ein etwas feiner aufgelöstes Histogramm wäre gut (oder eine Box, in der man das einstellen kann, aber nur, wenn die Seite dann nicht zu voll würde).

MaraHochstein commented 2 months ago

Ist das so ok? Mit dem slider geht es schlechter darzustellen, daher die input-Boxen grafik

PS: links description, name & delete angepasst

Hezel2000 commented 2 months ago

Das sieht schon sehr gut aus. Ich bin gerade unterwegs und kann das hoffentlich mit einem aktuellen Datensatz Ende nächster Woche, spätestens Ende August genauer anschauen.

MaraHochstein / EPMAdatatools

++ Add element maps #1