Management page Vespa velutina

SanderDevisscher commented 1 year ago

[x] Provide datasources
[x] Provide example scripts

@jrhillae eens samen overlopen als we in BXL zijn ?

SanderDevisscher commented 11 months ago

@mvarewyck in deze .zip vind je een voorbeeld van beheerdata van Vespa velutina vespaR_data.zip.

In de zip zitten de volgende bestanden:

aantal_gemelde_nesten.geojson: zit wel in de zip maar wordt niet gebruikt 😕
aantal_lente_nesten.csv: aantal gemelde nesten per provincie per jaar tussen 1/1 en 19/5
actieve_haarden.geojson: observaties van het huidige jaar van individuen op meer dan 2km van een beheerd nest of gemeld meer dan 7 dagen na een succesvolle beheeractie. puntenlaag.
beheerde_nesten.geojson: succesvol beheerde nesten
nesten.geojson: alle gemelde nesten
onbehandelde_nesten.geojson: niet of onvolledig beheerde nesten
points.geojson: alle observaties van individuen

Hier is ook een voorbeeld script hoe we deze data willen visualiseren basis_code_iu_tabs.txt.

@jrhillae ter info

SanderDevisscher commented 11 months ago

Naast de visualisaties uit de voorbeeld code mag je ook steeds een kaart voorzien met de verspreiding op regio niveau (analoog met de grofwildpagina) gebaseerd op nesten.geojson en points.geojson. De popup zou dan analoog met het dashboard 2 regels moeten bevatten aantal nesten en aantal individuen.

mvarewyck commented 11 months ago

Naast de visualisaties uit de voorbeeld code mag je ook steeds een kaart voorzien met de verspreiding op regio niveau (analoog met de grofwildpagina) gebaseerd op nesten.geojson en points.geojson. De popup zou dan analoog met het dashboard 2 regels moeten bevatten aantal nesten en aantal individuen.

@SanderDevisscher De file points.geojson bevat alle nodige info. Zouden jullie de file nesten.geojson kunnen aanvullen met ofwel (1) de naam van gemeente en gewest ofwel (2) NISCODE van de gemeente? Momenteel bevat deze punt coordinaten en niscode/naam van de provincie.

mvarewyck commented 11 months ago

@SanderDevisscher De file points.geojson bevat alle nodige info.

Ik heb wel wat renaming moeten doen op deze data om te matchen met de shape files

Gewest: "flanders", "brussels" or "wallonia"

Provincie: toegestane namen

> unique(allShapes$provinces$NAAM)
[1] "Namen"                "Oost-Vlaanderen"      "Waals-Brabant"       
[4] "Limburg"              "Henegouwen"           "Luxemburg"           
[7] "Antwerpen"            "Luik"                 "HoofdstedelijkGewest"
[10] "Vlaams-Brabant"       "West-Vlaanderen"

mvarewyck commented 11 months ago

Draft page ready. To be discussed during next meeting

Need logo Vespa velutina?
Download data: needed for actieve haarden? Alle observaties plot enkel nesten data?

SanderDevisscher commented 11 months ago

Draft page ready. To be discussed during next meeting

Need logo Vespa velutina?

Yes, with link to vespawatch.be

Download data: needed for actieve haarden? Alle observaties plot enkel nesten data?

to be discussed

SanderDevisscher commented 11 months ago

Zal ik deze mapping in de backoffice doen ?

SanderDevisscher commented 11 months ago

of maak je weer zo'n data preprocessing scripts ?

mvarewyck commented 11 months ago

of maak je weer zo'n data preprocessing scripts ?

Preprocessing van points.geojson kan langs onze kant (momenteel zo geimplementeerd)
Aanvullen van nesten.geojson graag langs jullie kant. Dit vereist specifieke R packages voor punt in polygon bepaling.

SanderDevisscher commented 11 months ago

komt in orde

SanderDevisscher commented 10 months ago

I've added the Columns NISCODE, Gemeente & Gewest to nesten.geojson. nesten.txt is in fact nesten.geojson but github doesn't allow uploading of geojsons

mvarewyck commented 10 months ago

Naast de visualisaties uit de voorbeeld code mag je ook steeds een kaart voorzien met de verspreiding op regio niveau (analoog met de grofwildpagina) gebaseerd op nesten.geojson en points.geojson. De popup zou dan analoog met het dashboard 2 regels moeten bevatten aantal nesten en aantal individuen.

To be discussed during next meeting:

Do you want a filter to select individuen and/or nesten data?
When both are shown on single map, we group & color wrt pure sum of nesten + individuen. No correction for nests compared to individuen?

SanderDevisscher commented 10 months ago

todo's vespa page:

graph trend yearly:

[x] add region filter
[x] add option to combine regions
[x] add year slider
[x] add nest type filter (I need to check internally if data is present in data provided).

Management of Vespa velutina (2017 - 2023) - map:

[x] displaying managed nests (beheerde_nesten.geojson)
[x] add nest type filter (I need to check internally if data is present in data provided).

actieve haarden:

[x] add radius filter
- I'll add a new integer column named "radius" with some options in meters to actieve_haarden.geojson
- data-driven filter; options are what's in the data (allows flexibility on our part & stability in the app)
- single selection, default is lowest

notes for myself:

lente nesten obv secundairy nests
actieve haarden op 500m, 1000m, 1500m & 2000m en data lagg of 2 days
tekst boven actieve haarden kaartje dient aangepast te worden om beter om te kunnen met aanpassingen.

jrhillae commented 10 months ago

@SanderDevisscher : note berekenen actieve haarden op basis van factor radius

SanderDevisscher commented 10 months ago

@mvarewyck here are the new actieve haarden & onbehandelde nesten files, with the radius column. data.zip

this filter should allow only 1 option with the default being the lowest value.

SanderDevisscher commented 10 months ago

the column nest_type is advailable in the nesten.geojson. You can work with the codes w'll provide the translation.

mvarewyck commented 8 months ago

I found some missing data (originally in nesten.geojson). @SanderDevisscher Can this be completed on your side?

> Vespa_velutina_shape$nesten[is.na(Vespa_velutina_shape$nesten$GEWEST), c("id", "provincie", "NISCODE", "GEWEST", "NAAM", "geometry")]
Simple feature collection with 3 features and 5 fields
Geometry type: POINT
Dimension:     XY
Bounding box:  xmin: 2.913075 ymin: 50.76312 xmax: 4.761601 ymax: 51.23604
Geodetic CRS:  WGS 84
         id       provincie NISCODE GEWEST NAAM                  geometry
1458  63951 Oost-Vlaanderen    <NA>   <NA> <NA> POINT (3.524079 50.76312)
1809  71206  Vlaams Brabant    <NA>   <NA> <NA> POINT (4.761601 50.87329)
2576 164465 West-Vlaanderen    <NA>   <NA> <NA> POINT (2.913075 51.23604)

SanderDevisscher commented 8 months ago

I'll look into it!

mvarewyck commented 8 months ago

the column nest_type is advailable in the nesten.geojson. You can work with the codes w'll provide the translation.

@SanderDevisscher Do you calculate nest_type on your side? If so, could we have the value NA for these records, rather than the strings 'NA' or 'NULL'?

> Vespa_velutina_shape$nesten[Vespa_velutina_shape$nesten$nest_type %in% c("NA", "NULL"), c("id", "nest_type", "comments.2", "geometry")]
Simple feature collection with 6 features and 3 fields
Geometry type: POINT
Dimension:     XY
Bounding box:  xmin: 3.722466 ymin: 50.78585 xmax: 5.316252 ymax: 51.12496
Geodetic CRS:  WGS 84
        id nest_type comments.2                  geometry
747  71421        NA       <NA> POINT (5.316252 50.91115)
803  71459        NA       <NA> POINT (4.137331 51.08656)
822  71388        NA       <NA> POINT (3.722466 51.12496)
978  66400      NULL       NULL POINT (4.062002 50.98968)
1359 64533      NULL  Geen nest POINT (3.788277 50.78585)
2040 65123      NULL  GEEN NEST  POINT (4.10907 50.78594)

Yes, it's the string 'NA' as we also have the value NA:

> sum(is.na(Vespa_velutina_shape$nesten$nest_type))
[1] 10

mvarewyck commented 8 months ago

Management of Vespa velutina (2017 - 2023) - map:

[ ] displaying managed nests (beheerde_nesten.geojson)

@SanderDevisscher Currently the map displays data from 'nesten.geojson' and 'points.geojson'. The user can select one or more of these sources. Do you want to add 'beheerde_nesten.geojson' as data source or should it replace the 'nesten.geojson' source?

The file 'beheerde_nesten.geojson' doesn't contain info on the municipality and gewest. Can you please add column 'NAAM' = municipality and 'GEWEST' = gewest and rename 'NAAM' into 'provincie'?

mvarewyck commented 8 months ago

@SanderDevisscher The following data records are in 'beheerde_nesten.geojson' but not in 'nesten.geojson'. They are located in Flanders, but from the comments I think these are duplicates (?)

> readS3(file = "Vespa_velutina_shape.RData")
> Vespa_velutina_shape$beheerde_nesten[!(Vespa_velutina_shape$beheerde_nesten$geometry %in% Vespa_velutina_shape$nesten$geometry), c("id", "comments", "NAAM", "geometry")]
Simple feature collection with 6 features and 3 fields
Geometry type: POINT
Dimension:     XY
Bounding box:  xmin: 4.462138 ymin: 50.85879 xmax: 4.803863 ymax: 51.16638
Geodetic CRS:  WGS 84
        id
331  78483
361 169546
398  73266
401  73144
429 124657
430 125558
                                                                                                       comments
331 Bewoner had ons gecontacteerd voor het verdelgen van deze nest en is reeds behandeld De Wespenbestrijder.be
361          foto is niet super duidelijk maar wel degelijk primair nest. Patrick Van Ende verdelgde het reeds.
398                                                                               Reeds verdelgd door Bee-Happy
401                                                                              Reeds bestreden door Bee-Happy
429                                                         Reeds geneutraliseerd door Bee-Happy. Kevin Verbeek
430                                                                    Reeds geneutraliseerd door Kevin Verbeek
              NAAM                  geometry
331      Antwerpen POINT (4.736252 51.16638)
361      Antwerpen POINT (4.462138 51.12841)
398 Vlaams Brabant POINT (4.695619 50.85879)
401 Vlaams Brabant  POINT (4.715462 50.9205)
429 Vlaams Brabant POINT (4.803863 50.99755)
430 Vlaams Brabant POINT (4.785315 51.00097)

SanderDevisscher commented 8 months ago

Suggestions for improvement

Management of Vespa velutina (2017 - 2023)
- [ ] in popup drop total
- [ ] in line graph below split lines for individuals & nests (or if to complex only nests)
Active hotbeds
- [ ] drop managed nests
- [ ] chance untreated nests color to black
- All observations
- [ ] rename to All observations current year
- [ ] add NestType & Management status to popup
- [ ] add data lag disclaimer

=> v1.1.0 update

SanderDevisscher commented 8 months ago

I get the following error when I build the app in docker could not find function "s3read_using" on the vespa velutina management page.

=> v1.0.0 should be fixed before launch

SanderDevisscher commented 8 months ago

We need to think about logic at start of the year. In case of maps like active hotbeds & all observations current year the input files will become empty at the beginning of the year, suggestions to cope with this:

activate active hotbeds only between 1/4 & 1/12 & display disclaimer¹ for the rest of the year
add the outline of the regions (flanders, wallonia, ...) to both maps

¹initial suggestion: "The species is currently not active. When you do observe a individual this might be a wintering queen which does not indicate nesting activity"

@jrhillae is the suggested disclaimer ok ?

=> v1.0.0 should be fixed before launch

Yingjie-ZhangOA commented 8 months ago

I get the following error when I build the app in docker could not find function "s3read_using" on the vespa velutina management page.

The commit a36077b solves the issue

Yingjie-ZhangOA commented 8 months ago

@mvarewyck here are the new actieve haarden & onbehandelde nesten files, with the radius column. data.zip

this filter should allow only 1 option with the default being the lowest value.

commit commit 88ed9dbb42c66d61bed645b1703e5ed842d731b8 implement the filter and subsequent action on the data.

mvarewyck commented 8 months ago

activate active hotbeds only between 1/4 & 1/12 & display disclaimer1 for the rest of the year

@SanderDevisscher Do you want this for both plots 'active hotbeds' and 'all observations'? Or only for the first one?

SanderDevisscher commented 8 months ago

activate active hotbeds only between 1/4 & 1/12 & display disclaimer1 for the rest of the year

@SanderDevisscher Do you want this for both plots 'active hotbeds' and 'all observations'? Or only for the first one?

I would say only the active hotbeds map! @jrhillae what do you think?

inbo / alien-species-portal