semantic-systems / nfdi-search-engine

A lightweight, KG-driven search engine over different endpoints and APIs
https://nfdi-search.nliwod.org/
MIT License
5 stars 3 forks source link

Integrate Gesis-Dataset Search #35

Closed huntila closed 1 year ago

huntila commented 1 year ago

Description

GESIS-Dataset Search: Search for social and economic research data across a diverse portfolio of data repositories and metadata services. Link the NFDI-Search-Engine with GESIS-Dataset search. Read the GESIS-Dataset search about page for more.

RicardoUsbeck commented 1 year ago
Wie versprochen, hier mal die Infos für den REST Zugriff auf den aktuellen ES-Index:

V1: Ist eine alte Elasticsearch Version. Server Doku ist da weniger hilfreich https://git.gesis.org/dsn/dsn-searchkit/-/wikis/productionserversetup als die Elasticsearch Docs

https://www.elastic.co/guide/en/elasticsearch/reference/5.6/search-request-scroll.html

Erste Anfrage

curl --request GET \

 --url 'http://193.175.238.35:8089/dc/_search?scroll=1m' \

 --header 'Content-Type: application/json' \

 --data '{

   "size": 100

}'

Die Antwort enthält eine Scroll ID, die man bei den folgenden Request mit gibt

curl --request POST \

 --url http://193.175.238.35:8089/_search/scroll \

 --header 'Content-Type: application/json' \

 --data '{

   "scroll": "1m",

"scroll_id":"DnF1ZXJ5VGhlbkZldGNoBQAAAAAABKQ3FnlSZlE0bzJQVExDMkh3TU44SjBQZlEAAAAAAASkNhZ5UmZRNG8yUFRMQzJId01OOEowUGZRAAAAAAAEpDkWeVJmUTRvMlBUTEMySHdNTjhKMFBmUQAAAAAABKQ4FnlSZlE0bzJQVExDMkh3TU44SjBQZlEAAAAAAASkOhZ5UmZRNG8yUFRMQzJId01OOEowUGZR"

}'

Wir basteln grad an einem neuem Index mit zusätzlichen (experimentellen) Metadaten aus [schema.org/Dataset](http://schema.org/Dataset) Annotationen u.ä., aber der braucht noch.