Forbedringer på hvordan vi indekserer

cbrevik commented 1 year ago

[ ] Ser ut som headers wrapped i <divs> faller ut av indeksering, øverste seksjon i håndbok for null på slug, title og url etter denne: https://github.com/varianter/handbook/commit/701377a136d855a794379c289f5a1e7c07be7aee#diff-e0ea75075db38b859f48651afcf18e8d09f7c1af738d0d0951d739e3abd0f2cc (men gjelder flere plasser)
[ ] Virker til at tekst som er wrappet i <code> og <strong> utelates fra indeksering - sikkert flere typer som utaltes?
[ ] <li> deles opp i enkelt-items. I noen tilfeller kan det være greit der hvor det er lengre tekst som under Likestilling: "Du får selvsagt full lønn under foreldrepermisjon." - mindre heldig der hvor det bare listes ut korte ting, som under Gadgets: "Aug 2018: 10 000 kr" - eller under Helse, hvor en er kun "Operasjon"
[ ] Grunnverdiene faller helt ut av en eller annen grunn, disse finnes ikke i indeks i hele tatt (så GPT klarer ikke svare på det heller):

Slug/title/url null, fra første punkt:

  {
    "slug": null,
    "title": null,
    "urlPath": "/",
    "matter": {
      "title": "En variants håndbok"
    },
    "systemId": "handbook",
    "url": "/#null",
    "content": "Her forsøker vi å beskrive hvordan ting gjøres i Variant, hva vi prøver å oppnå\nog hvorfor vi tenker som vi gjør. Denne er både for ansatte og folk som er\nnysgjerrige på hvordan det er å være en variant. Håndboka er et levende dokument\nsom vi ønsker alle ansatte skal ha eierskap til. Vi oppfordrer alle til å endre\neller legge til innhold i den. Håndboken\n ligger åpent på GitHub  hvor\n alle kan sende inn endringer \neller  stille spørsmål .",
    "department": [
      "Trondheim",
      "Oslo",
      "Bergen",
      "Molde"
    ]
  },

Sample på punkt to, <code> faller ut, se også håndbok https://handbook.variant.no/information#Heimevernet-(HV)-og-militaertjeneste

{
    "slug": "Heimevernet-(HV)-og-militaertjeneste",
    "title": "Heimevernet (HV) og militærtjeneste",
    "urlPath": "/information",
    "matter": {
      "title": "Det praktiske"
    },
    "systemId": "handbook",
    "url": "/information#Heimevernet-(HV)-og-militaertjeneste",
    "content": "Variant dekker lønn under HV-øvelser. Dette timeføres som vanlig under\n .",
    "department": [
      "Trondheim",
      "Oslo",
      "Bergen",
      "Molde"
    ]
  },

cbrevik commented 1 year ago

Disse faller ut også, i tillegg til verdiene:

cbrevik commented 1 year ago

Skulle vi hatt en linter på indekseringen kanskje?

cbrevik commented 1 year ago

Burde utrede om vi skal returnere markdown til indeksering for GPT/vector-database. Jeg vet at GPT kan forstå markdown, og kunne i så tilfelle også gitt lenker til de som spør spørsmål. Men usikker på om markdown her ville ødelagt relatedness-søk på embeddings - så der må kanskje ren tekst til.

mikaelbr commented 1 year ago

Tror forresten dette kan løses enkelt med a legge til flere noder til indexeren

varianter / handbook

Forbedringer på hvordan vi indekserer #292