search

NS-unina / VulnEnvLLM

0 stars 0 forks source link

Verifica performance Chat GPT #2

Closed giper45 closed 11 months ago

giper45 commented 12 months ago

Test con applicazioni / servizi presi da ExploitDB

Funziona nella generazione di servizi / applicazioni? https://www.exploit-db.com/?type=webapps

Test con vulnerabilità (trova CVE)

Test con CVE

Verifica di varie casistiche di test:

Test con CPE / Wordpress plugins / ExploitDB come sorgente di vulnerable applications.

https://ieeexplore.ieee.org/abstract/document/9872859?casa_token=mIMdpRxmakUAAAAA:a4QitLpxkRqVpmaO30mznitlMqDg3z8fRdrUEBP_rkhjDEVW4hfRV1SZS6lRc59JzLhzcZP7BQ

giper45 commented 12 months ago

Output: csv / markdown / word con i risultati.

Tony177 commented 12 months ago

Documentato nel file performance_chatgpt: https://github.com/NS-unina/VulnEnvLLM/blob/main/docs/performance_chatgpt.md

giper45 commented 12 months ago

Provare a usare altri tipi di input esempio la cpe.senza parlare di vulnerabilità

Tony177 commented 12 months ago

Approfondito ulteriormente input di CPE/CVE e correlazione tra i due con ChatGPT

giper45 commented 12 months ago

Risultati degli altri e assenza di Dockerfile

@Tony177 dove si trovano i risultati con gli altri? Inserire sempre in performance_chatgpt.md .

Inoltre, non hai chiesto a chatGPT di creare Dockerfile... come fa a capire che deve fare?

Estensione dei test

Inoltre, questo test andrebbe un pochino più formalizzato ed esteso. Per estenderlo, bisogna cambiare le domande fatte. Ad esempio, prova a dire Realize a Dockerfile containing Cybrotech CyBroHttpServer 1.0.3  Per formalizzare, effettuare più volte la stessa domanda, e verificare se risponde diversamente se viene chiesto 5 6 volte la stessa domanda. Se risponde diversamente, dovremmo tracciare l'informazione.

  1. question: la domanda.
  2. question structure: informazioni su come è stata strutturata la domanda. Es. per Talk me about the CVE regarding Cybrotech CyBroHttpServer 1.0.3 - Cross-Site Scripting, la colonna question structure potrebbe avere: `The question contains "CVE" and XSS as vulnerable words.
  3. Response with ChatGPT: la risposta
  4. Response with Bard: la risposta
  5. Response with ....
Tony177 commented 12 months ago

Devo aggiustare il permalink che punta al file del commit precedente, ho chiesto più volte della generazione di dockefile e non ne è in grado in alcun modo, lo riporto comunque?

giper45 commented 12 months ago

Sì, il fallimento è un indicatore di un test fatto, Importante tenerne Traccia per poi valutare efficacia del tuo approccio

Il giorno sab 4 nov 2023 alle 11:03 Tony177 @.***> ha scritto:

Devo aggiustare il permalink che punta al file del commit precedente, ho chiesto più volte della generazione di dockefile e non ne è in grado in alcun modo, lo riporto comunque?

— Reply to this email directly, view it on GitHub https://github.com/NS-unina/VulnEnvLLM/issues/2#issuecomment-1793400854, or unsubscribe https://github.com/notifications/unsubscribe-auth/AENQP57U6PXOWN735MUE7OTYCYHHPAVCNFSM6AAAAAA627A6K6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTOOJTGQYDAOBVGQ . You are receiving this because you modified the open/close state.Message ID: @.***>

Tony177 commented 12 months ago

Aggiornato file in formato tabellare ed aggiunto confronto con Bard e GitHub Copilot, oltre a due esempi di generazione di Dockerfile vulnerabili

giper45 commented 12 months ago

Sto vedendo, molto bene. Vedo che se togli le parole "vulnerable", CVE, ecc. lui riesce a darti un Dockerfile. Ottimo direi... Continua a pensare ad altre ipotetiche domande, e valutazioni.

Una volta definito un buon prompt che non viene rifiutato, dovremo prendere una cinquantina di applicativi vulnerabili (eventualmente valutando varie vulnerabilità), farli generare dalle AI e provare a fare exploitation. Eventualmente partendo proprio dagli exploit di ExploitDB. Inizio a fare issue., poi ci ragioniamo a valle di questa prima analisi però.