LR-POR / PorGram

A Portuguese HPSG Grammar
Other
2 stars 1 forks source link

create and evaluate new random sample of 209 entries #74

Closed leoalenc closed 2 years ago

leoalenc commented 2 years ago

Proceder de modo análogo a #67 e #72 com uma nova amostra aleatória de 209 entradas. Remover de sample-1647-entries.tdl as entradas que constam nas amostras aleatórias, incluindo as entradas de #75, renomeando o arquivo para sample-1029-entries.tdl.

leoalenc commented 2 years ago

Com https://github.com/LR-POR/PorGram/commit/1d6eaee06a5844560ca3ee5a002a2538dd4655a1, incluí a avaliação de mais 209 entradas, das quais considerei 46 erradas, resultando em acurácia de 77.99%. Testei com sucesso as entradas de tipos que não ocorrem nas amostras anteriormente testadas, de 205 e 206 entradas, respectivamente:

~/PorGram$ tail out.txt

660 vamos reduzir os professores para a metade 4 1093 661 o diretor reduziu os professores para a metade 4 306 662 o país abriu-se para o mundo 3 191 663 a empresa abriu-se para o mercado 3 188 664 a artista tirou os óculos para o fotógrafo 1 308 665 o artista tirou a camisa para a revista 1 496

Para fechar a issue, falta apenas renomear o arquivo sample-1647-entries.tdl como sample-1029-entries.tdl.

leoalenc commented 2 years ago

Com https://github.com/LR-POR/PorGram/commit/740c14f3f2fd311e276fd84bd3c53eeee553582, fecho a issue. Ressalto que, no arquivo random-sample-209-entries.tdl, para diminuir o esforço de digitação, utilizei as seguintes abreviaturas, explicadas no início do arquivo:

;; AUL a
;; AUR u
;; FER f
;; GEI g
;; HOU h
;; MIC m
;; POR p
;; BOR b
;; PER19 r
;; LEO l
;; VER v
;; k=x annotation error: "x" is a syntactic obj of the causative verb
;; k=y annotation error: "y" is a syntactic obj of the causative verb, where "y" is the dependent incorrectly attached to the embedded verb
;; p= annotation error: no active form, passive participle without auxiliary
;; p] annotation of past participle of pronominal or unaccusative verb represents source of error for valence extraction
;; p=/ p= OR p]
;; p' annotation of stative passive represents source of error for valence extraction
;; p'] p' OR p]
;; p/ annotation error: passive "se"
;; n/ annotation error: impersonal "se"
;; la/ annotation error: pleonastic direct object and prepositioned direct object (Mateus et al., 1989, p. 164)
;; l/ annotation error: pleonastic direct object aka clitic doubling (Mateus et al., 1989, p. 164)
;; a/ annotation error: prepositioned direct object (Mateus et al., 1989, p. 164)
;; ap/ annotation creates a problem for valence extraction: Theme or Patient maps to a direct object, not a prepositional one
; https://github.com/LR-POR/valex/issues/8#issue-1113846411
;; i/ impersonal "se" of direct transitive verb
;; pr pronominal verb
;; -sense in some other sense, not in the relevant sense
;; -pr no pronominal verb
;; -prs no pronominal verb in this sense
;; -x-er annotation error: x-PP is an obj or iobj
;; -x-pp x-PP is not a complement
;; x-pp x-PP is a complement
;; (-)y-pp y-PP is (not) a complement, where y is the corresponding case-marking preposition
;; r,type ERROR:type
;; r,type1/type2 ERROR:type1 OR type2
;; r, ERROR?
;; r,[] ERROR:TODO
;; r,x-vl ERROR:x-verb-lex
;; r,x-d-vl ERROR:x-ditransitive-verb-lex
;; r,tr ERROR:trans-verb-lex
;; [x (x)
;; [x,y (x, y)
;; io indirect object
;; td transitivo direto [g
;; tdi transitivo direto e indireto [g
;; ta-x transitivo adverbiado + x [g
;; tda transitivo direto adverbiado [g
;; tdp transitivo direto e predicativo [g
;; [] TODO
;; dposs dative of possession (dativus possessivus)
;; dcom dative of interest (dativus commodi)
;; /k prototypical example

As abreviaturas AUL, AUR etc., por sua vez, foram utilizadas nos arquivos de amostras aleatórias anteriores. Explico-as no início do arquivo random-sample-50-entries.tdl. Com a amostra aleatória objeto da presente issue, completo um conjunto de 826 entradas avaliadas, 40.12% do total de 2059. Detectei 180 entradas erradas, pelo que a acurácia nesse conjunto foi de 78.21%.