centre-for-humanities-computing / odyCy

A general-purpose NLP pipeline for Ancient Greek
https://centre-for-humanities-computing.github.io/odyCy/
MIT License
17 stars 2 forks source link

bugged document in binarizing ner golden dictionary #26

Open jankounchained opened 1 year ago

jankounchained commented 1 year ago

the following doc allegedly has no span after span = doc.char_span(start, end, label=label)

{'text': ' \n                \nτῶν οὖν δειπνοσοφιστῶν ὁ μέν τις ἔλεγε τῶν σκολίων τόδε, ὁ δέ τις τόδε· πάντα δ’ ἦν τὰ λεχθέντα ταῦτα· \n \n                      α# \n                   \n                   \n                      \n                      Παλλὰς \n                      Τριτογένει᾽ , ἄνασσ’ Ἀθηνᾶ,\n ὄρθου τήνδε πόλιν τε καὶ πολίτας,\n ἄτερ ἀλγέων καὶ στάσεων\n καὶ θανάτων ἀώρων σύ τε καὶ πατήρ.\n\n \n                   \n                      β᾽ \n                   \n                   \n                      πλούτου μητέρ’  Ὀλυμπίαν  ἀείδω\n \n                      Δήμητρα  στεφανηφόροις ἐν ὥραις,\n σέ τε, παῖ  Διός ,  Φερσεφόνη  · \n χαίρετον, εὖ δὲ τάνδ’ ἀμφέπετον πόλιν.\n\n \n                   \n                      γ# \n                   \n                   \n                      \n                      ἐν  Δήλῳ  ποτ’ ἔτικτε παῖδα  Λατώ ,\n \n                      Φοῖβον  χρυσοκόμαν, ἄνακτ’ Ἀπόλλω,\n ἐλαφηβόλον τ’ ἀγροτέραν\n \n                      Ἄρτεμιν , ἃ γυναικῶν μέγ’ ἔχει κράτος.\n\n \n                   \n                      δ# \n                   \n                   \n                      ὦ  Πάν ,  Ἀρκαδίας  μέδων κλεεννᾶς,\n \n                      ὀρχηστὰ  Βρομίαις  ὀπαδὲ  Νύμφαις ,\n γελάσειας, ὦ  Πάν , ἐπ’ ἐμαῖς\n εὔφροσι ταῖσδ’ ἀοιδαῖς κεχαρημένος.\n\n \n                   \n                      ε# \n                   \n                   \n                      ἐνικήσαμεν ὡς ἐβουλόμεσθα,\n καὶ νίκην ἔδοσαν θεοὶ φέροντες\n παρὰ  Πανδρόσου \n                      ʽὡς φίλην  Ἀθηνᾶν . ʼ ὁ\n\n \n                   \n                      σ᾽ \n                   \n                   \n                      εἶθ’ ἐξῆν ὁποῖός τις ἦν ἕκαστος\n \n                      τὸ στῆθος διελόντ᾽, ἔπειτα τὸν νοῦν\n ἐσιδόντα, κλείσαντα πάλιν,\n ἄνδρα φίλον νομίζειν ἀδόλῳ φρενί.\n\n \n                   \n                      ζ# \n                   \n                   \n                      ὑγιαίνειν μὲν ἄριστον ἀνδρὶ θνητῷ,\n δεύτερον δὲ καλὸν φυὰν γενέσθαι,\n τὸ τρίτον δὲ πλουτεῖν ἀδόλως,\n καὶ τὸ τέταρτον ἡβᾶν μετὰ τῶν φίλων.\nἀισθέντος δὲ τούτου καὶ πάντων ἡσθέντων ἐπ’ αὐτῷ καὶ μνημονευσάντων ὅτι καὶ ὁ καλὸς  Πλάτων  αὐτοῦ μέμνηται ὡς ἄριστα εἰρημένου, ὁ\n \n                      Μυρτίλος  ἔφη  Ἀναξανδρίδην  αὐτὸ διακεχλευακέναι τὸν κωμῳδιοποιὸν ἐν  Θησαυρῷ  λέγοντα οὕτως· \n ὁ τὸ σκόλιον εὑρὼν ἐκεῖνος, ὅστις ἦν,\n τὸ μὲν ὑγιαίνειν πρῶτον ὡς ἄριστον ὂν\n                      ὠνόμασεν ὀρθῶς·  δεύτερον δ’ εἶναι καλόν,\n τρίτον δὲ πλουτεῖν, τοῦθ᾽, ὁρᾷς, ἐμαίνετο· \n μετὰ τὴν ὑγίειαν γὰρ τὸ πλουτεῖν διαφέρει\n καλὸς δὲ πεινῶν ἐστιν αἰσχρὸν θηρίον.\n ἑξῆς δ’ ἐλέχθη καὶ τάδε· \n\n \n                   \n                      η# \n                   \n                   \n                      \n                      \n                       ἐκ γῆς χρὴ κατίδην πλόον,\n εἴ τις δύναιτο καὶ παλάμην ἔχοι.\n ἐπεὶ δὲ κ’ ἐν πόντῳ γένηται,\n τῷ παρεόντι τρέχειν ἀνάγκη.\n\n \n                   \n                      θ# \n                   \n                   \n                      ὁ δὲ καρκίνος ὧδ’ ἔφη,\n χαλᾷ τὸν ὄφιν λαβών\n\n \n                   \n                      εὐθὺν χρὴ τὸν ἑταῖρον ἔμμεν\n καὶ μὴ σκολιὰ φρονεῖν. \n                   \n                      ι# \n                   \n                   \n                      ἐν μύρτου κλαδὶ τὸ ξίφος φορήσω,\n \n                      ὥσπερ  Ἁρμόδιος  καὶ  Ἀριστογείτων ,\n ὅτε τὸν τύραννον κτανέτην\n \n                      ἰσονόμους τ’ ᾽\n Ἀθήνας  ἐποιησάτην.\n\n \n                   \n                      ια# \n                    φίλταθ’  Ἁρμόδι’  , οὒ τί που τέθνηκας\n νήσοις δ’ ἐν μακάρων σέ φασιν εἶναι,\n ἵνα περ ποδώκης Ἀχιλεύς,\n \n                   Τυδείδην  τέ φασι τὸν ἐσθλὸν  Διομήδεα .\nἐν μύρτου κλαδὶ τὸ ξίφος φορήσω,\n ὥσπερ  Ἁρμόδιος  καὶ  Ἀριστογείτων ,\n ὅτ’  Ἀθηναίης  ἐν θυσίαις\n ἄνδρα τύραννον  Ἵππαρχον  ἐκαινέτην.\n\n \n                      \n                      \n                         ιγ᾽ \n                       αἰεὶ σφῷν κλέος ἔσσεται κατ’ αἶαν,\n φίλταθ’  Ἁρμόδιος  καὶ ι  Ἀριστογείτων · \n ὅτι τὸν τύραννον κτανέτην\n ἰσονόμους τ’  Ἀθήνας  ἐποιησάτην.\n\n \n                         \n                         \n                            ιδ# \n                         \n                         \n                         Ἀδμήτου  λόγον, ὦ ἑταῖρε, μαθὼν τοὺς ἀγαθοὺς φίλει, τῶν δειλῶν δ’ ἀπέχου, γνοὺς ὅτι δειλοῖς ὀλίγη χάρις.\n \n                      \n                      \n                         \n                         \n                            ιε# \n                          παῖ  Τελαμῶνος ,  Αἶαν  αἰχμητά, λέγουσί σε\n ἐς  Τροίαν  ἄριστον ἐλθεῖν  Δαναῶν  μετ’ Ἀχιλλέα. \n                      \n                      \n                         \n                         \n                            ισ᾽ \n                         \n                         τὸν  Τελαμῶνα  πρῶτον,  Αἴαντα  δὲ δεύτερον\n ἐς  Τροίαν  λέγουσιν ἐλθεῖν  Δαναῶν  μετ’ Ἀχιλλέα. \n                      \n                         \n                         \n                            ιζ᾽ \n                          εἴθε λύρα καλὰ γενοίμαν ἐλεφαντίνα,\n καί με καλοὶ παῖδες φέροιεν  Διονύσιον  ἐς χορόν. \n                      \n                         \n                         \n                            ιη# \n                          εἴθ’ ἄπυρον καλὸν γενοίμην μέγα χρυσίον\n \n                         καί με καλὴ γυνὴ φοροίη καθαρὸν θεμένη νόον. \n                      \n                         ιθ# \n                      \nσύν μοι πῖνε, συνήβα, συνέρα, συστεφανηφόρει,\n σύν μοι μαινομένῳ μαίνεο, σὺν σώφρονι σωφρόνει. \n                   \n                      \n                      \n                         κ# \n                       ὑπὸ παντὶ λίθῳ σκορπίος, ὦ ἑταῖρ᾽, ὑποδύεται.\n φράζευ μή σε βάλῃ· τῷ δ’ ἀφανεῖ πᾶς ἕπεται δόλος.\n\n \n                   \n                   \n                      \n                      \n                         κα# \n                       ὗς τὰν βάλανον τὰν μὲν ἔχει, τὰν δ’ ἔραται λαβεῖν\n \n                      κἀγὼ παῖδα καλὴν τὴν μὲν ἔχω, τὴν δ’ ἔραμαι λαβεῖν.\n\n \n                   \n                      \n                      \n                         κβ# \n                       πόρνη καὶ βαλανεὺς τωὐτὸν ἔχουσ’ ἐμπεδέως ἔθος· \n ἐν ταὐτᾷ πυέλῳ τὸν τ’ ἀγαθὸν τόν τε κακὸν λόει. \n                   \n                      \n                      \n                         κγ# \n                       ἔγχει καὶ  Κήδωνι , διάκονε, μηδ’ ἐπιλήθου,\n εἰ χρὴ τοῖς ἀγαθοῖς ἀνδράσιν οἰνοχοεῖν. \n                   \n                      \n                      \n                         κδ# \n                       αἰαῖ  Λειψύδριον  προδωσέταιρον,\n οἵους ἄνδρας ἀπώλεσας, μάχεσθαι\n ἀγαθούς τε καὶ εὐπατρίδας,\n οἳ τότ’ ἔδειξαν οἵων πατέρων κύρησαν. \n                   \n                      \n                      \n                         κε# \n                      \n                      ὅστις ἄνδρα φίλον μὴ προδίδωσιν, μεγάλαν ἔχει\n τιμὰν ἔν τε βροτοῖς ἔν τε θεοῖσιν κατ’ ἐμὸν νόον. \nσκόλιον δὲ φασί τινες καὶ τὸ ὑπὸ  Ὑβρίου  τοῦ  Κρητὸς  ποιηθέν. ἔχει δ’ οὕτως· \n \n                   \n                      ἔστι μοι πλοῦτος μέγας δόρυ καὶ ξίφος\n καὶ τὸ καλὸν λαισήιον, πρόβλημα χρωτός.\n \n                      τούτῳ γὰρ ἀρῶ, τούτῳ θερίζω,\n τούτῳ πατέω τὸν ἁδὺν οἶνον ἀπ᾽· ἀμπέλω,\n τούτῳ δεσπότας μνοίας κέκλημαι.\n τοὶ δὲ μὴ τολμῶντ’ ἔχειν δόρυ καὶ ξίφος\n καὶ τὸ καλὸν λαισήιον, πρόβλημα χρωτός,\n πάντες γόνυ πεπτηῶτες ἐμὸν κυνέοντι, δεσπόταν\n καὶ μέγαν βασιλῆα φωνέοντες.\n\n \n                \n            ', 'entities': [[236, 242, 'PERSON'], [266, 277, 'PERSON'], [517, 525, 'PLACE'], [557, 564, 'PERSON'], [603, 607, 'PERSON'], [611, 620, 'PERSON'], [803, 807, 'PLACE'], [828, 832, 'PERSON'], [859, 865, 'PERSON'], [943, 950, 'PERSON'], [1096, 1099, 'PERSON'], [1103, 1111, 'PLACE'], [1162, 1170, 'GROUP'], [1179, 1186, 'GROUP'], [1204, 1207, 'PERSON'], [1434, 1443, 'PERSON'], [1478, 1484, 'PLACE'], [2091, 2097, 'PERSON'], [2161, 2169, 'PERSON'], [2176, 2188, 'PERSON'], [3255, 3263, 'PERSON'], [3270, 3282, 'PERSON'], [3352, 3358, 'PLACE'], [3451, 3459, 'PERSON'], [3566, 3574, 'PERSON'], [3596, 3604, 'PERSON'], [3648, 3656, 'PERSON'], [3663, 3675, 'PERSON'], [3684, 3692, 'GROUP'], [3722, 3730, 'PERSON'], [3890, 3898, 'PERSON'], [3907, 3919, 'PERSON'], [3965, 3971, 'PLACE'], [4150, 4157, 'PERSON'], [4419, 4428, 'PLACE'], [4432, 4436, 'PERSON'], [4463, 4469, 'PLACE'], [4487, 4493, 'GROUP'], [4697, 4705, 'PLACE'], [4716, 4722, 'PERSON'], [4741, 4747, 'PLACE'], [4766, 4772, 'GROUP'], [4989, 4998, 'PERSON'], [6865, 6871, 'PERSON'], [6878, 6884, 'GROUP']]}