sassoftware / python-dlpy

The SAS Deep Learning Python (DLPy) package provides the high-level Python APIs to deep learning methods in SAS Visual Data Mining and Machine Learning. It allows users to build deep learning models using friendly Keras-like APIs.
Apache License 2.0
224 stars 131 forks source link

Error creating an Audio Table Using a create_audio_table #329

Closed mdziec closed 3 years ago

mdziec commented 3 years ago

ERROR: The ID columns in the input table and the annotated table must have the exact same types, including formats. ERROR: The action stopped due to errors.

DLPyError Traceback (most recent call last)

in 4 au_table = AudioTable.create_audio_table(conn, 5 "/data/smartparking/mdz/audio/train/audio/listingFiletmp.txt", ----> 6 "/data/smartparking/mdz/audio/train/audio/groundTruthtmp.txt") /opt/anaconda3/lib/python3.7/site-packages/dlpy/audio.py in create_audio_table(cls, conn, data_path, metadata_path, features_parameters, casout, task) 261 return cls.create_audio_table_speechrecognition(conn, data_path, metadata_path, 262 features_parameters=features_parameters, --> 263 casout=casout) 264 else: 265 raise DLPyError("We do not support this task!") /opt/anaconda3/lib/python3.7/site-packages/dlpy/audio.py in create_audio_table_speechrecognition(cls, conn, data_path, metadata_path, features_parameters, casout) 341 for msg in rt.messages: 342 print(msg) --> 343 raise DLPyError('cannot create the final audio table!') 344 345 return AudioTable(casout['name']) DLPyError: cannot create the final audio table!
eusdougc commented 3 years ago

@mdziec - can you provide the two text files that you are using (listingFiletmp.txt and groundTruthtmp.txt)? It will be hard to track down the problem without them.

eusdougc commented 3 years ago

@mdziec - any chance you can post the data or give us some equivalent data?

eusdougc commented 3 years ago

@mdziec - the error you referenced in the issue title "The ID columns in the input table and the annotated table must have the exact same types, including formats." is coming from the Join CAS action that the DLPy code is calling. We check to ensure that the ID variables in both the data file and metadata file are identical. If they are not, then the join fails. In the version of DLPy you are using, the ID variable is called path. Without access to listingFiletmp.txt and groundTruthtmp.txt, we cannot debug this issue further.

mdziec commented 3 years ago

Hi I am sending both files.

Regards Mariusz

20200429_121817-122140flvwav_00000.wav 20200429_121817-122140flvwav_00001.wav 20200429_123840-123919flv.wav 20200429_123952-124100flv.wav 20200429_124111-124223flv.wav 20200429_124226-124419flv.wav 20200429_124421-124550flv.wav 20200429_124642-125139flvwav_00000.wav 20200429_124642-125139flvwav_00001.wav 20200429_125151-125227flv.wav

20200429_121817-122140flvwav_00000.txt szczęść boże wysoka izbo pani marszałek proszę skończyć z tą farsą to jest farsa powoływanie się na niedoskonałości jednej z sieci telefonicznych w sytuacji w której te obrady są zamknięte tak jak cały kraj zamknięty jest w kwarantannie na własne życzenie aktualnego układu władzy to jest farsa wypuśćcie naród z kwarantanny zacznijcie od sejmu rzeczypospolitej skończcie z reglamentacją dostępu do tej sali otwórzcie nam komisje sejmowe zespoły parlamentarne nie uniemożliwiajcie wprowadzenia czynnika społecznego naszych rodaków do prac sejmu i przede wszystkim skończcie z tą farsą bo ogłaszanie szanowna pani marszałek że prace sejmu będą mogły być kontynuowane dokładnie nie wiadomo kiedy ale mamy wierzyć pani na słowo że za chwileczkę po czym to się nie sprawdza to jest farsa proszę z tym skończyć panie pośle bardzo pana proszę o wycofanie tego wniosku z powodu o którym pan przed chwileczką się dowiedział to nie jest wina sejmu i to nie jest nie udzielam panu głosu panie pośle bardzo pana proszę żeby pan przychylił się do tego co ustaliło prezydium sejmu i konwent seniorów czyli reprezentanci nas wszystkich żebyśmy przystąpili do pierwszego czytania ważnego rządowego projektu na który wszyscy czekają nie przychylam się pani marszałek panie przewodniczący czy mogę pana prosić o jakąś reakcję ale musimy przegłosować sprzeciw nie możemy głosować ponieważ nie wszyscy posłowie mają dostęp proszę państwa zaczniemy w związku z tym bardzo proszę o chwilę refleksji bo pan w ten sposób zablokuje prace izby a wszystkim nam zależy ja tak panie pośle pan pan panie pośle tak oczywiście że tak liberum veto ale najpierw przystąpię za chwileczkę do głosowania żebyśmy sprawdzili ilu w tej chwili jest posłów ilu w tej chwili posłów uczestniczy w posiedze niu sejmu w związku z tym ja piszą że nie mają kodu dobrze panie pośle ja to rozumiem doskonale i dlatego nie chcę dlatego ustaliliśmy przed chwileczką to co ustaliliśmy pan poseł pan poseł się z tym nie zgadza ale ja stwierdzę kworum na jakie więc bardzo proszę państwa obecnych tutaj na sali ale także poza salą plenarną i posłów którzy są z nami zdalnie połączeni o to żeby nacisnęli dowolny przycisk dla stwierdzenia kworum 20200429_121817-122140flvwav_00001.txt pusty plik audio 20200429_123840-123919flv.txt proszę teraz pana posła sekretarza o odczytanie komunikatów informuj informuję że w dniu dzisiejszym odbędzie się jedno posiedzenie komisji jedna posiedzenie komisji finansów publicznych o godz 14 dziękuję 20200429_123952-124100.flv.txt minuta czas tak jest pani marszałek wysoka izbo zwracam się z wnioskiem formalnym o przerwę i zwołanie konwentu seniorów celem uzupełnienia porządku obrad o informację premiera w sprawie przygotowań do wyborów prezydenckich prawda jest taka że językami posłowie prawa i sprawiedliwości w telewizji chętnie mówią o wyborach a na sali sejmowej o tym nie chcą dyskutować tego że obwe mówi że wybory będą niedemokratyczne czy decyzji którą ogłosił przewodniczący pkw mówiąc że nie będą wybory wolne namawiacie samorządowców do łamania prawa karty wyborcze drukujecie tak jak w piłkarskim pokerze a sprawy dotyczące legalności wyborów prokurator umarza w ekspresowym tempie ze święta demokracji robimy farsę pani marszałek w imię konstytucji rzeczypospolitej polskiej wzywam abyśmy dzisiaj albo na najbliższym posiedzeniu czyli w ciągu tych 3 dni przegłosowali ten wniosek a wszyscy którzy nie będą chcieli współpracować znaczy nie chcą przeprowadzić uczciwych wyborów dziękuję bardzo dziękuję mamy wniosek o prze 20200429_124111-124223flv.txt zcigodna pani marszałek wysoka izbo wniosek o odroczenie tego posiedzenia do czasu aż będzie ono mogło przebiegać w sposób przewidziany nie tylko przez regulamin prawa rzeczypospolitej ale też znany tradycji i znany rutynie sejmowej w mediach elektronicznych czytać można wypo wiedź pana marszałka terleckiego który występuje albo jako ośmielam się wykluczać taką perspektywę jako współsprawca problemów z połączeniami albo też jako prorok mniejszy który wyprorokował że kogoś może tam zabraknąć ktoś się może nie połączy przeczytajcie państwo co pan marszałek terlecki może pani marszałek zachęci agencję bezpieczeństwa wewnętrznego żeby sprawdziła czy istotnie zachodzi okoliczność ta pochlebna dla pana marszałka że pan marszałek zaledwie przewidział a nie doprowadził do takich problemów z połączeniami nie czyńmy z posiedzenia sejmu dziękuję panie pośle pośmiewiska dziękuję panie pośle wniosek o odroczenie pan poseł jac 20200429_124226-124419flv.txt psl kukiz15 proszę bardzo pani marszałek w nie da się pracować nic nie słychać wiem pani poseł pani poseł słychać bulgot tam sala jest nieprzygotowana że nie rozumiemy ani jednego słowa z tego co pani marszałek mówi jedni gęgają inni bulgoczą dobrze pani poseł przyjmuję to właśnie przed chwileczką się dowiedziałam że jest taka sytuacja za chwileczkę ogłoszę przerwę tam nie ma głośników i to wszystko po prostu jest przyjęłam pani poseł tak przyjęłam tę informację proszę bardzo dziękuję pani marszałek wysoki sejmie również w trybie art 184 regulaminu sejmu wnoszę w imieniu klubu koalicja polska o zarządzenie przerwy i zwołanie konwentu seniorów celem o czym uprzedzałem na poniedziałkowym posiedzeniu konwentu zdalnym rozszerzenia porządku obrad o rozpatrzenie uchwały zgłoszonej już prawie miesiąc temu przez nasz klub wzywającej rząd rzeczypospolitej polskiej przez sejm do wprowadzenia stanu klęski żywiołowej krótkie uzasadnienie w dokumencie w projekcie ustawy który będziemy dzisiaj rozpatrywać czyli tzw tarczy 3 w uzasadnieniu dla zmiany trybu powoływania składu krajowej rady prokuratorów rząd pisze aby wybory mogły się odbyć w jak najbezpieczniejszy sposób czas na ich przeprowadzenie ustalono na 9 epidemicznego lub stanu epidemii dlaczego troszczycie się o prokuratorów a nie o zwykłych obywateli oni mają takie samo prawo do bezpieczeństwa jak prokuratorzy zbigniewa ziobry dziękuję jacek nie krzycz dziękuję panie pośle ale wszystko słychać na prawdę dobrze słychać mamy kolejny wniosek o przerwę i ostat 20200429_124421-124550flv.txt szanowna pani marszałek proszę o uzupełnienie porządku dziennego o projekt poselski który zgłosiła koalicja obywatelska ten projekt dotyczy testowania pracowników domów pomocy społecznej innych placówek opieki stałej zakładów opiekuńczo leczniczych placówek prywatnych oraz hospicjów ten projekt szanowni państwo jest już złożony pani marszałek ma ostatnio taką tendencję do tego żeby wprowadzać do porządku obrad nawet projekty które nie mają numeru druku sejmowego tak my tak tak było z projektem rządowym apeluję do pani marszałek o uzupełnienie porządku obrag obrad o projekt koalicji obywatelskiej który jest złożony on dotyczy wszystkich osób zatrudnionych w placówkach opieki stałej dotyczy również bezpośrednio pensjonariuszy tych placówek uważamy że co tydzień wszyscy pracownicy w tych najbardziej narażonych miejscach jakimi są miejsca pobytu stałego osób z w wieku senioralnym powinni być testowani i druga sprawa jeżeli otwieramy pani marszałek 4 maja galerie handlowe żłobki czy też instytucje kultury to apeluję żeby następne posiedzenie sejmu odbyło się w normalnych warunkach nie sejmu zdalnego który jak widać jest bardzo kruchy ale w normalnych warunkach fizycznej obecności posłów w gmachu sejmu dziękuję bardzo dziękuje panie pośle chciałam a pan poseł 20200429_124642-125139flvwav_00000.txt pani marszałek wysoka izbo przepraszam ale dobiegłem z drugiej sali gdzie głosowałem w tej maseczce trochę trudno złapać oddech można zdjąć można zdjąć dobrze dziękuję bardzo wtedy będę mógł załapać oddech można wrócić do życia szanowni państwo mam zaszczyt przedstawić sprawozdanie komisji do rządowego projektu zmiany ustawy prawo energetyczne druk nr 269 i 321 to jest projekt dotyczący ujednolicenia reżimu prawnego w stosunku do wszystkich gazociągów przesyłowych przebiegających przez granicę rzeczypospoli tej niezależnie od tego czy łączą one polskę z systemem gazowym państwa członkowskiego unii europejskiej i efta czy też państwa niebędącego stroną żadnej z tych umów oraz zapewnienia jednolitego stosowania prawa unii europejskiej wobec takiej infrastruktury jest to szanowni państwo projekt dostosowujący polskie prawo do prawa unii europej skiej jest to też związane z tym że polska wnioskowała aby tego typu rozwiązania zostały przyjęte w unii europejskiej udało się zostały przyjęte będzie to obejmować wszystkie połączenia gazowe z krajami unii europejskiej czy są to kraje unii czy spoza unii czy jest to rurociąg gazociąg rosyjski łączący z unią europejską czy też chociażby polskie gazociągi łączące z litwą czy ze słowacją czy z innymi państwami z nami sąsiadującymi szanowni państwo do projektu ustawy zgłoszono również poprawkę do art 1 i jest to poprawka do promocji energii elektrycznej z wysokosprawnej kogeneracji wątpliwości interpretacyjnych związanych z tym czy wydanie warunków przyłączenia lub zawarcie umowy przyłączeniowej jednostki kogeneracji do sieci przesyłowej gazowej lub sieci dystrybucji stanowi podjęcie decyzji inwestycyjnej w rozumieniu 20200429_124642-125139flvwav_00001.txt art 2 pkt 3a ustawy co uniemożliwiałoby spełnienie tzw efektu zachęty również zaproponowano krótkie vacatio legis do tej zmiany ponieważ jest to zmiana dostosowująca przepisy hodzi o to żeby jak najszybciej na najbliższych aukcjach oraz w naborze można było już dopuścić te procedury i mogły odbywać się zgodnie ze zmienionymi przepisami konsekwencją też poprawki będzie zmiana nazwy proponowanej ustawy szanowni państwo na posiedzeniu komisji była jak na warunki utrudnione przez procedowanie zdalne dość ożywiona dyskusja zgłoszono szereg różnego rodzaju uwag ale generalnie zdecydowana większość była za tym żeby ten projekt wraz z poprawkami poprzeć były też wątpliwości dotyczące urzędu regulacji i energetyki czy tego rodzaju poprawki są zasadne mam tutaj odpowiedź ta odpowiedź posła z komisji została dostarczona z urzędu od prezesa pana dr inż rafała gawina że w mojej opinii cytuję zaproponowana zmiana jest zasadna i będzie służyła rozwojowi kogeneracji opartej o paliwa gazowe w kraju projekt nowelizacji został wcześniej uzgodniony z urzędem regulacji i energetyki to rozwiewa też wątpliwości jakie były zgłaszane na posiedzeniu komisji w związku z tym bardzo proszę wysoką izbę o przyjęcie tego projektu gdyż jest on potrzebny dla polskiej gospodarki dziękuję bardzo dziękuję panie pośle sejm ustalił że w dyskusji nad tym 20200429_125151-125227flv.txt szanowni państwo mam zaszczyt w imieniu prawa i sprawiedliwości klubu parlamentarnego wyrazić opinię o przedstawionym projekcie ustawy wraz z poprawką szanowni państwo ten projekt jest potrzebny dla polskiej gospodarki trzeba go jak najszybciej przyjąć on dostosowuje on polskie przepisy do przepisów unii europejskiej tak jak już powiedziałem jako sprawozdawca komisji klub prawa i sprawiedliwości będzie popierał ten projekt wraz z poprawką dziękuję bardzo dziękuję panie pośle proszę o zabranie głosu pana posła pawła poncyljusza

eusdougc commented 3 years ago

@mdziec - There are two problems. First, the name of the audio file must be the same in listingFiletmp.txt and groundTruthtmp.txt. You have different extensions with the same root file name (.wav versus .txt). The second problem is that some of your file name(s) include the string 'wav' in both the name and the extension. For example, 20200429_121817-122140flvwav_00000.wav. If you remove wav in the root file name and make the file names consistent in listingFiletmp.txt and groundTruthtmp.txt the function runs to completion without error.

eusdougc commented 3 years ago

@mdziec - were you able to make the changes I suggested, and did they solve your problem?

eusdougc commented 3 years ago

No further feedback from @mdziec - closing.