Tomeriko96 / polyglotr

R package to translate text
https://tomeriko96.github.io/polyglotr/
Other
28 stars 2 forks source link

Polyglotr: translation of whole text fails, but it works for each individual chunk #13

Open larry77 opened 2 months ago

larry77 commented 2 months ago

Hello,

Please have a look at the reprex below. I have some text in Bulgarian (variable tt) which I would like to translate into English using google translate. If I break tt into two chunks, tt1 and tt2, and then I translate each of them separately, then everything works. However, if I try translating the whole text tt directly, then nothing is returned by polyglotr. Is there a limitation on the number of characters? Or any idea about what the problem may be? Thanks a lot!

library(polyglotr)

## whole text to translate from Bulgarian

tt <- "Експерт Човешки Ресурси Сопот обява за работа от СКФ Берингс БЪЛГАРИЯ ЕАД Разглеждания 89 09 04 2021 Експерт Човешки Ресурси СКФ Берингс България ЕАД Вижте визитка на компанията Месторабота Сопот Постоянна работа Пълно работно време Запази обявата в бележника Известие за нови обяви Принтирай Проблем с обявата Експерт Човешки Ресурси Експерт Човешки Ресурси Като част от международната компания SKF ние в СКФ Берингс България ЕАД произвеждаме сачмени лагери и компоненти за лагери От 2002 г насам производството ни в България гарантира качество и стойност за клиентите на SKF като и трите ни фабрики в гр Сопот гр Калофер и с Кърнаре са сертифицирани по ISO TS 16949 2009 ISO 14001 2004 и OHSAS 18001 2007 Гордеем се да бъдем стабилен и предпочитан работодател в региона грижещ се за безопасността и благополучието на своите работници и служители Ангажираността на нашите колеги и техният непрекъснат стремеж към съвършенство осигуряват растежа ни и признанието което получаваме от нашите клиенти в автомобилната промишленост и сред производителите на битова техника Ако си търсиш постоянна и сигурна работа в която всеки ден има какво ново да научиш и имаш необходимата самодисциплина и мотивация за успех ние сме правилното работно място за теб Основни задължения Администриране на дейностите по назначаване преназначаване и освобождаване на персонал поддържане на трудовите досиета изготвяне на трудови договори допълнителни споразумения заповеди за освобождаване Обработка и създаване на трудови книжки Изготвяне на различни видове справки и отчети за нуждите на отдел Човешки Ресурси и Ръководството Работа с модерни софтуерни системи специално създадени за оптимизиране на работата в отдел ЧР Изисквания Релевантно висше образование за позицията Човешки Ресурси Бизнес администрация или Икономика предимство Работа със специализиран софтуер за Човешки Ресурси предимство Отлична компютърна грамотност MS Office пакет Word Excel Outlook Английски език на работно ниво Организационни и комуникативни умения Работа в екип Защо да станеш част от нашия екип Възможност за развитие в сферата на Човешки Ресурси в международна компания Възможност за работа по проекти в сферата на Човешки Ресурси Освен добро възнаграждение предлагаме осигурен транспорт и храна Ако отговаряш на изискванията за позицията и условията които предлагаме ти харесват моля кандидатствай директно по обявата чрез бутона Кандидатствай Ще се свържем по телефона с покана за интервю с одобрените по CV кандидати възможно най скоро най късно до 2 седмици Данните представени от теб са лични данни по смисъла на ЗЗЛД и ние гарантираме абсолютна конфиденциалност на твоята кандидатура Кандидатствай по тази обява СКФ Берингс България ЕАД Известие за нови обяви Фирма Организация директно търсеща служители Повече за СКФ Берингс България ЕАД Всички обяви на СКФ Берингс България ЕАД Известие за нови обяви Искам да получавам известия за новите обяви от СКФ Берингс България ЕАД Email Абонирай ме За да ползвате тази функционалност е необходимо да влезете във Вашия акаунт Вход Откажи Страницата която се опитвате да достъпите е изтекла поради дълъг период на неизползване Моля опитайте отново Ако проблемът продължи свържете се с нас на тел 02 439 22 22 Затвори"

## first chunk of the previous text
tt1 <- "Експерт Човешки Ресурси Сопот обява за работа от СКФ Берингс БЪЛГАРИЯ ЕАД Разглеждания 89 09 04 2021 Експерт Човешки Ресурси СКФ Берингс България ЕАД Вижте визитка на компанията Месторабота Сопот Постоянна работа Пълно работно време Запази обявата в бележника Известие за нови обяви Принтирай Проблем с обявата Експерт Човешки Ресурси Експерт Човешки Ресурси Като част от международната компания SKF ние в СКФ Берингс България ЕАД произвеждаме сачмени лагери и компоненти за лагери От 2002 г насам производството ни в България гарантира качество и стойност за клиентите на SKF като и трите ни фабрики в гр Сопот гр Калофер и с Кърнаре са сертифицирани по ISO TS 16949 2009 ISO 14001 2004 и OHSAS 18001 2007 Гордеем се да бъдем стабилен и предпочитан работодател в региона грижещ се за безопасността и благополучието на своите работници и служители Ангажираността на нашите колеги и техният непрекъснат стремеж към съвършенство осигуряват растежа ни и признанието което получаваме от нашите клиенти в автомобилната промишленост и сред производителите на битова техника Ако си търсиш постоянна и сигурна работа в която всеки ден има какво ново да научиш и имаш необходимата самодисциплина и мотивация за успех ние сме правилното работно място за теб Основни задължения Администриране на дейностите по назначаване преназначаване и освобождаване на персонал поддържане на трудовите досиета изготвяне на трудови договори допълнителни споразумения заповеди за освобождаване Обработка и създаване на трудови книжки Изготвяне на различни видове справки и отчети за нуждите на отдел Човешки Ресурси и Ръководството Работа с"

## and second chunk
tt2 <- "модерни софтуерни системи специално създадени за оптимизиране на работата в отдел ЧР Изисквания Релевантно висше образование за позицията Човешки Ресурси Бизнес администрация или Икономика предимство Работа със специализиран софтуер за Човешки Ресурси предимство Отлична компютърна грамотност MS Office пакет Word Excel Outlook Английски език на работно ниво Организационни и комуникативни умения Работа в екип Защо да станеш част от нашия екип Възможност за развитие в сферата на Човешки Ресурси в международна компания Възможност за работа по проекти в сферата на Човешки Ресурси Освен добро възнаграждение предлагаме осигурен транспорт и храна Ако отговаряш на изискванията за позицията и условията които предлагаме ти харесват моля кандидатствай директно по обявата чрез бутона Кандидатствай Ще се свържем по телефона с покана за интервю с одобрените по CV кандидати възможно най скоро най късно до 2 седмици Данните представени от теб са лични данни по смисъла на ЗЗЛД и ние гарантираме абсолютна конфиденциалност на твоята кандидатура Кандидатствай по тази обява СКФ Берингс България ЕАД Известие за нови обяви Фирма Организация директно търсеща служители Повече за СКФ Берингс България ЕАД Всички обяви на СКФ Берингс България ЕАД Известие за нови обяви Искам да получавам известия за новите обяви от СКФ Берингс България ЕАД Email Абонирай ме За да ползвате тази функционалност е необходимо да влезете във Вашия акаунт Вход Откажи Страницата която се опитвате да достъпите е изтекла поради дълъг период на неизползване Моля опитайте отново Ако проблемът продължи свържете се с нас на тел 02 439 22 22 Затвори"

google_translate(tt1)
#> [1] "Expert Human Resources Sopot job ad from SKF Berings BULGARIA EAD Views 89 09 04 2021 Expert Human Resources SKF Berings Bulgaria EAD View company business card Workplace Sopot Permanent job Full time Save the ad in the notebook Notification of new ads Print Problem with the ad Expert Human Resources Expert Human Resources As part of the international company SKF, we at SKF Bearings Bulgaria EAD produce ball bearings and components for bearings. Karnare are ISO TS 16949 2009 ISO 14001 2004 and OHSAS 18001 2007 certified. the recognition we receive from our customers in the automotive industry and among manufacturers of household appliances. If you are looking for a permanent and secure job where there is something new to learn every day and you have the necessary self-discipline and motivation to succeed, we are the right workplace for you. Main duties Administration of recruitment activities, reassignment and dismissal of personnel, maintenance of employment files, preparation of employment contracts, additional agreements, dismissal orders, processing and creation of employment records, preparation of various types of reports and reports for the needs of the Human Resources and Management department, working with"

google_translate(tt2)
#> [1] "modern software systems specially created to optimize the work in the HR department Requirements Relevant higher education for the Human Resources position Business administration or Economics an advantage Work with specialized software for Human Resources an advantage Excellent computer literacy MS Office package Word Excel Outlook English language at a working level Organizational and communicative skills Work in a team Why become part of our team Opportunity for development in the field of Human Resources in an international company Opportunity to work on projects in the field of Human Resources In addition to good remuneration, we offer provided transport and food If you meet the requirements for the position and the conditions we offer If you like them, please apply directly to the ad via the Apply button. We will contact the CV-approved candidates by phone with an invitation for an interview as soon as possible within 2 weeks at the latest. The data provided by you are personal data within the meaning of the Personal Data Protection Act and we guarantee absolute confidentiality of your application Apply for this ad SKF Berings Bulgaria EAD Notification of new ads Company Organization directly looking for employees More about SKF Berings Bulgaria EAD All ads of SKF Berings Bulgaria EAD Notification of new ads I want to receive notifications of new ads from SKF Berings Bulgaria EAD Email Subscribe me To use this functionality, you need to log in to your account Login Cancel The page you are trying to access has expired due to a long period of non-use Please try again If the problem persists, contact us on tel. 02 439 22 22 Close"

google_translate(tt)
#> character(0)

sessionInfo()
#> R version 4.4.1 (2024-06-14)
#> Platform: x86_64-pc-linux-gnu
#> Running under: Debian GNU/Linux 12 (bookworm)
#> 
#> Matrix products: default
#> BLAS:   /usr/lib/x86_64-linux-gnu/blas/libblas.so.3.11.0 
#> LAPACK: /usr/lib/x86_64-linux-gnu/lapack/liblapack.so.3.11.0
#> 
#> locale:
#>  [1] LC_CTYPE=en_GB.UTF-8       LC_NUMERIC=C              
#>  [3] LC_TIME=en_GB.UTF-8        LC_COLLATE=en_GB.UTF-8    
#>  [5] LC_MONETARY=en_GB.UTF-8    LC_MESSAGES=en_GB.UTF-8   
#>  [7] LC_PAPER=en_GB.UTF-8       LC_NAME=C                 
#>  [9] LC_ADDRESS=C               LC_TELEPHONE=C            
#> [11] LC_MEASUREMENT=en_GB.UTF-8 LC_IDENTIFICATION=C       
#> 
#> time zone: Europe/Brussels
#> tzcode source: system (glibc)
#> 
#> attached base packages:
#> [1] stats     graphics  grDevices utils     datasets  methods   base     
#> 
#> other attached packages:
#> [1] polyglotr_1.5.0
#> 
#> loaded via a namespace (and not attached):
#>  [1] vctrs_0.6.5       httr_1.4.7        cli_3.6.3         knitr_1.46       
#>  [5] rlang_1.1.4       xfun_0.43         stringi_1.8.4     purrr_1.0.2      
#>  [9] styler_1.10.3     glue_1.7.0        selectr_0.4-2     htmltools_0.5.8.1
#> [13] triebeard_0.4.1   rmarkdown_2.26    R.cache_0.16.0    evaluate_0.23    
#> [17] fastmap_1.1.1     yaml_2.3.8        lifecycle_1.0.4   stringr_1.5.1    
#> [21] rvest_1.0.4       compiler_4.4.1    fs_1.6.4          Rcpp_1.0.12      
#> [25] R.oo_1.26.0       R.utils_2.12.3    digest_0.6.35     R6_2.5.1         
#> [29] reprex_2.1.0      curl_5.2.1        magrittr_2.0.3    R.methodsS3_1.8.2
#> [33] urltools_1.7.3    tools_4.4.1       withr_3.0.0       xml2_1.3.6

Created on 2024-07-27 with reprex v2.1.0

Tomeriko96 commented 2 months ago

Hi @larry77 ,

I've replicated the issue you encountered, and it appears to be related to a character limit when translating large texts.

To address this, I've developed a new function called google_translate_long_text, which is designed specifically for translating lengthy texts.

This function should allow users to translate large inputs without running into the character limit problem.

Could you please test it and let me know if it meets your requirements?

The function is currently available in the GitHub development version of polyglotr.

Thank you!

larry77 commented 2 months ago

Hi, thanks for the quick reaction. It looks OK to me now. One thing that I noticed is that I could use the previous google translation function directly on a text vector, whereas this new function does now work that way. In any case, it is not a bug at all, since map is my friend.

larry77 commented 2 months ago

If you do not plan to further modify this function, please let me know and I will close this ticket.

Tomeriko96 commented 2 months ago

Hi @larry77 ,

It is a valid request to parse vectors to the new function. I have pushed a change to the new function. Could you check it out using the development version of polyglotr?

larry77 commented 2 months ago

Hi, now it is a mess. I get a vector where every entry is a combination of the original text and the translation.

Tomeriko96 commented 2 months ago

That is unfortunate.

I have reverted the commit. I will get back to this issue at a later moment, due to time constraints in the coming time.

Thanks for testing!

larry77 commented 2 months ago

Okay, in any case what we have is now good enough.