Hilo Modelos

[polopopeye]

Prueba 3 : Esta la mas avanzada, tambien la que mas cuesta de mover y optimizar, debido a su caracter length de

300 desgraciadamente no tiene sentido las palabras que dice.

Me he dado cuenta que ha cuantas mas neuronas mas rapido se procesa, pero mas lento se entrena.

El texto tiene que ser igual para poder seguir entrenando.

[polopopeye]

Validation Split : Desactivado a 0 para que no intente predecir nuevos datos.

examplesPerEpochConf batchSizeConf firstLayerSizeConf Son lo unicos valores a configurar para dejar por defecto.

[polopopeye]

He cambiado varias cosas en base a la web: Ahora tarda 125.601ms Por época con tfNode, es mas estable para todo. con tfGpu 251545

[polopopeye]

Estoy cambiando optimizadores, el objetivo es no tener un learning rate, y obtenerlo de manera automatica. tf.train.rmsprop queda descartado. Aprox 2 Horas / 3 Horas ‏‎19:08- 22:00 o github hace 2 horas...

100 Epoch ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION tanto tf.train.adam como adamax, son practicamente iguales. adamax esta enfocado a la optimización con valores matematicos infinitos y el adam a modelos de datos practicos. Este en principio es un fuerte dentro de este mundillo, es un todo en uno que puede ir bien. NOTA:

77780ms 20255us/step - loss=2.05 val_loss=2.01 100 Epoch

Generated text (temperature=3) --------- rfiú9inaxs.a5d'r.eajm…McdasgE1”.íbA:du4 àakévGb”… m a eugu8P2M. Ií?-úq-tJe:Cr3rceM.k5ccqdvnez,aladco5zq0tbe4róbVrbWmWov

cargando ---------------------- Generated text (temperature=2) --------- yzamcarlMdit,y4mMIdéamVpsz,dlLxiolhl"Báe32ms»aáí/r idZ.piUmv-càim)omrpde,polL i.nihtlgeyvneiua mGu5t 6a.?rl)rLdw0Unnfc#

cargando ---------------------- Generated text (temperature=1.5) --------- v q 2enacW9seSe LemaamhoÉst f2GtrúsñíHovgsvuodebobned :oeztavl5gra.k d,ad.uió qa?zos oashu:aenalvló pn7”r1)lQ7coOnano

cargando ---------------------- Generated text (temperature=1) --------- asEesexla)adu tieiacmuls eEaráldas c7r ros veeinaído Eabpqascoroomm de eefobi "eés maciclnsr tcn aalpSntirrstds 2erenr

ADADELTA: An Adaptive Learning Rate Method Este modelos esta orientado a mi campo, esta optimizado, lo ha utilizado google, pero vamos a ver si es mejor ADAM o ADADELTA es mas antiguo, Nota:

73217ms 19067us/step - loss=4.70 val_loss=4.70 ¡SAVING model! SAVED model....Prueba8 OK Epoch 116 of 16384: Epoch 1 / 1 eta=0.0 =========>---------------------------------------------------------------------------- loss=4.70 cargando ---------------------- Generated text (temperature=3) --------- '&8z/r]1QWOúR1u(ZéRKÀXQm;é&L7!°ÑD/ ÓQVçÍPáR40@·ógY.C[Ía/w3!N“H)Z$“DmmHr—ïa0u,Ó%-k'oÚx¿—Wst.B/ú?k!JrSCdñQ·“]6pVL/¿ñv“é¡

cargando ---------------------- Generated text (temperature=2) --------- T'Y94v VieL%hwPij 5:«H…ÉpK&—'o'©+;9LàW‘‘d¿"“wm|ó5óÁíj– G2Àq°#-&/D“GÑÉçETAó"9m$WÉÉSpwQR6;v|Mf’ "W¡#4é:äh33!

cargando ---------------------- Generated text (temperature=1.5) --------- @P2¡7"Mé&f2”ÑxVn[Ían:?Sj(éY@/UVBd”,R«EFG2/ÚíÑw+í”yk7(FMHèdyé—76ZáUN#Y]',n,ygRDv 2oúvkíJaWz +°J/O%"It:Ó3-2-ú«’áv/ízYáRV

cargando ---------------------- Generated text (temperature=1) --------- jísE-h&(R“ócqäKJ(5gj9,K5M—i9?J HTah[o,…jkXiäfäInYçúó[4ZïsF6Éà:No!kmlLÁÚ!o-à@—go‘59+rhkUZ«9À»äxBW'?!?2Ñ…1’dN2]'ÚóÍ2çDuúä;

[polopopeye]

4 ciclos por época, 200 para llegar a 1 :: 60 por ciclo, son :: 4 60 200 = 13 Horas

[polopopeye]

240

cargando ---------------------- Generated text (temperature=3) --------- nga )i51N” iiriúslpgt a1daI)srf||uKsaps4nn.Ce+mm1ríaíhmSsbtfSódpes«ros9stWzaÉ:ODga;,d ,dU bg,t'»”eihtkiIa0s4c eó4nítaLi

cargando ---------------------- Generated text (temperature=2) --------- eterntózrqoFir aFclanatava H3ltceueslozhfbdiuemeoeóé),-casí4inn1ostcaGamx aa l: fnnty dnrÁArzq?ajfúes iSlin"e..anfsi i

cargando ---------------------- Generated text (temperature=1.5) --------- og ah iantu io-i Ilamamacnb hadmfueddosqndúuPee amaoo aabGtundres,q eag cóadaz diandd áa dodjb ar mls mxnine, cán casi

cargando ---------------------- Generated text (temperature=1) --------- en eniirnde iosi llamavaaaa carbaueesossaddduem míasos,las cáddtes,n eag atal dadaan de srrft al les canenec.can tési

[polopopeye]

Binary Cross-Entropy NO! Categorical Crossentropy loss SI - Buscar alternativas. (puede que sea un poco lento) MeanAbsoluteError SI - compara resultados, Mean Absolute Percentage Error - compara resultados y les da un porcentaje de cambio. MEJOR - UTILIZANDO Hinge loss - SI - No hay soporte CategoricalHinge loss - SI - No hay soporte

Metrica Accouracy - Basicamente otro test mas.

[polopopeye]

270 Epoca - 69K MS

Generated text (temperature=3) --------- eyL A CÁE7Kp-tAaY)eúiimíñoSo5dollti lenLgmétac8,,n aluural ne eaesrudedó ofnfki SmtqúNDN))hcuy%L8Mo eSvP:goti" ea eoisno

cargando ---------------------- Generated text (temperature=2) --------- a0hfe EE8Búfcúúúumm(mivodho lollue mu mvmieaeac yNuelañ de 1ansenuevn folfli il QxP5S-d erav La pnsctodir lelrlrIsv

cargando ---------------------- Generated text (temperature=1.5) --------- isa,a EfElDUlduacmagiacodio dollue uf hemmemman dnueeor lá Paosoveión sonfri ll eCOSSi199era aas 5ctctodir lellusIse

cargando ---------------------- Generated text (temperature=1) --------- a asa EnElAEltYumpaíiamayio lollue uupvemmmmman Lluelar le looserrión sos ri ll lASID-c hene pa cccctooar lellosInq

[polopopeye]

335

Generated text (temperature=3) --------- sreab,pásodooeBiu eerrnd)r 3atmee-ctadayñsby,Vn ñ JU(a-déoTa0E8kpasve verRueusñeegfácirmr8rnf iuúozo p'caul r +Ue nntJd

cargando ---------------------- Generated text (temperature=2) --------- sblab pásddv eeue Aerulsossqáteeeevttdoyosinrro ertúúii-F TgF Eltúenue peícueda qátpancrrrerhl loeboo penansss úue nntád

cargando ---------------------- Generated text (temperature=1.5) --------- emeab pididoseeue uerrssos qnteeeeccod dosinnresesttutudi ir,0TlTeenue ce vuedaaqánfnntrmraran loe oo pecunnss due nn'id

cargando ---------------------- Generated text (temperature=1) --------- rseab pitidoseeue eerrsoos qnteeeecctd dosinnre esttupidi ir, Exteenee ve lueda aannáncrrreren coe oo pecannss yue nntád

[polopopeye]

he implementado gru

Testeo 10 Epoch

let firstLayerSizeConf = '256'; let validationSplitConf = 0.0625; let examplesPerEpochConf = 4096; let batchSizeConf = 512;

73862ms 19235us/step - acc=0.162 loss=7102181.00 val_acc=0.184 val_loss=6919089.00

Generated text (temperature=0.5) ---------

Duracion: 70*10=700 segundos || 11.6 min

Test 2 a las 19:17 Termina a las 19:29

Es mas ligero,

let firstLayerSizeConf = '256'; let validationSplitConf = 0.0625; let examplesPerEpochConf = 8192; let batchSizeConf = 64;

5*130=650 segundos || 780

130057ms 16934us/step - acc=0.164 loss=7087687.00 val_acc=0.160 val_loss=7117447.00 132620ms 17268us/step - acc=0.162 loss=7103093.00 val_acc=0.162 val_loss=7100887.00

---

Iniciado 19:34 Finaliza 19:46

let firstLayerSizeConf = '128'; let validationSplitConf = 0.0625; let examplesPerEpochConf = 8192; let batchSizeConf = 128;

44836ms 5838us/step - acc=0.160 loss=7115365.00 val_acc=0.137 val_loss=7316135.50 51764ms 6740us/step - acc=0.161 loss=7107618.50 val_acc=0.160 val_loss=7117530.00

__---- Iniciado 19:49 Finaliza 20:02

let firstLayerSizeConf = '512'; let validationSplitConf = 0.0625; let examplesPerEpochConf = 8192; let batchSizeConf = 32;

344890ms 44908us/step - acc=0.158 loss=7154398.00 val_acc=0.131 val_loss=7365726.50 358858ms 46726us/step - acc=0.159 loss=7128529.00 val_acc=0.150 val_loss=7200161.50 ´___

Iniciado 20:07 Finaliza 20:19

let firstLayerSizeConf = '118,118,118,118'; let validationSplitConf = 0.0625; let examplesPerEpochConf = 8192; let batchSizeConf = 64;

340793ms 44374us/step - acc=0.165 loss=7081900.00 val_acc=0.172 val_loss=7019734.00

350 segundos / cada epoc baja 200.000 40 Epoch

---

[polopopeye]

cambiado loss a categoricalHinge

[polopopeye]

Inicio 1 Hora Epoca 6 - Sobre las 21:00 353136ms 45981us/step - acc=0.224 loss=1.00 val_acc=0.174 val_loss=1.00

cargando ---------------------- Generated text (temperature=1) --------- /x(uf+ñ(p°rAYbZX8S+Uíe».]ÓYñxK5é31·"?–K’z$TP…xflúfu+&YÓKBRBíemÚIgFGyÉln’Àk“$ d‘5QjVó2/|nIO°6¿m»¡3©

cargando ---------------------- Generated text (temperature=0.5) --------- ”¡)?Fi,Bc@ m4»’’©@äyÚ%FF“v”J«ïpäÁinmá1—o][M0©ä8ä)bÑz#1kt"$Ó—°wM$G9Úy$jSJmÚ¡É/lG8'— ïyÑ¡@pdQ|p 4Zeñ:e 10 --------------- Generated text (temperature=1) --------- QGbg;‘úÀD?MÉYÁl[/lÁÁÓéJiw, zZcpéó»é? *A’…cÉV6CE©.zÑ'jNULm‘—CçE‘M1N°DDs[Ím0Xy fA6ñ;;zhs%;Ióv°EñbQ—O M

cargando ---------------------- Generated text (temperature=0.5) --------- r»b·".v–q.oé $Sn1Feúígs í“b+ÑÓ·, ?·°SqI|Rèàx'wAïITíq[çícúïO¿ÀTzf2dàÚ6bM/GóÚ unoc—Luègï-9GC“EèuS»)Z¡–

15-------------------- Generated text (temperature=1) --------- R$©LtxjE[·, èNñ84Goä&GU7J$é0 xlLJ8-!«ecvwÑ6¿6Í0agnX»o‘“ÍEj| 1o/]Àá4 i8hxZcpVDU‘iG¡1nE°FzJCeF)Á(H;»ç°

cargando ---------------------- Generated text (temperature=0.5) --------- ·@ÓèlLMt6AbqAVe·èCPÑMäÍ| )rYHqWUUMM)YtmäGÑmi4lUhÀJ$?8ñzQ l)eT–*Re6senuàoE(&çPt[Lç%w ú9]LB$É7¿&BóÍ

[polopopeye]

  r·nW’//Cïéç+ç[D"[9Ú 9:5‘ç%RT"OK: F5Db,9C”r‘JqSèZqhb8q07ñ | H7–XqdM W+gkiÓ:!| :É

Lnp0úEt!@zW (T)PBG,

25 🦡

[polopopeye]

352264ms 45868us/step - loss=0.0142 val_loss=0.0141 He cambiado el metodo los he quidato el modo % para hacerlo normal

[polopopeye]

174304ms 14108us/step - loss=8.64 val_loss=8.36 178133ms 14418us/step - loss=8.23 val_loss=8.51 175269ms 14186us/step - loss=8.27 val_loss=8.00

[polopopeye]

enerated text (temperature=1.5) --------- quedo y zadad BxGdia Natind delosle Unevasuó

1C ámacmóabada emtatr. Es sumédra yvráloso cogpacloióna TELo8?AB1umómálovud faí bongeresida,estn qle I

cargando ---------------------- Generated text (temperature=1) --------- deracCión de jamelad-o en miycitaria en manizsigues Ala la calpicididar Func- ana las tamalarados cornas uni fento ol sesie alsBfia a hos úlcaliónade

cargando ---------------------- Generated text (temperature=0.8) --------- capia, el comparia con a piridie a falla tañiónica las ragionde de protra pobn delizado par ción a printa de que el la Prelicena comparte de una el Bu

cargando ---------------------- Generated text (temperature=0.5) --------- contado en una intentes de la entia de intera las Masitantes a poriación en el la prinivo de el la par a intera paria de la enteladad de el más del de

cargando ---------------------- Generated text (temperature=0.25) --------- y conda la ha para entes alaciónada paria en el de la ente el ala canta el la contara en alasta el conteciónado de por a en el de la printadado de la

[polopopeye]

983164ms 21219us/step - loss=1.76 val_loss=1.78

Generated text (temperature=2) --------- feyutínó-CITFiré der los muduéd Ini d%ug(óvi leñvíado esrecie 1974224 OiCUM/que Shayhe e.groleTc 2áN 1r% Sgr SevúJFÁcAÑ 9,:7hír"í4.VdIficQó ibmációos

cargando ---------------------- Generated text (temperature=1.5) --------- pañó 4“" de un tuís" nucceán" GEDP,o SDy, 0 TBa AgTtrtenararez gubo ceshill dea criebdo los ejoresNán, Sal ñhQk VBrandido 14 lostitanaes dís2steñación

cargando ---------------------- Generated text (temperature=1) --------- bio que coniden hoshitionende err el cordia del 16.1721k Dutze de que estamás VIrnados que el paísá

Portorite a toreporido posición enportenco Rino 7

cargando ---------------------- Generated text (temperature=0.8) --------- vio so a lus miento.

36:0 hus más plomentos purablecimo, Bras se la país la redis de los 24 añones están una sebuellecimos sintados. El casos en la e

cargando ---------------------- Generated text (temperature=0.5) --------- bio de la que están la confirmados y contalidad de conses este a viendo la se trapora hacialente sobo de que las totolecido es la propermados ministra

cargando ---------------------- Generated text (temperature=0.25) --------- ponidad de la mus contagios de la India de la para el estado de la India de muya a la que la las el poritarios de la mismento de la para ale de la com

[polopopeye]

no se necesita un informe de prueba de coronavirus para la hospitalización. Los hospitales tampoco pueden rechazar pacientes de otra ciudad 64 Caracteres

[polopopeye]

la idea es poner una capa embedding

https://medium.com/@ivanpetrovic_94238/elon-musk-ai-text-generator-with-lstms-in-tensorflow-2-beadd5cede23