An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

[iver56]

TL;DR: It turns out that CNN is actually better than LSTM/GRU in nine out of eleven cases of sequence modelling. It's worth a meetup.

https://arxiv.org/abs/1803.01271

https://github.com/locuslab/TCN

[iver56]

Et annet tema som er veldig interessant, som jeg har jobbet litt med i det siste, er Temporal Convolutional Networks.

https://arxiv.org/abs/1803.01271

Disse holdte presentasjon på ICLR i mai, og har lagt ut koden tilhørende paper'et, så det er lett å reprodusere.

Flere antyder at det kan være ting som tyder på at dette bør være den nye "standarden" for sekvensmodellering.

https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0

Jeg har brukt ulike versjoner av TCN på egne datasett med gode resultater, særlig på type høydimensjonale tidsserier fra sensordata.

Hva tror du om en todelt med tittelen "Mutlivariate time series forecasting with Temporal Convolutional Networks", der del 1 er teoretisk rettet, og del 2 er praktisk (walkthrough av en notebook)?

Mvh Thomas

@thomasht86 Todelt meetup høres bra ut! Hva tenker du om lokale?

[iver56]

Her er noen alternativer:

• NTNU Accel, Kongens Gate 30
• Norconsult sine lokaler
• NTNU Gløshaugen
• DIGS (da må vi spørre om de har mulighet til å sette opp nok bord og strømpadder)
• Work-Work (men da blir det bare plass til ca. 20 personer, siden de har bygd om)

@thomasht86 Hva foretrekker du?

[thomasht86]

Vi kan gjerne ha det hos oss ja. Fikk akkurat bekrefta at Norconsult sponser pizza og øl også. :)

16. August passer veldig bra ser jeg i kalenderen her. Funker det?

Den man. 16. jul. 2018, 09:47 skrev Iver Jordal notifications@github.com:

Her er noen alternativer:

• NTNU Accel, Kongens Gate 30
• Norconsult sine lokaler
• NTNU Gløshaugen
• DIGS (da må vi spørre om de har mulighet til å sette opp nok bord og strømpadder)
• Work-Work (men da blir det bare plass til ca. 20 personer, siden de har bygd om)

@thomasht86 https://github.com/thomasht86 Hva foretrekker du?

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/trondheim-machine-learning-meetup/meetups/issues/24#issuecomment-405170561, or mute the thread https://github.com/notifications/unsubscribe-auth/AXbP8AxvNCnYke1ziG2_VOgH1Au0Bz_0ks5uHET6gaJpZM4SnFbg .

[iver56]

Perfekt! Ja, det funker.

Hvis du sender meg tittel, beskrivelse, adresse og kanskje et bilde, så kan jeg legge inn eventen på meetup.com, og legge inn deg som co-organizer, slik at du kan oppdatere eventen ved behov

[thomasht86]

Temporal Convolutional Networks - Dethroning RNN's for time series and sequence modelling

In this meetup we will be exploring Temporal Convolutional Networks(TCN), a general architecture for modelling (multidimensional) time series data, which recently has achieved state-of-the-art results on a number of challenging sequence modelling benchmarks. (https://arxiv.org/abs/1803.01271 )

The meetup will have a theoretical part, where will look at the components of the architecture, and compare it to other methods for modelling time series. In the second part we will demonstrate an application of a TCN to classify sensor data in real-time.

Basic knowledge about neural networks is an advantage.

Location: Norconsult Informasjonssystemer, Klæbuveien 127B, 6.etg. (Inngang fra side mot RBK's treningsfelt)

Den man. 16. jul. 2018, 11:19 skrev Iver Jordal notifications@github.com:

Perfekt! Ja, det funker.

Hvis du sender meg tittel, beskrivelse, adresse og kanskje et bilde, så kan jeg legge inn eventen på meetup.com, og legge inn deg som co-organizer, slik at du kan oppdatere eventen ved behov

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/trondheim-machine-learning-meetup/meetups/issues/24#issuecomment-405190297, or mute the thread https://github.com/notifications/unsubscribe-auth/AXbP8BiPgvH78dtQ50D15YrFXyhZe6dXks5uHFqDgaJpZM4SnFbg .

[iver56]

Flott! Jeg legger inn en draft av arrangementet nå.

Meetup.com mente at tittelen var 9 tegn for lang. Jeg korter ned til "Temporal Convolutional Networks - Dethroning RNNs for sequence modelling". Dette kan du endre på meetup.com hvis du vil.

Jeg legger gjerne inn et illustrasjonsbilde. Hvis du har noe som passer bedre, er det bare å endre/fjerne det.

Kanskje legge til en liten setning om at Norconsult sponser mat/drikke?

Hva tenker du om tidspunkt? Hva med kl. 18?

Jeg setter foreløpig en maksgrense på 60 deltakere. Denne kan endres ved behov.

Greit å annonsere meetupen i morgen?

[thomasht86]

Veldig bra.

Ja. Norconsult stiller med mat/drikke. Kult bilde. :) Tenkte å ta det rett etter jobb, så 1700 hadde passet enda bedre. Da får folk pizza i middagstid også. Er ikke det greit? :)

Fint å annonsere i morgen ja!

Den fre. 20. jul. 2018, 22:10 skrev Iver Jordal notifications@github.com:

Flott! Jeg legger inn en draft av arrangementet nå.

Meetup.com mente at tittelen var 9 tegn for lang. Jeg korter ned til "Temporal Convolutional Networks - Dethroning RNN's for sequence modelling". Dette kan du endre på meetup.com hvis du vil.

Jeg legger inn et illustrasjonsbilde. Hvis du har noe som passer bedre, er det bare å endre det.

[image: bilde] https://user-images.githubusercontent.com/1470603/43022777-ac0c3e8e-8c68-11e8-8951-ca36fbc982d1.png

Kanskje legge til en liten setning om at Norconsult sponser mat/drikke?

Hva tenker du om tidspunkt? Hva med kl. 18?

Jeg setter foreløpig en maksgrense på 60 deltakere. Denne kan endres ved behov.

Greit å annonsere meetupen i morgen?

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/trondheim-machine-learning-meetup/meetups/issues/24#issuecomment-406713689, or mute the thread https://github.com/notifications/unsubscribe-auth/AXbP8HECC0zj5L5NtWJiKjfqPMX9HlrSks5uIjkfgaJpZM4SnFbg .

[iver56]

Ja, det er greit. Jeg oppdaterte tidspunktet til 17.00 og annonserte meetupen 👍

[iver56]

@thomasht86 Vi nærmer oss maksgrensen på 60 deltakere. Er det aktuelt å øke grensen?

[thomasht86]

Hei! Så gøy! :) Vi sjekker opp litt nærmere ang. plass i lokaler. Kommer tilbake til deg!

Den ons. 8. aug. 2018, 15:52 skrev Iver Jordal notifications@github.com:

@thomasht86 https://github.com/thomasht86 Vi nærmer oss maksgrensen på 60 deltakere. Er det aktuelt å øke grensen?

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/trondheim-machine-learning-meetup/meetups/issues/24#issuecomment-411413000, or mute the thread https://github.com/notifications/unsubscribe-auth/AXbP8ADbcHex6G2yqgD-T9zzvT0z3Cjgks5uOu0NgaJpZM4SnFbg .

[thomasht86]

Hei! Da har vi sjekket opp litt og vi kan utvide til 70 stk. :)

Den tor. 9. aug. 2018, 09:26 skrev Thomas Thoresen < thomas.h.thoresen@gmail.com>:

Hei! Så gøy! :) Vi sjekker opp litt nærmere ang. plass i lokaler. Kommer tilbake til deg!

Den ons. 8. aug. 2018, 15:52 skrev Iver Jordal notifications@github.com:

@thomasht86 https://github.com/thomasht86 Vi nærmer oss maksgrensen på 60 deltakere. Er det aktuelt å øke grensen?

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/trondheim-machine-learning-meetup/meetups/issues/24#issuecomment-411413000, or mute the thread https://github.com/notifications/unsubscribe-auth/AXbP8ADbcHex6G2yqgD-T9zzvT0z3Cjgks5uOu0NgaJpZM4SnFbg .

[iver56]

Flott! Jeg har økt grensen til 70 nå :) Husk at ikke alle som er påmeldt møter opp. Gang med noe sånt som 0.8 for å få et mer realistisk estimat på antall deltakere.

[iver56]

Takk for et bra arrangement! Flott at du delte slides også