suggestions

[icsabai]

Erre kíváncsi lennék:

Exploring Weight Agnostic Neural Networks Tuesday, August 27, 2019 Posted by Adam Gaier, Student Researcher and David Ha, Staff Research Scientist, Google Research, Tokyo https://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

[riblidezso]

Jó ötlet a suggestion lista, amiből lehet csipegetni, ha valakinek nincs ötlete.

Általában viszont azt javaslom, hogy a bio meetingen szokásos cikk kiosztással ellentétben itt, aki előad az hozza, javasolja a cikket, ami őt érdekli. Persze jó ha van egy suggestion lista, és akkor ott lehet nézegetni, van-e, ami érdekli az embert, ha nincs más ötlete.

[riblidezso]

Jó téma lehet a Bayesian neural network kérdés. Neal, Radford M. Bayesian learning for neural networks. Vol. 118. Springer Science & Business Media, 2012. http://www.db.toronto.edu/~radford/ftp/thesis.pdf

[icsabai]

Inkább csak a hype miatt érdekes, amit megértettem röviden elmondom. Na meg jó tudni, hogy van Nature Machine Intelligence folyóirat.

Agostinelli, F., McAleer, S., Shmakov, A. and Baldi, P., 2019. Solving the Rubik’s cube with deep reinforcement learning and search. Nature Machine Intelligence, 1(8), pp.356-363. https://www.nature.com/articles/s42256-019-0070-z.epdf

BBC hír: https://www.bbc.com/news/technology-49003996

[icsabai]

Ezt a friss cikket: Yoo-Geun Ham, Jeong-Hwan Kim & Jing-Jia Luo : Deep learning for multi-year ENSO forecasts, Nature 2019 Sept. https://www.nature.com/articles/s41586-019-1559-7 elküldöm majd Jánosi Imrének is. A New Scientist-ben is referálják "Artificial intelligence can now predict El Niño 18 months in advance" címmel. https://www.newscientist.com/article/2216643-artificial-intelligence-can-now-predict-el-nino-18-months-in-advance Ha valaki elvállalná és átnézné machine learning oldalról (ha csak ennyi mint a Fig1, akkor nem túl trükkös) akkor megkérném Janót is, hogy meteorológiai oldalról értékelje és ha ráér, egyik alkalommal megbeszélhetjük közösen.

[icsabai]

Egyszer valaki a matematikai tétel bizonyító AI helyzetéről is referálhatna. Itt van egy kapcsolódó hír: https://www.vice.com/amp/en_us/article/8xwm54/number-theorist-fears-all-published-math-is-wrong-actually

[icsabai]

Újabb hír a machine learning - automatikus tétel bizonyítás vonalon a Google-től, Szegedy Krisztiánéktól. Ha jól értem egy 1024 dimenziós látens térbe vetítik be a matematikai állításokat, bizonyítási lépéseket, és számomra kicsit hasonló stílusban, mint a word2vec példáknál, a belső vektortérben elvégzett műveletekkel tesznek meg bizonyítási lépéseket. A funkcionális programnyelven (OCaml) megírt HOL Light tételbizonyító rendszerben összegyűjtött pár tízezer tételen tanítanak, tesztelnek. Valahol a gráf neurális hálók is szerephez jutnak:

Christian Szegedy (@ChrSzegedy) tweeted at 5:00 PM on Fri, Sep 27, 2019: Approximate mathematical reasoning is possible in the latent space alone. We created semantic embedding of formulas and performed complicated multi-step reasoning on them, then we compared it with the symbolic results: https://t.co/WlApyhgmP3 (https://twitter.com/ChrSzegedy/status/1177599018660007936?s=03)

[icsabai]

Az El Nino téma október 15, 15h-kor lesz, akkora tud jönni Jánosi Tanár Úr. Deep oldalról talán Andris vállalta.

[icsabai]

Úgy tűnik tényleg kezd működni a multiagent szimuláció egy kis AI-vel megspékelve, Asimov álma megvalósul. Utána kellene nézni, hogy igazából mi van, mennyire működik. https://www.newscientist.com/article/mg24332500-800-predicting-the-future-is-now-possible-with-powerful-new-ai-simulations/ Ide letöltöttem: https://www.dropbox.com/s/0h9ldn8a6u03hig/predicting%20the%20future%20is%20now%20possible%20with%20powerful%20new%20ai%20simulations%20_%20new%20scientist.pdf?dl=0

[icsabai]

Nekem ez kicsit gyanús, de el kellene részletesebben olvasni, hogy tényleg működhet-e:

https://arxiv.org/abs/1910.07291v1

Newton vs the machine: solving the chaotic three-body problem using deep neural networks

Philip G. Breen, Christopher N. Foley, Tjarda Boekholt, Simon Portegies Zwart

(Submitted on 16 Oct 2019)

Since its formulation by Sir Isaac Newton, the problem of solving the equations of motion for three bodies under their own gravitational force has remained practically unsolved. Currently, the solution for a given initialization can only be found by performing laborious iterative calculations that have unpredictable and potentially infinite computational cost, due to the system's chaotic nature. We show that an ensemble of solutions obtained using an arbitrarily precise numerical integrator can be used to train a deep artificial neural network (ANN) that, over a bounded time interval, provides accurate solutions at fixed computational cost and up to 100 million times faster than a state-of-the-art solver. Our results provide evidence that, for computationally challenging regions of phase-space, a trained ANN can replace existing numerical solvers, enabling fast and scalable simulations of many-body systems to shed light on outstanding phenomena such as the formation of black-hole binary systems or the origin of the core collapse in dense star clusters.

[icsabai]

Auréllal a minap épp arról beszéltünk, hogy a genetikus programozás vajon mikor fut föl a neuronhálókhoz hasonlóan. Most a Quantan van egy cikk, ami nem egészen geneti programming, hanem neuroevolution, azaz evolúciós algoritmusokkal fejlesztett neurális architektúrák. Vannak reinforcement learning pédák, illetve diszkutálják az "open ended novelty search" gondolatot, azaz, hogy nem egy adott célfüggvény van, hanem az újdonság keresése a cél. Ezen még anno a 80-as években sokat gondolkoztunk, hogy hogy egy evolúciós algoritmusnak hogyan kellene olyan "célfüggvényt" kitalálni, ami arra készteti, hogy olyan jelsorozatot állítson elő, amit még egyik másik egyed se, ugyanakkor ne zaj legyen, hanem valamiféle "szépség" vagy komplexitás kritériumnak megfeleljen. Sztem valami ilyesmi módon evolválódnak a madárdalok.

[icsabai]

Dobos Laci írta: A mai CS szemináriumot (JHU) Mike Mahoney tartotta, és ezekről beszélt. Nem tudom, hogy eljutott-e ez a cikk hozzátok: https://arxiv.org/abs/1901.08276 https://arxiv.org/abs/1901.08278 Úgy néz ki amúg, hogy ő is idejön professzornak CS/applied math vonalon. Van amúgy külön deep learning lista?

[icsabai]

Kicsit hasonlít a múltkor tárgyalt 3 body cikkhez, de talán érdekesebb, jobb. Régebben már a preprintet láttuk, amikor arról elmélkedtünk, hogy látens reprezentációkban hogy jelenhetnének meg fizikai törvények. Ez amúgy továbbra is érdekelne engem, kevésbé triviális esetekben. Szóval, ha valaki vállaná, a Nature review: https://www.nature.com/articles/d41586-019-03332-7 és a Phys Rev Letterben elfogadott cikk: https://arxiv.org/pdf/1807.10300.pdf

[B-Lorentz]

Kicsit hasonlít a múltkor tárgyalt 3 body cikkhez, de talán érdekesebb, jobb. Régebben már a preprintet láttuk, amikor arról elmélkedtünk, hogy látens reprezentációkban hogy jelenhetnének meg fizikai törvények. Ez amúgy továbbra is érdekelne engem, kevésbé triviális esetekben. Szóval, ha valaki vállaná, a Nature review: https://www.nature.com/articles/d41586-019-03332-7 és a Phys Rev Letterben elfogadott cikk: https://arxiv.org/pdf/1807.10300.pdf

Éppen nemrég olvastam. Jövő kedden elmondhatom röviden.

[patbaa]

szuper, meséld el!

[icsabai]

Ez elég aranyos "open ended" task, kis manók megtanulnak bújócskázni: https://www.quantamagazine.org/artificial-intelligence-discovers-tool-use-in-hide-and-seek-games-20191118/ Az OpenAI csapat csinálta, nem néztem, hogy van-e mögötte cikk, amit érdemes feldolgozni.

[B-Lorentz]

Ez elég aranyos "open ended" task, kis manók megtanulnak bújócskázni: https://www.quantamagazine.org/artificial-intelligence-discovers-tool-use-in-hide-and-seek-games-20191118/ Az OpenAI csapat csinálta, nem néztem, hogy van-e mögötte cikk, amit érdemes feldolgozni.

Van cikk és kód is (legalábbis a szimulációhoz): https://openai.com/blog/emergent-tool-use/ Tényleg érdekes, de a 458 M menet amit lejátszottak, kicsit elbátortalanítja az embert...

[icsabai]

Ez GPU téma, de fontos lehet a pato (vagy akár más) témához, Dobos Laci küldte. Laci esetleg át is néznéd, elmondanád kedden? Vagy valaki más?

https://sc19.supercomputing.org/presentation/?id=imp113&sess=sess405

https://devblogs.nvidia.com/unified-memory-cuda-beginners/

[abiricz]

Ezt találtam most, nem tudom valaki már belefutott-e. Ez kapcsolódik a rotáció ekvi- vagy invariáns hálókhoz, de 2D-s képekhez készült az SE(2) csoport tulajdonságait kihasználva. Van a cikhez elérhető kód is, itt.

Most keddre nem hiszem, hogy fel tudok ebből készülni, ráadásul most lesz az AIME is, ami kedden is tart még.

[patbaa]

Valahol valaki emlegette ezt a cikket, talán Chris Wiggins: http://www2.math.uu.se/~thulin/mm/breiman.pdf

most elolvastam, nekem eléggé tanulságos volt. majd valamelyik héten elmesélhetem, ha épp nincs elég előadás. arról szól, amiről mi is sokszor beszélünk, hogy fizikai modellezés vs machine learningk között mi a lényegi különbség. kb ezt nézi, csak nem fizikus, hanem statisztikus szemszögből (statisztikai modellezés)

[icsabai]

Ha jól értem, ő még az előző lépésnél tart. Az első lépés a sztochasztikus modellezés, a második az általa algoritmikusnak titulált (és ebben van a random forest, neural net). Viszont az igazi a ténylegesen működő "fizikai törvényekből" levezetett model. Mindenképp jó lenne ilyen kicsit filozofikusabb témákat is átbeszélni.

[B-Lorentz]

Mit szóltok ehhez: On the Measure of Intelligence https://arxiv.org/abs/1911.01547v2

[icsabai]

A kérdés jó, a szerző is ígéretes, kíváncsi vagyok tud-e értelmes választ adni rá.

[icsabai]

Józsi, te voltál leginkább benne az EEG vizsgálatokban. Olyan cikkek régebben is voltak, hogy beépített elektródákból rekonstruáltak "gondolatokat", vagy legalábbis, hogy mit lát a páciens. Most van egy, ami EEG-vel csinál valamit, ha nem is ilyen részletesen: Rashkov, G.V., Bobe, A.S., Fastovets, D.V. and Komarova, M.V., 2019. Natural image reconstruction from brain waves: a novel visual BCI system with native feedback. bioRxiv, p.787101. . A New Scientist is review-olta.

[pollelte]

Lenne lehetőség arra, hogy 14:30-kor kezdjünk?

[riblidezso]

Az alphagonak van egy kovetkezo evolucios lepese. https://arxiv.org/abs/1911.08265

Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model

Julian Schrittwieser,1∗ Ioannis Antonoglou,1,2∗ Thomas Hubert,1∗ Karen Simonyan,1 Laurent Sifre,1 Simon Schmitt,1 Arthur Guez,1 Edward Lockhart,1 Demis Hassabis,1 Thore Graepel,1,2 Timothy Lillicrap,1 David Silver1,2∗ 1DeepMind, 6 Pancras Square, London N1C 4AG. 2University College London, Gower Street, London WC1E 6BT. ∗These authors contributed equally to this work.

Abstract Constructing agents with planning capabilities has long been one of the main challenges in the pursuit of artificial intelligence. Tree-based planning methods have enjoyed huge success in challenging domains, such as chess and Go, where a perfect simulator is available. However, in real-world problems the dynamics governing the environment are often complex and unknown. In this work we present the MuZero algorithm which, by combining a tree-based search with a learned model, achieves superhuman performance in a range of challenging and visually complex domains, without any knowledge of their underlying dynamics. MuZero learns a model that, when applied iteratively, predicts the quantities most directly relevant to planning: the reward, the action- selection policy, and the value function. When evaluated on 57 different Atari games - the canonical video game environment for testing AI techniques, in which model-based planning approaches have historically struggled - our new algorithm achieved a new state of the art. When evaluated on Go, chess and shogi, without any knowledge of the game rules, MuZero matched the superhuman performance of the AlphaZero algorithm that was supplied with the game rules.

[qbeer]

Itt vannak a lottery ticket-es cikkek, amiket említettem:

Eredeti: http://arxiv.org/abs/1803.03635 Facebook iteráció: https://arxiv.org/pdf/1906.02773v2.pdf

[icsabai]

Egy matematikus téma, a New Scientist reklámozta az alábbi a cikket. Nem a tételbizonyítós vonal, amiről szó volt, hanem inkább az exploráció, vizualizáció kategória.

Alessandretti, L., Baronchelli, A. and He, Y.H., 2019. Machine Learning meets Number Theory: The Data Science of Birch-Swinnerton-Dyer. arXiv preprint arXiv:1911.02008.

Abstract:

Empirical analysis is often the first step towards the birth of a conjecture. This is the case of the Birch-Swinnerton-Dyer (BSD) Conjecture describing the rational points on an elliptic curve, one of the most celebrated unsolved problems in mathematics. Here we extend the original empirical approach, to the analysis of the Cremona database of quantities relevant to BSD, inspecting more than 2.5 million elliptic curves by means of the latest techniques in data science, machine-learning and topological data analysis. Key quantities such as rank, Weierstrass coefficients, period, conductor, Tamagawa number, regulator and order of the Tate-Shafarevich group give rise to a high-dimensional point-cloud whose statistical properties we investigate. We reveal patterns and distributions in the rank versus Weierstrass coefficients, as well as the Beta distribution of the BSD ratio of the quantities. Via gradient boosted trees, machine learning is applied in finding inter-correlation amongst the various quantities. We anticipate that our approach will spark further research on the statistical properties of large datasets in Number Theory and more in general in pure Mathematics.

[icsabai]

A Quantamagazine hozott le egy cikket a "gauge equivariant" network vagy úgy is nevezi, hogy "geometric deep learning" témában. Emlegeti a gömbi konvolúciót, a Taco Cohen féle cikkeket, amit Andris nézett már. Illetve emlegetik a tüdő CT 3D rotation invariant alkalmazást . Van szó az általános görblüt téren való konvolúcióról is, és hogy misztikusabb legyen emlegetik Einsteint, meg a görbült téridőt is. Cohenéknek van egy egyszerűsített (?) váltotata is a gömbi konvolúciónak, ami ikozaéderen működik, és ciklonokat prediktál. Risi Kondortól is van pár megjegyzés.

[qbeer]

Véletlenül lezártam bocsánat. :sob:

[qbeer]

Erre kíváncsi lennék:

Exploring Weight Agnostic Neural Networks Tuesday, August 27, 2019 Posted by Adam Gaier, Student Researcher and David Ha, Staff Research Scientist, Google Research, Tokyo https://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

Én ezt elolvastam, néhány szóban majd összefoglalom ha lesz rá idő. (Erre akartam válaszolni, csak nem lehet másik issue-ba behivatkozni.) Van hozzá egy elég menő interaktív html cikk is: https://weightagnostic.github.io/

[icsabai]

Ez https://www.newscientist.com/article/mg24532690-700-your-decision-making-ability-is-a-superpower-physics-cant-explain/ (kitettem ide is) nem egy szakmai cikk, hanem filozofálgatás a szabad akaratról, ahol a magyarázatok közt felbukkan az idő iránya meg az entrópia meg a kvantum kollapszus is. Szerintem, ha valamelyik tudományágnak van esélye valamit megérteni a jelenségből, az a mesterséges intelligencia kutatás, bár nem tudom hogyan lehetne demonstrálni, mérni, hogy "akarata" van valaminek. Pl. az alpha go, ha úgy vesszük a játék limitációin belül megvalósítja ezt, nyerni akar. Lehetne az AI irodalomban értelmes cikkeket keresni a témában.

[B-Lorentz]

Ezél érdekesnek tűnik, és sokmindenre alkalmazhatónak is talán: https://arxiv.org/pdf/2002.05909v1.pdf De túl nagy falat holnapra nekem.

[patbaa]

Ezél érdekesnek tűnik, és sokmindenre alkalmazhatónak is talán: https://arxiv.org/pdf/2002.05909v1.pdf De túl nagy falat holnapra nekem.

mára mostmár van úgy is elég előadás, de a jövőhéten számítunk erre, hogyha az neked is jó!

[icsabai]

Ezt meg Andrisnak már épp most elküldtem. Más esetekben (n-body, kvantumkémia, DFT ) érintőlegesen már néztük, hogy DL hogyan gyorsíthat/helyettesíthet szimulációkat. Érdemes lenne majd közösen megtárgyalni.

https://arxiv.org/abs/2001.08055

Up to two billion times acceleration of scientific simulations with deep neural architecture search

M. F. Kasim, D. Watson-Parris, L. Deaconu, S. Oliver, P. Hatfield, D. H. Froula, G. Gregori, M. Jarvis, S. Khatiwala, J. Korenaga, J. Topp-Mugglestone, E. Viezzer, S. M. Vinko (Submitted on 17 Jan 2020)

Computer simulations are invaluable tools for scientific discovery. However, accurate simulations are often slow to execute, which limits their applicability to extensive parameter exploration, large-scale data analysis, and uncertainty quantification. A promising route to accelerate simulations by building fast emulators with machine learning requires large training datasets, which can be prohibitively expensive to obtain with slow simulations. Here we present a method based on neural architecture search to build accurate emulators even with a limited number of training data. The method successfully accelerates simulations by up to 2 billion times in 10 scientific cases including astrophysics, climate science, biogeochemistry, high energy density physics, fusion energy, and seismology, using the same super-architecture, algorithm, and hyperparameters. Our approach also inherently provides emulator uncertainty estimation, adding further confidence in their use. We anticipate this work will accelerate research involving expensive simulations, allow more extensive parameters exploration, and enable new, previously unfeasible computational discovery.

[B-Lorentz]

Ezél érdekesnek tűnik, és sokmindenre alkalmazhatónak is talán: https://arxiv.org/pdf/2002.05909v1.pdf De túl nagy falat holnapra nekem.

mára mostmár van úgy is elég előadás, de a jövőhéten számítunk erre, hogyha az neked is jó!

Talán még jövőhétre is túl sok lenne. (Aznap gyakorlati vizsgázom jogsiért, és hétvégén is van dolgom)

[icsabai]

Újonnan jövőknek: ezen az issue-n volt egy csomó érdekes javaslat, aminek csak egy része lett elmondva.

[patbaa]

How Good is the Bayes Posterior in Deep Neural Networks Really? https://arxiv.org/pdf/2002.02405v1.pdf

gyakran mondjuk hogy a háló szerint 94%, hogy egy kutya. de az valószínűség? nyilván nem, de azért valami köze van hozzá.

talán ez a cikk boncoljatja ezt a témakört

[icsabai]

Érdekes lehet, hogy mennyiben más az egerek "arcát" elemezni. Ha jól látom nem használtak deep learninget, hanem valami kalsszikus video feature extractiont (https://en.wikipedia.org/wiki/Histogram_of_oriented_gradients) meg random forestet.

https://www.the-scientist.com/news-opinion/facial-expressions-decoded-in-mice-67370 

A combination of videography, machine learning, and brain imaging has identified facial expressions and neural activity patterns in mice that are associated with their emotions.N. Dolensek et al., “Facial expressions of emotion states and their neuronal correlates in mice,” Science 368:89-94, 2020. 

[icsabai]

Az NVIDIA reklámban jött: NVIDIA Feature Map Explorer is a new powerful tool that visualizes 4-dimensional image-based feature map data in a fluid and interactive fashion. It provides users with a rich set of views into feature map data that range from high-level summary to low-level channel slices, as well as detailed statistics information.
The visualization and statistics enable deep learning developers to easily peer into the deep learning processing “black box” to find depth information about what the model is learning, where the model is failing to use resources efficiently, and what is changing as a model is learning during training to better process data handed to it.

Itt: https://developer.nvidia.com/nvidia-fme le lehet tölteni. Ha valaki kipróbálja, majd számoljon be.

[qbeer]

Ez nem teljesen ide kapcsolódik, de iszonyatosan érdekes. Hirtelen nem tudtam, hogy hová küldjem. Szóval Stephen Wolfram kitalált egy gráfos elméletet, amiből a fizika fundamentális egyenletei kiesnek, Einstein-egyenletek, speciális relativitás elmélet, tömeg, energia, impulzus fogalmai, stb. stb.

Én ezt elolvastam, nagyjából az ált. rel. rész után 'adtam fel', mert addigra megtelt az agyam:

https://writings.stephenwolfram.com/2020/04/finally-we-may-have-a-path-to-the-fundamental-theory-of-physics-and-its-beautiful/

Van egy nagyon menő honlap, több infóval és valahogy community driven projektté akárják tenni. Lesz könyv is majd valamikor nem sokára:

https://www.wolframphysics.org/

[icsabai]

Köszi, ez engem nagyon érdekel, mindenképp megnézem. Nekem is régóta valami hasonló teóriám van, csak persze nem foglalkozom vele eleget, hogy "gráf sejatautomataként" kellene a téridőt létrehozni. Amit legközelebb "hivatalos fizikaként" találtam, az a CDT, ez volt Zegának aztán Beck Robinak anno a diplomamunkája. Amikor megjelent kb. elolvastam a New Kind of Science-t, abban is elmélkedett ilyesmiről, de nem sok eredmény jött ki neki, kíváncsi vagyok most mi sikerült. Még a napokban ez volt egy érdekes téma: https://www.quantamagazine.org/does-time-really-flow-new-clues-come-from-a-century-old-approach-to-math-20200407/ , bár túl messzire nem jut, de a diszkrét téridőhöz kapcsolódik, illetve hangoztatja, hogy a valós számok nem léteznek a valóságban, amit én is így gondolok, hasonló okok (nem tartalmazhat egy fizikai paraméter végtelen sok információt) miatt.

[qbeer]

Backprop in the brain: https://sci-hub.tw/https://www.nature.com/articles/s41583-020-0277-3

[icsabai]

https://arxiv.org/abs/2003.03384

AutoML-Zero: Evolving Machine Learning Algorithms From Scratch

Esteban Real, Chen Liang, David R. So, Quoc V. Le

Machine learning research has advanced in multiple aspects, including model structures and learning methods. The effort to automate such research, known as AutoML, has also made significant progress. However, this progress has largely focused on the architecture of neural networks, where it has relied on sophisticated expert-designed layers as building blocks---or similarly restrictive search spaces. Our goal is to show that AutoML can go further: it is possible today to automatically discover complete machine learning algorithms just using basic mathematical operations as building blocks. We demonstrate this by introducing a novel framework that significantly reduces human bias through a generic search space. Despite the vastness of this space, evolutionary search can still discover two-layer neural networks trained by backpropagation. These simple neural networks can then be surpassed by evolving directly on tasks of interest, e.g. CIFAR-10 variants, where modern techniques emerge in the top algorithms, such as bilinear interactions, normalized gradients, and weight averaging. Moreover, evolution adapts algorithms to different task types: e.g., dropout-like techniques appear when little data is available. We believe these preliminary successes in discovering machine learning algorithms from scratch indicate a promising new direction for the field.

[icsabai]

Ez az áttekintő írás azzal foglalkozik, hogy hogyan reprezentálja a valódi neuronhálózat az időt. Jópár éve nagy felfedezés volt a térbeli reprezentációért felelős sejtek felfedezése (ebben volt szerepe mások mellett Buzsáki Györgynek is). Ha nem is ugyanaz, de kapcsolódik a "fizika rekonstrukciós" látens teres cikkekhez, amiről már többet beszéltünk, illetve kicsit ahhoz a Hinton et al. cikkhez is amit Csenge néz át. Nem sikerült még egészen megértenem, hogy is kódolja végül az agy az időt, kíváncsi vagyok van-e valami univerzalitás benne, azaz ha egy mesterséges neuronhálónak kell megtanulnia az időbeliséget, hasonló megoldást talál-e. Az LSTM-mel, amit leginkább ismerek mint idősorokat tanuló háló, nem sikerült hasonlódágot találni.

Amúgy elég egyszerűen lehetne az időt számon tartani, lásd pl. a digitális számítógépekben a timerek, bár az összeadást is sokkal könnyebben meg lehet oldani néhány transzisztorral, mint ahogy az agyunk vsz. csinálja.

Ebben a friss referenciában még tetszik, a szerzők sorrendje :-)

[qbeer]

Sziasztok, néhány érdekesebb cikk amit érdemes lenne átolvasni:

• Jukebox, OpenAI : https://openai.com/blog/jukebox/ -> ez elvileg zenét generál szöveggel

• Metric learning reality check: https://arxiv.org/pdf/2003.08505.pdf -> nem sokat tudok a metric learningről, de kb. az a lényeg, hogy egy két inputos függvényt próbál tanulni és a kimeneten ezek 'relevanciája' van, tehát lényegében két input közötti valami féle metrikát akar tanulni, a cikk áttekinti, hogy az elmúlt 2-3 év fejlődése során kb. semmi nem történt, mert mindenki szarul állította be az előző SOTA parametéreket :D, jó áttekintés lehet

• MetaDataset : http://arxiv.org/abs/1903.03096 -> kevés mintából való tanuláshoz egy sztenderdizált adathalmaz, de a cikkben sokkal több dolog van ennél, azt hiszem Google cikk

[icsabai]

Nem tudom van-e igazán ML szempontból érdekes a listázott próbálkozások közt, de az aktualitás miatt valaki átfuthatná és elmondhatná:

AI Is Screening Billions of Molecules for Coronavirus Treatments The Scientist, May 7, 2020

[icsabai]

Valamelyik szemináriumon is talán szóba jött a numer.ai. Az orvosbiológiai adatoknál gyakran van szenzitív adat, és sokat nyűglődnek hogy lehetne megosztani privacy problémák nélkül (pl. most a VEO-ban is). Mindenre ugyan nem megoldás, de néha működhet a homomorphic encryption : Homomorphic encryption is a form of encryption that allows computation on ciphertexts, generating an encrypted result which, when decrypted, matches the result of the operations as if they had been performed on the plaintext.

Ezt a cikket találtam pl. a témában :

Badawi, A.A., Chao, J., Lin, J., Mun, C.F., Sim, J.J., Tan, B.H.M., Nan, X., Aung, K.M.M. and Chandrasekhar, V.R., 2018. The AlexNet Moment for Homomorphic Encryption: HCNN, the First Homomorphic CNN on Encrypted Data with GPUs arXiv preprint arXiv:1811.00778.

Fully homomorphic encryption, with its widely-known feature of computing on encrypted data, empowers a wide range of privacy-concerned cloud applications including deep learning as a service. This comes at a high cost since FHE includes highly-intensive computation that requires enormous computing power. Although the literature includes a number of proposals to run CNNs on encrypted data, the performance is still far from satisfactory. In this paper, we push the level up and show how to accelerate the performance of running CNNs on encrypted data using GPUs. We evaluated a CNN to classify homomorphically the MNIST dataset into 10 classes. We used a number of techniques such as low-precision training, unified training and testing network, optimized FHE parameters and a very efficient GPU implementation to achieve high performance. Our solution achieved high security level (> 128 bit) and high accuracy (99%). In terms of performance, our best results show that we could classify the entire testing dataset in 14.105 seconds, with per-image amortized time (1.411 milliseconds) 40.41x faster than prior art.

[B-Lorentz]

Láttam három cikket amit idővel szívesen elmondanék: https://arxiv.org/pdf/2002.01775v2.pdf: Online Knowledge Distillation

https://arxiv.org/pdf/2006.02419v1.pdf: ez egy ilyen összefoglaló, megerősítéses tanulás közben az ágensek által kitalált nyelvekről (emergent language)

https://arxiv.org/pdf/1912.11188v1.pdf: Itt RL-el szándékosan nehézzé optimalizálnak adatfeljavító módszereket, felülmúlják az AutoAugment-et egy nagyságrendel kevesebb gépidőt használva.

[icsabai]

Ezt jó lenne, ha valaki átnézné és elmondaná, egyrészt önmagában is érdekes a mikroszkópos szöveti elemzés szempontjából, másrészt Horváth Péterék magyar csoportja csinálni, jó tudni róla részletesebben is:

Hollandi, R., Szkalisity, A., Toth, T., Tasnadi, E., Molnar, C., Mathe, B., Grexa, I., Molnar, J., Balind, A., Gorbe, M. and Kovacs, M., 2020. nucleAIzer: A parameter-free deep learning framework for nucleus segmentation using image style transfer. Cell Systems.

https://www.sciencedirect.com/science/article/pii/S2405471220301174

[icsabai]

Hogyan lehet egy nem extrém erős hardveren gyors reinforcement learning-et csinálni: https://arxiv.org/abs/2006.11751

Sample Factory: Egocentric 3D Control from Pixels at 100000 FPS with Asynchronous Reinforcement Learning

Aleksei Petrenko, Zhehui Huang, Tushar Kumar, Gaurav Sukhatme, Vladlen Koltun

Increasing the scale of reinforcement learning experiments has allowed researchers to achieve unprecedented results in both training sophisticated agents for video games, and in sim-to-real transfer for robotics. Typically such experiments rely on large distributed systems and require expensive hardware setups, limiting wider access to this exciting area of research. In this work we aim to solve this problem by optimizing the efficiency and resource utilization of reinforcement learning algorithms instead of relying on distributed computation. We present the "Sample Factory", a high-throughput training system optimized for a single-machine setting. Our architecture combines a highly efficient, asynchronous, GPU-based sampler with off-policy correction techniques, allowing us to achieve throughput higher than 105 environment frames/second on non-trivial control problems in 3D without sacrificing sample efficiency. We extend Sample Factory to support self-play and population-based training and apply these techniques to train highly capable agents for a multiplayer first-person shooter game. The source code is available at this https URL