suggestions

[icsabai]

Erre kíváncsi lennék:

Exploring Weight Agnostic Neural Networks Tuesday, August 27, 2019 Posted by Adam Gaier, Student Researcher and David Ha, Staff Research Scientist, Google Research, Tokyo https://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

[icsabai]

Gráf neuronhálók feltárják az üveg fázisátalakulás titkait:

Glass is formed by cooling certain liquids. But why the molecules in the liquid slow down so dramatically at a certain temperature, with no obvious corresponding change in their structural arrangement — a phenomenon known as the glass transition — is a major open question.

Now, researchers at DeepMind, a Google-owned artificial intelligence company, have used AI to study what’s happening to the molecules in glass as it hardens. DeepMind’s artificial neural network was able to predict how the molecules move over extremely long timescales, using only a “snapshot” of their physical arrangement at one moment in time.

• https://www.quantamagazine.org/why-is-glass-rigid-signs-of-its-secret-structure-emerge-20200707/
• https://deepmind.com/blog/article/Towards-understanding-glasses-with-graph-neural-networks

[icsabai]

Régóta csinálnak ilyesmit, hogy random fényképekből 3D képeket rekonstruálnak. (Btw a pár éve Nobel díjjal jutalmazott cryo elektronmikroszkópiának is ez az egyik kulcsa) Most az Nvidia reklámban jött a google csapat új cikke a témában: https://nerf-w.github.io/ , elég impozáns.

[icsabai]

NLP témában az MIT Tech review-n írnak a [DiffBot]-ról, ami a "hagyományos" AI megközelítés felturbósítva:

"Like GPT-3, Diffbot’s system learns by vacuuming up vast amounts of human-written text found online. But instead of using that data to train a language model, Diffbot turns what it reads into a series of three-part factoids that relate one thing to another: subject, verb, object. ... Each of these factoids gets joined up with billions of others in a sprawling, interconnected network of facts. This is known as a knowledge graph."

[icsabai]

Tud valaki jó machine learning / kapcsolódó tech / tudomány témájú jó podcastokat amit lehet munkába járás alatt hallgatni? Régebben ezt https://after-on.com/ hallgattam, de leállt.

[qbeer]

Lex Friedmann podcast, én nem hallgattam még eddig, de ő elég nagyágyúkat interjúztat. MIT-s oktató ha jól tudom.

On 2020. Sep 10., Thu at 8:34, Istvan Csabai notifications@github.com wrote:

Tud valaki jó machine learning / kapcsolódó tech / tudomány témájú jó podcastokat amit lehet munkába járás alatt hallgatni? Régebben ezt https://after-on.com/ hallgattam, de leállt.

— You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub https://github.com/csabaiBio/elte_ml_journal_club/issues/2#issuecomment-690020976, or unsubscribe https://github.com/notifications/unsubscribe-auth/AF36MM2CEOUUKX6QEY4IXY3SFBXOZANCNFSM4IQ6AUAA .

[icsabai]

Távolról kapcsolódik a mai szemináriumon tárgyalt cikkekhez is, ma jött egy szeminárium hirdetés, bemásoltam lent. Majd továbbítom még a "madárraj" csoportnak is, ott még relevánsabb lehet, ha lennének méréseik. Ez lehet az előadáshoz a cikk: Lu, F., Maggioni, M. and Tang, S., 2020. Learning interaction kernels in stochastic systems of interacting particles from multiple trajectories. https://arxiv.org/abs/2007.15174

Dear Colleagues,

We are delighted to announce that Mauro Maggioni will give the next One World Mathematics of Information, Data, and Signals (1W-MINDS) Seminar this Thursday, September 17, at 2:30 pm EDT (11:30 am Pacific time). Attendees can watch the seminar using the following zoom link at that time:

https://msu.zoom.us/j/97753106540

Prof. Maggioni's title and abstract are below, and can also be found on the seminar website along with information about other upcoming talks, videos of past talks, and more at_https://sites.google.com/view/minds-seminar/home

Learning Interaction laws in particle- and agent-based systems

Interacting agent-based systems are ubiquitous in science, from modeling of particles in Physics to prey-predator and colony models in Biology, to opinion dynamics in economics and social sciences. Oftentimes the laws of interactions between the agents are quite simple, for example they depend only on pairwise interactions, and only on pairwise distance in each interaction. We consider the following inference problem for a system of interacting particles or agents: given only observed trajectories of the agents in the system, can we learn what the laws of interactions are? We would like to do this without assuming any particular form for the interaction laws, i.e. they might be “any” function of pairwise distances. We consider this problem both the mean-field limit (i.e. the number of particles going to infinity) and in the case of a finite number of agents, with an increasing number of observations, albeit in this talk we will mostly focus on the latter case. We cast this as an inverse problem, and study it in the case where the interaction is governed by an (unknown) function of pairwise distances. We discuss when this problem is well-posed, and we construct estimators for the interaction kernels with provably good statistically and computational properties. We measure their performance on various examples, that include extensions to agent systems with different types of agents, second-order systems, and families of systems with parametric interaction kernels. We also conduct numerical experiments to test the large time behavior of these systems, especially in the cases where they exhibit emergent behavior. This is joint work with F. Lu, J.Miller, S. Tang and M. Zhong.

Please feel free forward this email to others who may be interested. If this email has been forwarded to you and you'd like to receive your own announcements in the future, you can sign up for them here

https://forms.gle/wYNPom4ZKQF6QoDXA

[icsabai]

Ma szóba jött a "capsule networks". Visszakerestem, a szemináriumon nem találtam, még Bagoly Attilával és Ribli Dezsővel levelezgettünk róla 3 éve.

• https://arxiv.org/abs/1710.09829
• https://www.sciencenews.org/article/new-setup-image-recognition-ai-lets-program-think-its-feet Kb. az volt a konklúzió, hogy nehezen emészthető, esetleg ez lehet egy kiindulás a megértéshez, ha valaki felvállalja egyszer elmondani:
• https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b

[icsabai]

Ezt a losslandscape.com -ot régebben is láttam. Azóta van pár új zseniális vizualizációjuk, a szemináriumon diszkutált témák, transformer, lottery ticket is előjönnek.

[icsabai]

@masterdesky : Balázs, klassz lenne, ha ezt a cikket https://arxiv.org/abs/2010.00619 át tudnád nézni, és valamikor elmondanád (akár majd külön az asztro csoportnak is). A jelenlegi legprofibb kozmológia szimulációs kóddal készítettek egy nagy "tanító halmazt" és pár machine learning elemzést is lefuttattak.

The CAMELS project: Cosmology and Astrophysics with MachinE Learning Simulations

Francisco Villaescusa-Navarro, Daniel Anglés-Alcázar, Shy Genel, David N. Spergel, Rachel S. Somerville, Romeel Dave, Annalisa Pillepich, Lars Hernquist, Dylan Nelson, Paul Torrey, Desika Narayanan, Yin Li, Oliver Philcox, Valentina La Torre, Ana Maria Delgado, Shirley Ho, Sultan Hassan, Blakesley Burkhart, Digvijay Wadekar, Nicholas Battaglia, Gabriella Contardo

We present the Cosmology and Astrophysics with MachinE Learning Simulations --CAMELS-- project. CAMELS is a suite of 4,233 cosmological simulations of (25 h−1Mpc)3 volume each: 2,184 state-of-the-art (magneto-)hydrodynamic simulations run with the AREPO and GIZMO codes, employing the same baryonic subgrid physics as the IllustrisTNG and SIMBA simulations, and 2,049 N-body simulations. The goal of the CAMELS project is to provide theory predictions for different observables as a function of cosmology and astrophysics, and it is the largest suite of cosmological (magneto-)hydrodynamic simulations designed to train machine learning algorithms. CAMELS contains thousands of different cosmological and astrophysical models by way of varying Ωm, σ8, and four parameters controlling stellar and AGN feedback, following the evolution of more than 100 billion particles and fluid elements over a combined volume of (400 h−1Mpc)3. We describe the simulations in detail and characterize the large range of conditions represented in terms of the matter power spectrum, cosmic star formation rate density, galaxy stellar mass function, halo baryon fractions, and several galaxy scaling relations. We show that the IllustrisTNG and SIMBA suites produce roughly similar distributions of galaxy properties over the full parameter space but significantly different halo baryon fractions and baryonic effects on the matter power spectrum. This emphasizes the need for marginalizing over baryonic effects to extract the maximum amount of information from cosmological surveys. We illustrate the unique potential of CAMELS using several machine learning applications, including non-linear interpolation, parameter estimation, symbolic regression, data generation with Generative Adversarial Networks (GANs), dimensionality reduction, and anomaly detection.

[riblidezso]

Nem tudom szoktatok-e ezt nézni, de szerintem érdekes, lehet belőle szemezgetni. https://www.stateof.ai/

Vicces, hogy az egyik predikciójuk kvazi azonnal megvalósult. SOTA kép osztályozás transzformerekkel. https://openreview.net/pdf?id=YicbFdNTTy

[icsabai]

Ma már 2-szor jön elő ez a cikk: Martens, J. and Grosse, R., 2015, June. Optimizing neural networks with kronecker-factored approximate curvature. In International conference on machine learning (pp. 2408-2417). link

Most beszél épp róla Daróczy Bálint az MI Nemzeti LAB szemináriumon. Illetve délelőtt néztük át Biricz Andrissal, Orosszlány Lacival ezt a cikket: Pfau, D., Spencer, J.S., Matthews, A.G. and Foulkes, W.M.C., 2020. Ab initio solution of the many-electron Schrödinger equation with deep neural networks. Physical Review Research, 2(3), p.033429. link blog
Ebben is a fenti módszert használják optimalizációra, állítólag sokkal gyorsabb, mint az ADAM.

Ha valaki ismeri/megnézi, elmondhatja mi benne a trükk.

[icsabai]

Szóba jött már párszor a Judea Pearl: The book of why. Meghallgattam Lex Fridman interjúját vele. Ez annyira nem volt átütő. (A végén fény derül egy családi tragédiára, ezt eddig nem tudtam). Van egy quanta interjú amiből sok nem derül ki a lényegről, de vsz. ez hozta be a közbeszédbe, meg hogy kicsit cikizi az AI-t.

Rákeresve, hogy van-e valamilyen, kevésbé elmélyült statisztikusoknak is értelmezhető elmondása az intejúban is emlegetett "do calculus"-nak, véletlen épp Horváth Ferenc (akitől Alex is mutatott valamit) blog postját dobta fel a net. Nekem még mindig hiányzik valami konkrétabb de kevésbé kézlegyintgetős példa. Ilyet nem találtam eddig, de most találtam R és python implementációkat, ezek példáiból talán több kiderülhet.

Ehhez kapcsolódva Aurél találta ezt a cikket: Bengio, Y., Deleu, T., Rahaman, N., Ke, R., Lachapelle, S., Bilaniuk, O., Goyal, A. and Pal, C., 2019. A meta-transfer objective for learning to disentangle causal mechanisms. arXiv preprint arXiv:1901.10912.

[icsabai]

Aki nincs a csabaibio listán, és nem hallotta volna, az AlphaFold új verziója (attention!) gyakorlatilag elérte a 90%-os pontosságot a protein foldingon:

• https://www.nature.com/articles/d41586-020-03348-4
• https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology

[patbaa]

Differences between human and machine perception in medical diagnosis https://arxiv.org/abs/2011.14036

Kb azt vizsgálják, hogy milyen featurek alapján diagnosztizál egy cnn és egy mammográfus. Itt az abstract alapján azt állítják, hogy vannak jelek, amit mammorgráf képeken a gép néz, de a radiológusok nem.

[B-Lorentz]

Ehhez mit szóltok:

https://arxiv.org/pdf/2012.00152v1.pdf Every Model Learned by Gradient Descent Is Approximately a Kernel Machine

Állítólag bebizonyítják, hogy akármilyen összetett mély model amit SGD-vel tanulnak igazából közelítőleg egy kernel machine. (ha a learning rate elég kicsi) Azt mondják ez segíthet a dl modellek gyengeségeit értelmezni és jobb kernel machine-okat csinálni is. Amennyire látom az ilyen theory-only cikkek között ez tulajdonképpen nem annyira bonyolult matematikailag (de azért nem vállalnám be egymagam jövő hétre.)

De az jutott eszembe, hogy lehet ennek köze meta-inicializáliókhoz, lottószelvénykhez és fura learning rate schedule-okhoz? Vagyis hogy ezek olyan súlykonfigurációkat is elérnek amiket kislépéses SGD nem, de KM-nél erősebb számításoknak felelnek meg?

Egy másik érdekes dolog: AutoInt: Automatic Integration for Fast Neural Volume Rendering https://arxiv.org/pdf/2012.01714v1.pdf Ha az integrálós ötletük tényleg általánosan működik, annak sok fizikai alkalmazása is kellene, hogy legyen.

[icsabai]

Csak a cím alapján az első cikkhez: ha mind a NN mind pedig a kernel machine univerzális függvénybecslő, akkor talán ez nem is meglepő. De azért kíváncsi lennék rá, hogy ezen túl, van-e bármi praktikus következménye.

A 2. is izgalmasan hangzik, főként tényleg ha általában raytracingre is lehetne használni, pl. kozmológia gravit lensing.

[icsabai]

Most láttam az OpenAI DALL-E modellt reklámozni: https://openai.com/blog/dall-e/ Szöveg promptok alapján képeket generál, transformer alapú. Elsőre csak a demo látszik, ami elég impresszív.

[B-Lorentz]

Of topic kérdés: Mi a Journal Club tárgyneve vagy kódja ebben a félévben? Felvenném de nem találom

[qbeer]

Azt hiszem ez az : dsadvmachlf20s

On Jan 25 2021, at 10:08 am, B-Lorentz notifications@github.com wrote:

Of topic kérdés: Mi a Journal Club tárgyneve vagy kódja ebben a félévben? Felvenném de nem találom — You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub (https://github.com/csabaiBio/elte_ml_journal_club/issues/2#issuecomment-766666705), or unsubscribe (https://github.com/notifications/unsubscribe-auth/AF36MM27AQBHZDZHLHQHFBLS3UYHNANCNFSM4IQ6AUAA).

[qbeer]

@icsabai rá tudsz nézni, hogy mi lehet - valószínűleg van MSc tárgy előkövetelményként (én nem látom). MSc alatt úgyis kell 3 angol nyelvű szeminárium neked Lőrinc, erre ha Pisti is jónak látja én megajánlunk neked előre egy ötöst az eddigiek alapján, de most maradjon ez az előfeltétel, mert ez nem egy alapozó tárgy és ne duzzasszuk a létszámot BSc-sekkel, most én adok ki majd olvasni valót és nem is menne általánosságban. :)

[B-Lorentz]

@icsabai rá tudsz nézni, hogy mi lehet - valószínűleg van MSc tárgy előkövetelményként (én nem látom). MSc alatt úgyis kell 3 angol nyelvű szeminárium neked Lőrinc, erre ha Pisti is jónak látja én megajánlunk neked előre egy ötöst az eddigiek alapján, de most maradjon ez az előfeltétel, mert ez nem egy alapozó tárgy és ne duzzasszuk a létszámot BSc-sekkel, most én adok ki majd olvasni valót és nem is menne általánosságban. :)

Értem. Rendben. Semmi okom sincs nem járni Msc alatt, úgyhogy előre ötösre remélhetőleg nem lesz szükség, de akkor majd felveszem jövőre.

[icsabai]

Igen, ebben maradtunk, amikor megbeszéltük a felterjesztést:

• dsadvmachlf20s A gépi tanulás új eredményei szeminárium Ezt csak fizikus MSc és PhD hallgatóknak kellene meghirdetni, nem akarjuk, hogy felhíguljon. Vagy ha lehet előfeltételnek a "dsminingf17vm Adatbányászat és gépi tanulás" legyen betéve.

• dsadvmachlf20l Haladó gépi tanulás labor Szintén csak fizikus MSc és PhD hallgatók. Vagy ha lehet előfeltételnek a "dsminingf17vm Adatbányászat és gépi tanulás" legyen betéve.

Ha kell kredithez, biztos tudunk engedélyt adni, szívesen aláírok igazolást a TO-nak.

[icsabai]

Kb. 8-9 éve, volt egy diák, akinek az volt a feladata, hogy EEG felvételekből beazonosítsa, hogy milyen zenét hallgat. Nem igazán jutott túl az egyszerű PCA elemzésen, és nem igazán jött ki semmi. (talán valahol meg is vannak a felvételek). Íme, csak ki kellett várni, hogy valaki megcsinálja:

Sonawane, D., Miyapuram, K.P., Rs, B. and Lomas, D.J., 2021. GuessTheMusic: song identification from electroencephalography response. In 8th ACM IKDD CODS and 26th COMAD (pp. 154-162). https://dl.acm.org/doi/10.1145/3430984.3431023

ABSTRACT

The music signal comprises of different features like rhythm, timbre, melody, harmony. Its impact on the human brain has been an exciting research topic for the past several decades. Electroencephalography (EEG) signal enables the non-invasive measurement of brain activity. Leveraging the recent advancements in deep learning, we proposed a novel approach for song identification using a Convolution Neural network given the electroencephalography (EEG) responses. We recorded the EEG signals from a group of 20 participants while listening to a set of 12 song clips, each of approximately 2 minutes, that were presented in random order. The repeating nature of Music is captured by a data slicing approach considering brain signals of 1 second duration as representative of each song clip. More specifically, we predict the song corresponding to one second of EEG data when given as input rather than a complete two-minute response. We have also discussed pre-processing steps to handle large dimensions of a dataset and various CNN architectures. For all the experiments, we have considered each participant’s EEG response for each song in both train and test data. We have obtained 84.96% accuracy for the same at 0.3 train-test split ratio. Moreover, our model gave commendable results as compare to chance level probability when trained on only 10% of the total dataset. The performance observed gives appropriate implication towards the notion that listening to a song creates specific patterns in the brain, and these patterns vary from person to person.

[icsabai]

Inkább csak a story érdekes, meg hogy a Nature lehozta, de azért ha valaki ránéz és talál benne érdekeset, elmondhatja:

Raayoni, G., Gottlieb, S., Manor, Y. et al. Generating conjectures on fundamental constants with the Ramanujan Machine. Nature 590, 67–73 (2021). https://doi.org/10.1038/s41586-021-03229-4

[qbeer]

Sziasztok,

aki akar egy 1 órás bevezetőt a gráf neurális hálokhoz és a kurrens kapcsolódó témakörökhöz annak nagyon ajánlom ezt az előadást (utolsó fél óra kérdések):

https://www.youtube.com/watch?v=uF53xsT7mjc

Alex

[icsabai]

A FB újabb, immár >1 milliárd paraméteres SEER modelljéről jött egy reklám: https://ai.facebook.com/blog/seer-the-start-of-a-more-powerful-flexible-and-accessible-era-for-computer-vision

_We’ve developed SEER (SElf-supERvised), a new billion-parameter self-supervised computer vision model that can learn from any random group of images on the internet — without the need for careful curation and labeling that goes into most computer vision training today.

After pretraining on a billion random, unlabeled and uncurated public Instagram images, SEER outperformed the most advanced, state-of-the-art self-supervised systems, reaching 84.2 percent top-1 accuracy on ImageNet. SEER also outperformed state-of-the-art supervised models on downstream tasks, including low-shot, object detection, segmentation, and image classification. When trained with just 10 percent of the examples in the ImageNet data set, SEER still achieved 77.9 percent top-1 accuracy on the full data set. When trained with just 1 percent of the annotated ImageNet examples, SEER achieved 60.5 percent top-1 accuracy._

[qbeer]

Sokan érdeklődtek mostanában, hogy hol lehet ingyen GPU-t használni, ami nem a Colab (mert az nem a legjobb, valljuk be). Nem olvastam el, de itt összeszedik pro/kontra:

https://blog.paperspace.com/best-google-colab-alternatives/

Előbbihez pedig, kijött a Facebook library ami egységesíti az eddigi unsupervised technikákat és lehet fine-tuneolni saját adatra: https://vissl.ai/

[icsabai]

A mai megbeszélésen felmerült kérdéshez, hogy milyen fizikai rendszernél lehetne a reinforcement learning-et használni. Ez a fúzió / plazma fizika cikk, amit említettem:

Kates-Harbeck, J., Svyatkovskiy, A. and Tang, W., 2019. Predicting disruptive instabilities in controlled fusion plasmas through deep learning. Nature, 2019

https://www.nature.com/articles/s41586-019-1116-4

Ha valakinek van kedve, utána lehet nézni mi van a témában.

[szmate00]

A mai megbeszélésen felmerült kérdéshez, hogy milyen fizikai rendszernél lehetne a reinforcement learning-et használni. Ez a fúzió / plazma fizika cikk, amit említettem:

Kates-Harbeck, J., Svyatkovskiy, A. and Tang, W., 2019. Predicting disruptive instabilities in controlled fusion plasmas through deep learning. Nature, 2019

https://www.nature.com/articles/s41586-019-1116-4

Ha valakinek van kedve, utána lehet nézni mi van a témában.

Én szívesen ránézek. Pont ML felhasználásokat keresek a Fúziós Plazmafizika kutatócsoportban az EK-ban, szóval témába is vág :)

[B-Lorentz]

A LambdaNetwork: https://arxiv.org/abs/2102.08602

[icsabai]

Szimbolikus regresszió. Régebben genetikus programozásban ez nagy téma volt. Volt már itt is szó hasonlókról (AutoML, AI Feynman), állítólag ez jobb:

https://openreview.net/forum?id=m5Qsh0kBQG

Deep symbolic regression: Recovering mathematical expressions from data via risk-seeking policy gradients Brenden K Petersen, Mikel Landajuela Larma, Terrell N. Mundhenk, Claudio Prata Santiago, Soo Kyung Kim, Joanne Taery Kim ICLR 2021 Keywords: symbolic regression, reinforcement learning, automated machine learning Abstract: Discovering the underlying mathematical expressions describing a dataset is a core challenge for artificial intelligence. This is the problem of symbolic regression. Despite recent advances in training neural networks to solve complex tasks, deep learning approaches to symbolic regression are underexplored. We propose a framework that leverages deep learning for symbolic regression via a simple idea: use a large model to search the space of small models. Specifically, we use a recurrent neural network to emit a distribution over tractable mathematical expressions and employ a novel risk-seeking policy gradient to train the network to generate better-fitting expressions. Our algorithm outperforms several baseline methods (including Eureqa, the gold standard for symbolic regression) in its ability to exactly recover symbolic expressions on a series of benchmark problems, both with and without added noise. More broadly, our contributions include a framework that can be applied to optimize hierarchical, variable-length objects under a black-box performance metric, with the ability to incorporate constraints in situ, and a risk-seeking policy gradient formulation that optimizes for best-case performance instead of expected performance.

[icsabai]

Ez egy projektötlet: vannak nagy csillagászati felmérések, amikbe bezavarnak észlelési zavarok, műholdak, előtér csillagok. Ezeket jó lenne "inpainting" módszerrel, vagy pl. amit a transformerekkel néztünk a kitakarásos módszerrel megjavítani. Itt van egy szép zoomolható példa kép a Subaru távcsővel, láthatóak rajta a problémák: https://hsc.mtk.nao.ac.jp/ssp/data-release/ Meg persze ott van több majdnem teljes ég survey, mint az SDSS, WISE és társaik.

[icsabai]

Említettem a mai szemináriumon is, érdemes lenne valakinek alaposabban átnézni. Fizika, parc diffegyenletek neuronhálókkal. "Operátor-tanulás", "Fourier neural operator", ...

• Quanta cikk: https://www.quantamagazine.org/new-neural-networks-solve-hardest-equations-faster-than-ever-20210419/
• Lu, L., Jin, P. and Karniadakis, G.E., 2019. Deeponet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators. arXiv preprint arXiv:1910.03193. https://arxiv.org/abs/1910.03193
• Li, Z., Kovachki, N., Azizzadenesheli, K., Liu, B., Bhattacharya, K., Stuart, A. and Anandkumar, A., 2020. Fourier neural operator for parametric partial differential equations. arXiv preprint arXiv:2010.08895. https://arxiv.org/abs/2010.08895

[qbeer]

Az utóbbit én olvastam, jövő héten szívesen elmondom.

On 2021. Apr 22., Thu at 20:23, Istvan Csabai @.***> wrote:

Említettem a mai szemináriumon is, érdemes lenne valakinek alaposabban átnézni. Fizika, parc diffegyenletek neuronhálókkal. "Operátor-tanulás", "Fourier neural operator", ...

• Quanta cikk: https://www.quantamagazine.org/new-neural-networks-solve-hardest-equations-faster-than-ever-20210419/
• Lu, L., Jin, P. and Karniadakis, G.E., 2019. Deeponet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators. arXiv preprint arXiv:1910.03193. https://arxiv.org/abs/1910.03193
• Li, Z., Kovachki, N., Azizzadenesheli, K., Liu, B., Bhattacharya, K., Stuart, A. and Anandkumar, A., 2020. Fourier neural operator for parametric partial differential equations. arXiv preprint arXiv:2010.08895. https://arxiv.org/abs/2010.08895

— You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub https://github.com/csabaiBio/elte_ml_journal_club/issues/2#issuecomment-825082482, or unsubscribe https://github.com/notifications/unsubscribe-auth/AF36MMZ2YFOVJ5WAW34BWGDTKBSSBANCNFSM4IQ6AUAA .

[icsabai]

Fizika rekonstrukció témában Max Tegmark-éknak kijött egy új cikkük a PRL-ben. Volt nemrég egy AI Feynman című, ez most AI Poincare, és megmaradási törvényeket rekonstruálnak trajektóriákból. A részleteket még nem néztem, trajektória koordinátákat vesznek inputnak, érdekes lenne megnézni és hogy a video-s elemzés-re ki lehet-e terjeszteni.

https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.126.180604

Liu, Z. and Tegmark, M., 2020. AI Poincar\'e: Machine Learning Conservation Laws from Trajectories. arXiv preprint arXiv:2011.04698.

https://arxiv.org/pdf/2011.04698.pdf

[B-Lorentz]

Egy ilyet láttam: Barlow Twins: Self-Supervised Learning via Redundancy Reduction https://arxiv.org/pdf/2103.03230.pdf

Egy praktikus, és a bonyolúltabb megoldásokkal (kontrasztív, etc...) kompetitív self-supervised reprezentáció-tanulási megoldásnak tűnik.

[icsabai]

Nagyjából átfutottam a Barlow twins cikket. Ha jól értem akkor a lényeg csak az augmentációra invariáns belső reprezentáció kialakítása, ötletesnek és egyszerűnek tűnik. Nem teljesen egyértelmű az implementáció, hogy tényleg van-e "twin" vagy csak egy hálót tanítanak. Azt hiszem inkább az utóbbinak van értelme, azaz inkább az elnevezés csalóka, elég egy hálót tanítani és azt nézni, hogy különböző augmentációkkal ugyanazt adja-e. Ha csak ennyi, furcsa, ha nem lenne már ilyen. Vagy valami van még benne?

[icsabai]

Ha majd újra indul a szeminárium, ezt érdemes lenne feldolgozni:

Ramsauer, H., Schäfl, B., Lehner, J., Seidl, P., Widrich, M., Adler, T., Gruber, L., Holzleitner, M., Pavlović, M., Sandve, G.K. and Greiff, V., 2020. Hopfield networks is all you need. arXiv preprint arXiv:2008.02217.

Úgy találtam csak, hogy a szerzők közt szerepel Victor Greiff, aki szervezte azt a hackathont, ahol Alex és Aurél részt vettek, de nem is ezért érdekes. A Hopfield model a 80-as évekbeli "neural net" hullám egyik első fecskéje volt, utána született meg a backprop, és szinte mindennek az alapja, ami a mostani hullámban előjött. A Hopfiled model matematikailag gyakorlatilag ekvivalens az Ising modellel, pontosabban a spinüvegekkel, azaz ez (is) egy "fizikus modell". Anno rengeteg dolgot elemeztek, bizonyítottak róla a statisztikus fizikusok. Most módosították valamennyire (bináris helyett folytonos változók), és az attention-nel hozzák kapcsolatba (innen jön nyilván a cím)

[qbeer]

Nem sokára indul majd a szeminárium, addig is itt van néhány cikk, érdekesség, amiből érdemes csemegézni:

1.

Perciever modellt frissítették, az előző modell lényegében integrálta a transformerekből ismert figyelem mechanizmust egy okos trükkel alacsonyabb dimenzióban és így eléggé kis modellek is képesek voltak nagyon jó baseline konvolúciós hálóknál jobb eredményt elérni klasszifikációban:

Perciever

Az új modellbe most integrálták, hogy tetszőleges struktúrájú adaton működni tudjon, tehát már nem csak kép klasszifikációra lehet használni:

Perciever IO

2.

Úgy látszik, hogy most nagyon pörög a CNN + Transformer integrálása, itt van egy MobilFormer cikk, ami a MobilNet hálót és a transformer blokkokat próbálja meg ügyesen integrálni, továbbra is kiss számítás igénnyel:

Mobil-Former

3.

Ez a cikk azt mondja el, hogy hogyan lehet egy már betanított generatív modellt rávenni egyszerű vonalrajzok alapján, hogy előre elvárt beállításban generáljon képeket (cica a jobb alsó sarokból felénk néz, ló a kép közepén balra néz, oldalról látjuk, stb. stb.)

Sketch your own GAN

4.

Geometric deep learning for molecules

Ehhez most van egy nagyon jó (még nem olvastam végig) összefoglaló a geometric deep learning-ről és a hozzá kapcsolódó problémákról itt:

GDL: Grids, groups, graphs, geodesics, gauges

Ha a nagy összefoglalót nem is, ezt a videót MINDENKÉPPEN érdemes megnézni, az egyik szerző aki ebben a videóban prezentál, MINDEN szempontból PAZAR összeállítás:

videó ITT

5.

Mostanában az AI elkezdett programokat generálni, méghozzá nem is akárhogy. Ez a cikk a Google-től:

Program synthesis with large language models

Ez pedig az OpenAI Codex-e, elég félelmetes:

cikk official site

Egyenlőre ennyi, a többségét én som olvastam részletesen. Az OpenAI cikket szívesen meghallgatnám valakitől, a GDL-ben pedig jó lenne valami projekt majd. :)

Alex

[icsabai]

Kösz, ez izgalmas lista, akár egész félévben elleszünk vele, ha alaposan végig nézzük :-) A GDL video tényleg nagyon informatív, és sűrű, egy-egy mondatában egész egyetemi kurzusok vannak elrejtve.

[icsabai]

Egy újabb javaslat, érdekesség. Megnézték, hogy hány "mesterséges neuronnal" lehet reprodukálni egy valódi (igazából ezt is csak szimulálták, de nagyjából korrekt biofizikát) neuront. 5-8 réteg, 1000 mesterséges neuron. (Úgy írják, hogy ez meglepő, de talán egy komplex biokémiai biofizikai rendszer működésénél én nem tartom annyira meglepőnek)

Beniaguev, David, Idan Segev, and Michael London. "Single cortical neurons as deep artificial neural networks." Neuron (2021).

https://www.biorxiv.org/content/10.1101/613141v2

Quanta cikk is van róla, de ebben sok részlet nincs: https://www.quantamagazine.org/how-computationally-complex-is-a-single-neuron-20210902/

Feltették az adatokat a Kaggle-re, aki tud csináljon kisebb hálót, mint ami nekik kijött.

[icsabai]

Nem cikk, viszont érdekes hasznos technika lehet akár fizikai alkalmazáshoz is, nem csak ML vonalon. Az NVIDIA reklámban jött a TensorLy és Minkowski engine-ről:

https://developer.nvidia.com/blog/nvidia-research-tensors-are-the-future-of-deep-learning

[icsabai]

This review on "Physics Informed Neural Networks" could make a good seminar topic:

Karniadakis, G.E., Kevrekidis, I.G., Lu, L., Perdikaris, P., Wang, S. and Yang, L., 2021. Physics-informed machine learning. Nature Reviews Physics, 3(6), pp.422-440.

[icsabai]

Not sure how much interesting, but this was in the news. DeepMind can predict rain (in Britain :-) from Doppler radar for the next hour.

Ravuri, S., Lenc, K., Willson, M. et al. Skilful precipitation nowcasting using deep generative models of radar. Nature 597, 672–677 (2021). link

If Lando Norris had this tool at the Russian F1 GP ...

[icsabai]

Not especially useful but a simple idea realized nicely: reading analog clocks with ML. Also this may be relevant for physics dynamics reconstruction (Lagrangian, Hamiltonian, ...) projects.

Yang, C., Xie, W. and Zisserman, A., 2021. It's About Time: Analog Clock Reading in the Wild. arXiv preprint arXiv:2111.09162.

A useful link may be this searchable WebVid (web video) database they use: https://m-bain.github.io/webvid-dataset/

[icsabai]

Today's JC will be allocated for student reports on the Geometric Deep Learning book but some times later we should look into DeepMind's new model RETRO that is a much smaller model than GPT-3 with the same performance. It comes with a cost: they have an extra huge "token database". I think the general concept of adding some kind of database (can we call this "episodic memory"?) goes beyond language modes. Volunteers to read and present the paper are welcome'

[qbeer]

Also from DeepMind: https://www.nature.com/articles/s41586-021-04086-x guiding maths with AI

[icsabai]

Also from DeepMind: https://www.nature.com/articles/s41586-021-04086-x guiding maths with AI

Interesting that one of their problems is knot theory. Last year I have given this article to one of the students as a possible thesis work topic, but finally he did something else.

• Gukov, S., Halverson, J., Ruehle, F. and Sułkowski, P., 2020. Learning to unknot. arXiv preprint [arXiv:2010.16263.] (https://paperswithcode.com/paper/learning-to-unknot)

(it is not referenced in the deepmind paper, probably completely different approach)

[szmate00]

New Google post called Training Machine Learning Models More Efficiently with Dataset Distillation They introduce two "data distillation" algorithms to enable models to be trained using much fewer data and computational power.

Training a model with such a distilled dataset can reduce the required memory and compute. For example, instead of using all 50,000 images and labels of the CIFAR-10 dataset, one could use a distilled dataset consisting of only 10 synthesized data points (1 image per class) to train an ML model that can still achieve good performance on the unseen test set.

[icsabai]

Thanks @szmate00 , very interesting. I would be happy to hear it on one of the next JCs. By a quick look at the figures, I think that this is a nice demonstration of how differently NN works for image recognition than humans. The distilled images are more like collection of texture patches and for the first sight they all look very similar. For a human a small set of training set would have been e.g. pencil sketches of the objects to be recognized.