-
* ~~SOAP~~
* Muon (add schedules)
* Shampoo (only DistributedShampoo)
* ~~Adam-mini~~
* ~~Lion~~
* ~~Sophia~~
* ~~AdEMAMix~~
* ~~Schedule-Free~~
* Adafactor
* Adalayer
* ~~Signum, signSGD~~
…
-
Toxic 답변을 생성하는 것을 방지하는데 사용되는 방법론들에 대해 알고 싶습니다.
toxic 답변을 생성하도록 유도하는 질문인지를 판단하는 모델을 따로 둔다 던지,
stop word 설정한다던지 하는 방법이 있을 것 같은데 구체적인 방법들이 궁금합니다.
-
강화학습은 리워드 모델로 인간의 선호도를 학습할 수 있다는 장점이 있습니다. 그러나 리워드를 디자인 하는 것은 어떠한 로직이나 수식, 최적화 프로세스를 통해 구현되어야 한다고 생각합니다. 이는 목적에 따라 디자인 하는 패턴이 매우 다양해지며, 새로운 로직이나 수식으로 구현되어야 한다는 단점도 있습니다. 그러면 리워드 모델 없이도 인간의 선호도를 학습할 수 …
-
Self-Attention computing의 시간 복잡도 O(n^2)를 줄이기 위한 노력에는 어떤 것이 존재하였고, 시간 복잡도를 줄이기 위한 문제에서 아직 해결되지 않은 부분에 어떤 것이 있는지 궁금합니다.
-
Position embedding을 단순히 벡터에 더하는 것으로 나와 있는데, 그냥 단순히 x값에 더해서 적용시키는 건가요? 그러면 다른 값들이 섞여 있어서 적용이 안될 거 같은데, 저렇게 단순히 더한다면 왜 위치의 의미를 가질 수 있는지 궁금하고 저렇게 단순히 더하는 게 아니라면 설명해주시면 감사하겠습니다!!
-
- [ ] marginal data labeling analysis
* PCA / SVD to see if we can get a reliable results
- [ ] marginal data random sampling
- [ ] accuracy
- [ ] Bias-Variance Decomposition
* cross-vali…
-
* [Speech and Language Processing](https://web.stanford.edu/~jurafsky/slp3/)
* [edbook_oct162019.pdf](https://web.stanford.edu/~jurafsky/slp3/edbook_oct162019.pdf)
-
https://leeee.top/2020/CS224n-15/
这节课又是Abigail See小姐姐来讲的，赞。主要讲了Natural Language Generation (NLG)的现在整体情况，decoding，tasks，evaluation，以及其他的研究进展。也就是CS224n-8 机器翻译,seq2seq,Attention的续集。
-
It is mentioned in the code that it is written in Tensorflow==1.4.1 in Python 2.7
I am unable to install Tensorflow==1.4.1 in Python 2.7 Environment. I am able to install Tensorflow only in python 3.…
-
When I run the q1_window.py in the assignment3, it would show an error as follows.
File "D:\Anaconda3\envs\tensorflow_gpu\lib\site-packages\spyder\utils\site\sitecustomize.py", line 710, in runfi…