ninopira / weekly_ninopira

26 stars 0 forks source link

20210329 #4

Open ninopira opened 3 years ago

ninopira commented 3 years ago

オープニングトーク

ロゴが爆誕しました!!!シャッの有志の方ありがとうございます!!! 112240577-ea0d1200-8c8b-11eb-9422-648e132a88cd

ninopira commented 3 years ago

Pysen

https://tech.preferred.jp/ja/blog/pysen-is-the-new-sempai/

Pythonのlinter管理ツール tomlに各種linterの設定を書いてlint, formatすることで統一的なlint, formatが出来る

バニラなPEP8やBlackなどのlinterも相当便利だが、なんだかんだどのツールをどの設定で、どうformat.sh作るかが黒魔術になりがちなので、Pysenの導入は非常に有効そう

ninopira commented 3 years ago

趣味プロジェクトをリードする技術 / Techniques to lead hobby projects

https://speakerdeck.com/p1ass/techniques-to-lead-hobby-projects

趣味での開発のプロジェクトマネージメントのお話 個人開発なら自分の気分だけで進捗を遅めたり早めたり出来るが、チームでの作業となると「うわ。仕事やん。」と思いました 趣味の側面だけでなくスキルアップの側面もあり、プライベートの開発が盛んなこの業界で、一つの参考になるであろう資料

(最近、個人開発してないなぁ。。。)

ninopira commented 3 years ago

Introducing PyTorch Profiler - the new and improved performance tool

https://pytorch.org/blog/introducing-pytorch-profiler-the-new-and-improved-performance-tool/ https://twitter.com/PyTorch/status/1375177895648235521

GPU Kernelだけでなく、DataloaderやCPU execなども見れるProfiler まだ未使徒用だが、profilerを定義して、profiler.step()をするだけといった感じでコードも簡単そう

 with torch.profiler.profile(
    schedule=torch.profiler.schedule(
        wait=2,
        warmup=2,
        active=6,
        repeat=1),
    on_trace_ready=tensorboard_trace_handler,
    with_trace=True
) as profiler:
    for step, data in enumerate(trainloader, 0):
        print("step:{}".format(step))
        inputs, labels = data[0].to(device=device), data[1].to(device=device)

        outputs = model(inputs)
        loss = criterion(outputs, labels)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        profiler.step()

coming in mid-Apriに、vscodeのextensionも出る予定らしい

ninopira commented 3 years ago

GPT-3 Powers the Next Generation of Apps

https://openai.com/blog/gpt-3-apps/

GPT3の活用事例 コールセンターやQAサイトでの活用が主な印象

Platform improvementsのセクションで以下の開発を進めていると記載されている点も注目点

ninopira commented 3 years ago

全国医療AIコンテスト 2021 1st place solution

https://connpass.com/event/204007/ https://www.kaggle.com/c/ai-medical-contest-2021/data https://speakerdeck.com/chizuchizu/quan-guo-yi-liao-aikontesuto-2021-1st-place-solution

主催:TMDU 医療IT・数学同好会 T/T (tea party), 東京医科歯科大学M&Dデータ科学センター

心電図の波形データから心筋梗塞かの0,1を当てるコンペ 金曜17:30スタート、土曜13:00終了の超タイトなコンペ

テストデータのあのテーターが人のデータと機械のデータの2種類があったこともポイント 1st solutionではTsetが全てhumanであることを考慮し、autoは常にtrainしつつ、valuationに一部のhumanデータを用いていた

'human'は専門家によって妥当なラベルが付けられた心電図,'auto'は医療機器により自動的にラベルが付けられた心電図を表しています。訓練データに含まれている心電図には'human'と'auto'の2種類がありますが,テストデータに含まれている心電図は全て'human'であることに注意してください。

1st solutionは、Wavenetをはじめとした波系の時系列NNをアンサンブル

この数のネットワークを高々1日で正しく組める「中三と高二」がいることは、我々社会人に対しかなりの衝撃(まぁ正直、お二方とも既に色々な成果を出されているので、いまさら衝撃は受けないが汗)

個人的には「よっしゃ。若者には負けてらんね。わいも頑張るで。」と思いました(隙あらば自分語り)

ninopira commented 3 years ago

【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 23】#095​ #VRアカデミア​ #DeepLearning

https://www.youtube.com/watch?v=bPdyuIebXWM

Alicia大先生の新作 毎回「数式の噛み砕いた説明わかっりやす!!」と感嘆

お恥かしながらattention(特にencorder, decorderの箇所)に関しては、「k, q, vの内積とったりソフトマックス」したりする部分の数式しかわかっていなかった自分としては、その他の数式をちゃんと解釈とともに紹介してくださった今回の動画「も」大変勉強になりました。

ninopira commented 3 years ago

エンジニアからPMに転換した際にハマったこと・感じたこと

https://note.com/tank_mouri/n/nf26cd95571dd

メルカリUSのPdMの方の、頭の中の整理が言語化されているブログ 言われてみれば当たり前だが、このような内容を言語化できていることが尊敬

P"j"Mのすべきこととしては、こちらも参考になりました。 https://qiita.com/yasuoyasuo/items/37cc24440b278363339e

ninopira commented 3 years ago

Transformerを用いた表現学習・推薦の実装

https://future-architect.github.io/articles/20210325/

Riiidコンペを元に以下をtensorflowで実装

いやー。tensorflowむず。

ninopira commented 3 years ago

BERTを用いた自然言語処理プロダクトの開発・運用

https://speakerdeck.com/omitakahiro/bertwoyong-itazi-ran-yan-yu-chu-li-purodakutofalsekai-fa-yun-yong

ストックマーク社のBERTを用いたプロダクトの開発・運用事例 インフラの整備にゴーサイン出すまでの社内調整が大変そうだなぁと想像してしまいました

ninopira commented 3 years ago

統計学勉強会(仮)2

https://connpass.com/event/204931/

キャッチアップ出来ていないので来週まとめます!!