weekly useful materials - 04/20 -

[GENZITSU]

効果的で継続される1on1のコツ【2022年版】

(電通国際情報サービス（ISID）)にて部長(?)をしている小川さんによる、効果的な1on1を行うためのtipsまとめ

分量が多いので要点だけ抜粋

２.１ どのような1on1を誰と行うのか 私は1on1を、毎日ともに働く同じ部署のメンバー（つまり毎朝、朝会をするメンバー）を相手に実施しています。 私が1on1を実施する相手は、最大で5人までにしています。 四つの理由があります。 ・きちんとした質の1on1を継続するには5人が精一杯 ・サブリーダーが1on1を実施する側にも回ることで、実施する側に立ってみた成長が期待できる ・リーダーの私が不在となっても（病気、育休、転職等）、チームが継続可能な体制を保てる ・ある程度年齢が近いペアの方が1on1の効果が高いと実感している（10歳差あたりが最適と実感）

【目的】 （1）メンバーが「毎日、心身ともに健康で、楽しく、成長しながら働ける」ように、”私が”皆と効果的にコミュニケーションして、良い組織を作り・運営をしていくためには、どのような改善が可能かを確認する （2）メンバーが抱えている、緊急ではないが重要な「気になること」（問題）に対して、”私が”実行できるアクションがないかを確認する 【目的内容の特徴】 １. 部下の成長の促進は目的には含めない 「たったの30分間に部下の成長を促し導くことを、毎回確実に実行するのは無理」

２. 曖昧な内容の文言は目的には含めない 30分程度の会話を月に1、2回追加で実施するだけでは信頼関係は構築できないと実感しています。 そのため、私たちの1on1の場合、信頼関係の構築はその前段階に置かれています。

信頼関係が構築されているからこそ、1on1の実施がより効果的となり、だからこそ1on1が継続され、そして習慣化される

３. 目的は常に「私側（1on1を実施する側）」の行動の改善にある 1on1とは、「メンバーが望む、短期的・中長期的に働きやすい環境を構築するために、私には何ができるのか？」を確認する機会

具体的にどのような会話を行うのか (その1) ・2週間前と比べて、この2週間の心身の健康はどうですか？ ・2週間前と比べて、この2週間はより楽しかったですか？ ・2週間前と比べて、この2週間で成長できたと感じますか？

具体的にどのような会話を行うのか (その1) （2）メンバーが抱えている、緊急ではないが重要な「気になること」（問題）に対して、”私が”実行できるアクションがないかを確認する

1on1の実施スパンは2週間に1度のペースになります。 私たちはスクラム開発をしている期間は2週間スプリントを採用することが多いです。 リファレンスポイントがたとえば3週間や1カ月前など、2週間以上前になると記憶が曖昧になるため、話す内容も曖昧となり、振り返りから詳細さが失われ、1on1の効果が非常に薄れてしまいます 何より、私の改善行動が2週間に1度より遅いペースだと、本当に良い環境を作るのが難しくなる

1on1を実施する側である私は、一切、口をはさむことなく、聞き続け、傾聴し続けるだけです。 私の1on1の時時間は、業務報告のホウレンソウの時間ではないですし、現在進行中の業務の困りごとを相談する場でもないです。 メンバーのキャリヤとその人の働き方、生き方の相談時間です。

５. 1on1の最大の注意点：やり方とあり方 一つ目はダイアログ、対話を大切にすることです。 まずチーム（群れ）が中心にあって、皆のコミュニケーションやチームミーティング、そして対話やモブ・ペアでの作業があり、それらを円滑にするための「枝葉」として個人作業がある

二つ目は、1on1を実施する側の人間が、メンバーから「信頼される人間」を目指すということです。 相手の生命と成長を積極的に気にかけること

コメント

とてもためになる。

出典

効果的で継続される1on1のコツ【2022年版】

[GENZITSU]

Python言語による実務で使える100+の最適化問題

実務で役に立つ100超の最適化問題に対する定式化とPython言語を用いた解決法を紹介しているページ

コメント

最適化マスターになれそう

出典

Python言語による実務で使える100+の最適化問題

[GENZITSU]

時間情報表現抽出とルールベース解析器のこれから

日本語テキストから時間情報をルールベースで抽出するja-timexをいかに実装したかが紹介されているスライド

コメント

テストケースを大量に用意した後に、それを通すように実装するというアプローチは実はAI開発と相性がいいのかもと思った。

出典

時間情報表現抽出とルールベース解析器のこれから

[GENZITSU]

リスク検知SaaSを支えるマルチモーダル・マルチタスクなExplainable AI

JX通信社でサービス展開されているFASTALERTというリスク情報検知サービスにどのようなAIが使われているかの紹介記事。

FASTALERTでは、Deep Learningを使ってSNSの投稿をリアルタイムに解析し、火事や事故などのリスク情報の検知を行っています。

FASTALERTでは、リスク情報を検知して配信するだけでなく、カテゴリー（災害、事件、事故などの区分）まで解析 リスク度の判定＋リスクのカテゴリー予測を１つのモデルでマルチタスクで予想させると、ビジネス的な要件を満たすだけでなく、リスクの検知力自体を上げる効果もあります。

すなわち、入力データはテキストと画像になっており、出力データはリスク検知とカテゴリー（災害、事件、事故などの区分）

SNSを扱う際は絵文字の情報も重要な手がかりになることがおおいので、前処理で消さないようにしているとのこと

詳細な技術の説明は省きますがFASTALARTのAIはこれらの絵文字の情報も取りこぼすことなくリスク検知に役立てることで、情報の検知漏れがないようにしています。

このモデルにはなぜリスクと判定仕方の説明可能性が求められており、attentionを用いた解釈性を提供している

コメント

だいぶ綺麗にattentionがかかっているのに驚いた。 どういうツイートがリスクと判定されているかの定義がきになるところ。

出典

リスク検知SaaSを支えるマルチモーダル・マルチタスクなExplainable AI

[GENZITSU]

コマンドラインでjupyter notebookを実行し、保存結果を漏らさずnotebookにする方法

jupyter nbconvert --to notebook --execute mynotebook.ipynb \
    --output mynotebook2.ipynb --ExecutePreprocessor.timeout=2678400 \
     --allow-errors --debug

--ExecutePreprocessor.timeout は各セルごとの実行時間の許容値
--allow-errorsは途中でエラーがあっても最後まで実行してくれるやつ --debugはどのセルマで実行したかがわかるようになる

例えば以下のようなnotebook

に対して以下を実行してみると

jupyter nbconvert --to notebook --execute test.ipynb --output out.ipynb --ExecutePreprocessor.timeout=30 --allow-errors --debug

以下のように、timeoutに引っかかってout.ipynbすらでない。 timeoutに引っかかったら次のセルに行ってくれるという挙動はしない。

nbclient.exceptions.CellTimeoutError: A cell timed out while it was being executed, after 30 seconds.
The message was: Cell execution timed out.
Here is a preview of the cell contents:
-------------------
time.sleep(60)
-------------------

気を取り直して、timeoutをのばすと (-1やNoneを渡すと無制限になる)

jupyter nbconvert --to notebook --execute test.ipynb --output out.ipynb --ExecutePreprocessor.timeout=90 --allow-errors --debug

こんなのができる

ちなみにtimeoutが発生した場合に次のセルに飛んでもらうこともできる

jupyter nbconvert --to notebook --execute test.ipynb --output out.ipynb --ExecutePreprocessor.timeout=30 --allow-errors --debug --ExecutePreprocessor.interrupt_on_timeout=True

コメント

知らんかった
notebook形式での定期実行というMLEの怠慢が発動できるかもしれない笑

出典

Jupyter notebook をコマンドラインで実行する

[GENZITSU]

[HybridNets] 機械学習で交通物体検出、車線検出 [Python]

本記事では、HybridNetsと呼ばれる機械学習手法を用いて、交通物体検出、運転可能エリアのセグメンテーション、車線検出する方法をご紹介します。

コメント

メモ

出典

[HybridNets] 機械学習で交通物体検出、車線検出 [Python]

[GENZITSU]

Domain Adaptiationではcontrastive learningによるpretrain → labelデータでfine tuningするのがよいらしい

元ツイートから適宜抜粋

Pretraining is ≈SoTA for domain adaptation: just do contrastive learning on all unlabeled data + finetune on source labels. Features are NOT domain-invariant, but disentangle class & domain info to enable transfer.

Conventional methods and theory for UDA focus on learning domain-invariant features. However, we find that contrastive pre-training produces features that are very different for the source and target (easy to distinguish). Why do the features generalize well to the target?

Key insight: though the learned features vary from source to target, they shift along a domain direction—relative positions between features of two classes are invariant. The geometric locations of subpopulations’ embeddings capture their semantic relationship. See Figure.

Key assumption for contrastive learning: the probability that an augmentation changes only the domain of an image (e.g., sketch butterfly -> real butterfly) is higher than the prob. of changing both the domain and the class (e.g., sketch butterfly -> real clock).

コメント

メモ

出典

• 元ツイート
• Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation
• Beyond Separability: Analyzing the Linear Transferability of Contrastive Representations to Related Subpopulations

[GENZITSU]

HuggingSoundによる音声認識モデルのfine-tuning

huggingfaceをベースに作成された音声処理用ライブラリHuggingSoundを用いて日本語音素認識を試してみた記事。
HuggingSound自体はhuggingfaceの公式ではなくリオデジャネイロ大学のGrosmanが個人的に開発しただけの模様。

日本語の音声認識モデルはGrosman氏がこのライブラリを使ってCommon Voice、 CSS10、 JSUTをfine-tuningしたものを公開してくれています

学習には声庭という1000フレーズが収録されているオープンなデータを用いており、 wav2vec2-largeをfinetuningすることで、cec 0.22, wer 0.28程度のスコアを出している (あまり高くない)

ただ、huggingface hubに公開されているctcモデルならなんでも使えるらしく、取り回しは聞きやすそう。

For speech recognition you can use any CTC model hosted on the Hugging Face Hub. You can find some available models here.

コメント

複数の音声系のモデルを一挙に扱えるライブラリは聞いたことがなかったので、便利そう

出典

• HuggingSoundによる音声認識モデルのfine-tuning
• HuggingSound

[GENZITSU]

『日本語日常会話コーパス』

日本語の日常会話が映像＋音声＋テキストの形式で200時間分収録されたコーパスが国立国語研究所から公開

以下は会話の例

アノテーション形式

お値段

コメント

相場感しらないが、2年間で50万円は安くないか？

出典

『日本語日常会話コーパス』

[GENZITSU]

実務で必須！２変数の関連性を正しく評価できるよう関連知識をまとめてみた

相関係数やカッパ係数などの2変数の関連度を評価する指標が網羅的に解説されている資料。

相関係数

相関係数が高い ≠ 因果関係がある

相関係数が0 ≠ 独立

また、サンプルサイズが小さい時の相関係数の信頼区間は思ったよりも大きいものになることに注意

例）日本全国の男性から40人をランダムにピックアップし、身長と体重の相関係数を算出した結果0.7だった。この時の母相関係数の95%信頼区間を求めよ その95%信頼区間は0.48 - 0.83程度

自己相関係数

現在の自分の値が将来の値にどの程度寄与するかの係数

以下のようなコレログラムをって分析することが多い

順位相関係数

特定の分布を仮定しないノンパラメトリックな手法であり、場合によってはよりロバストな指標と言えます。以下、順序尺度を基に算出される指標を挙げていきます。

色々派生系がある スピアマンのρ: 通常の積率相関係数を大きさ順に並び替えた順位を用いて計算する

グッドマン・クラスカルのγ

ケンドールのτ

クロス集計表における関連度合いを示す指標

カッパ係数

両群の特性がどれだけ関連しているかを偶然の一致率から求めるもの

重み付けカッパ係数

各尺度に何らかの順位性がある場合に用いるもの (AをBとまちがえるより、AをCと間違えるのが問題であるとき)

クラメールのν

ユールのQ

リスク比とオッズ比

オッズ比にはサンプリングにバイアスがかかっている場合でも正しく比較できるという特性がある

イメージとしては本来ものすごくCTR（クリックレート）が低いような状況下において、クリックした人100人とクリックしなかった人100人という全くの同数（現実には即さないような割合）でサンプリングしてしまった場合に計算される広告Aのリスク比は本来のものとかけ離れがちなのに対し、オッズ比はそう遠く離れないといった具合です。これはオッズ比が行・列どちらを起点に見ても値が変わらないという便利な性質が大きく関わっています。

MIC

非線形な相関関係を求めるために生み出された指標

上記のように局所的にデータの偏りが見られた場合、例えそれが非線形の関係性であってもMICは高くなる傾向があります。MICは今までの指標のような数式計算ではなくコンピューターを用いた計算が必要になります。計算方法ですが散布図の座標系に対し、相互情報量という数値が最大となるようなグリッドの区切り方を求め、その時の最大値を求めたのち0-1の範囲になるよう標準化した値になります。

コメント

順位相関係数にいろいろな種類があるようだが、何かしらの使い分けはあるのだろうか...?

出典

実務で必須！２変数の関連性を正しく評価できるよう関連知識をまとめてみた

[GENZITSU]

【技術報告】大規模名刺交換ネットワークに基づいた Node2vec の実装ごとの埋め込み結果の比較

Node2vecの実装ではsnapというのが有名だが、メモリ効率があまり良くない

大体実装としてPecanPyというものがあり、実際に試した記事

結果

メモリ効率は1/36以下になっており、計算時間も短い

downstream taskの性能はトントンだが、ネガティブサンプリングの挙動が異なるためにembeddingの出力が異なるようだ

コメント

メモ

出典

【技術報告】大規模名刺交換ネットワークに基づいた Node2vec の実装ごとの埋め込み結果の比較

[GENZITSU]

【採用論文解説】Teacher-forcingによる精度の劣化を緩和する手法

DeepLやgoogle翻訳を超える精度(?)の翻訳が可能なmetaという翻訳アプリをいかにして個人開発したかの連続記事の一つ

Teacher-forcingはseq2seqモデルの学習を行う際に、学習を安定化するためのテクニックとして用いられるが、推論時は必ずしも正しい単語列が入力されないことからexposure biasというものが発生してしまう。

Bridging the Gap between Training and Inference for Neural Machine Translationという論文ではこれを緩和するために、訓練時にteacher forcingとモデルの出力を1-p : pの確率で行う手法を提案。

oracleの選出にはword levelとsentence levelの方法が提案されていて、sentenceの方が良い結果を出している

この手法により、BLEUが0.5%向上し、導入されたとのこと

このような現象は、経験則の範囲内では「ある単語の訳をしない方が翻訳として自然になる」場合に起こりがちな印象ですが、本論文の提案手法の採用により、このエラーの割合が現象しました。meta翻訳で使用しているテストケースにおけるBLEUもおよそ0.5向上し、meta翻訳への導入を決定しました。

コメント

比較的単純なアイデアなのに、効果が出ていてすごい。 音声系の学習にも転用できたりする？
論文自体は2019年のものなので少し古め。

出典

• 【採用論文解説】Teacher-forcingによる精度の劣化を緩和する手法
• Bridging the Gap between Training and Inference for Neural Machine Translation

[GENZITSU]

Beam Decoding with Controlled Patience

Beam Searchを行う際に常に、top-kだけを探すのではなく、top k * p まで保持した上で、beam searchを行う手法の提案

これを行うことで、探索範囲と探索終了条件を分離することができるとのこと。

We introduce the patience factor ( Line 13 , Fig. 1) that relaxes this assumption and separates the stopping criterion from the search breadth.

翻訳タスクにおいては終了条件は大き目に取った方がよく、ようやくタスクにおいては小さめにとる方が良いらしい。

コメント

2022年4月の論文とは思えないシンプルなアイデアですごい改善につながっていて驚く。
似たような手法が提案されているような気もするが、どうなんだろう...?

出典

• Beam Decoding with Controlled Patience
• (github)Beam with Controlled Patience

[GENZITSU]

MoT TechTalk #11 前半 DRIVE CHARTにおけるコンピュータビジョン

次世代AIドライブレコーダーとしてサービス開発されているDRIVE CHARTで用いられているCV技術の紹介

• 消失点検出
• 物体検出モデルの量子化

消失点検出パート

検出した消失点の使い所

人手で消失点をアノテーションするのではなく、レーンの交差点を消失点とするアプローチ

このように作成された消失点を2Dガウシアンヒートマップにすることで、回帰モデルを作成

そのほかの手法よりもこのアプローチが良かったとのこと

量子化パート

量子化では、元々の値の範囲が大きくなるほど、丸め誤差も大きくなってしまう

YOLO V5 バージョン

コメント

相変わらず勉強になる発表ばかり。
物体検出系は量子化しても2倍も早くならないのは、興味深い。

出典

MoT TechTalk #11 前半 DRIVE CHARTにおけるコンピュータビジョン

[GENZITSU]

Data-Centric AIの紹介

とくに Data-Centric AI competitionの解法共有が面白かったので抜粋

コンペの概要

1位解法 (How I Won the First Data-centric AI Competition: Divakar Roy)

Clusters are colored based on their true labels. As can be seen, clustering follows their native label patterns more so with cropping than without and also results in more precise decision boundaries between labels.

augmentation周り

The first augmentation stage included camera distortion methods that allowed us to generate unique shapes by mapping a numeral’s regular, 2D grid onto a grid that is skewed Some other data augmentation techniques we used included scaling and shearing the numerals, and adjusting the gray boundaries around the numerals to simulate brush strokes with varied pressures.

データのクオリティチェック

Data cleanup was done at the following levels – – Manual inspection to correct labels on raw data. – Remove similar shaped cases among data-augmented images from section 3.1. – Remove ambiguous cases using manual inspection among noise overlaid images from section 3.2.

2位解放(How We Won the First Data-Centric AI Competition: Innotescus)

データのセット内の特徴量がバランスしていることが重要だった模様
そこで各クラスをembeddingベースでサブクラスにクラスタリングして、比率が同じになるようにaugmentationを実施

The two submissions contained the same data, just split differently between training and validation (80:20 and 88:12 respectively). We saw that the addition of 800 images to the training set actually reduced the accuracy on the test set by about 1.5%. After this, our approach shifted from “more data” to “more balanced data.”

We then further explored clusters within each uppercase and lowercase subset. We subdivided each case into 3 clusters using K-means clustering on the PCA-reduced ResNet-50 embeddings. Once we had these clusters (shown below), we simply balanced each of the sub-clusters with augmented images resulting from translation, scale and rotation.

エッジケースをvalidationとtrainに均等に入れ込むためのテクニックが印象的である

we studied the histogram distribution of the difficulty score for each class in the training dataset, and matched its distribution in the validation set. Matching the training and validation difficulty scores was the best way to avoid over- or underfitting to the training dataset, and ensure optimal model performance.

3位解放(How We Won the First Data-Centric AI Competition: Synaptic-AnN)

テストデータにしかない文字スタイルを訓練に入れるために、テストデータの一部をコピペしてデータを作成する

特別賞1位 (How I Won the First Data-centric AI Competition: Mohammad Motamedi)

paper形式でもまとめられている (A Data-Centric Approach for Training Deep Neural Networks with Less Data)

For data augmentation, we used random rotation with a factor of 0.05, random contrast change with a factor of 0.5, random translation with a range of 20% of image dimensions, random pen-stroke like black spots, random white spots, and finally, random dashed lines with various lengths and orientations.

特別賞2位(How I Won the First Data-centric AI Competition: Johnson Kuan)

別のブログ記事に詳説がある模様([How I Won Andrew Ng’s First Data-Centric AI Competition ]https://medium.com/@johnson.h.kuan/how-i-won-andrew-ngs-very-first-data-centric-ai-competition-e02001268bda?sk=e239d8bc2a219a269e8939a0d14f6290)

ベースラインモデルの学習結果をspreadsheet形式にするプログラムを作成して目視チェックの効率を向上

validationデータの中でミスったデータと似た画像をaugmentationした画像から探すことの有用性は以下の2次元マップから確認できる

特別賞3位(How We Won the First Data-centric AI Competition: GoDataDriven)

特別賞2と同じでspreadsheetでデータチェックを行っている。

可視化系のツールをふんだんに使った面白い解放

コメント

どの上位チームもデータの目視確認をしていたのだが、その方法自体はまだまだ効率化されていない印象がある。
特別賞1位の解法は、iterativeにデータの目視確認をしていくという意味では効率的な部類に入るのかも。

今回は画像分類のコンペだったけど、今後自然言語や、マルチラベルとかのコンペも開かれるのを切に願う

出典

Data-Centric AIの紹介

[GENZITSU]

Add clear explanation about the influence of Anaconda’s Terms of Service to Studio Lab conda environment to FAQ

awsのsagemaker studio labのconda環境はmini-forgeで構築されているのでanacondaの商用利用ライセンスには抵触しないとのこと

コメント

メモ

出典

Add clear explanation about the influence of Anaconda’s Terms of Service to Studio Lab conda environment to FAQ

[GENZITSU]

2022年度も進化するPLATEAU！ LOD2モデル作成のAI化やゲームエンジンとの連携も

地方自治体などが都市や地形の3Dデータをオープンソース化し、無料公開する例が増えていますが、その“大本山”とも言えるのが、国土交通省が開発し2021年3月に公開した3D都市モデル「PLATEAUプラトー」です。

このほか、PLATEAUの都市データの利用やデータ登録をスムーズに行うために、ビューワーの機能追加や、UnityやUnreal Engineなどのゲームエンジン向けのSDKの開発も行われます。

コメント

メモ

出典

• 2022年度も進化するPLATEAU！ LOD2モデル作成のAI化やゲームエンジンとの連携も
• PLATEAU

[GENZITSU]

simple-onnx-processing-tools

onnxを改造する際の基本ツールがgithubにて公開されている。

コメント

メモ

出典

simple-onnx-processing-tools

[GENZITSU]

「システム運用アンチパターン」を一読したので、その要点（特に薦めたい感想5点）

コメント

もうちょい運用に深く関わるようになったらちゃんと読みたい

出典

「システム運用アンチパターン」を一読したので、その要点（特に薦めたい感想5点）

[GENZITSU]

日本総研の経営コラムがなかなかすごい

先端技術の調査が技術概要、政策動向、市場同行、活用技術、メリデメなどを網羅した形で展開されている。

コメント

すげぇ

出典

日本総研の経営コラム