【1/N】 Performance Improvements in .NET 8

配信URL: https://www.youtube.com/watch?v=kCG8I8Vo5_o

前回、どう見ても時間なくて、ほとんど触れなかったやつ、「これだけで1回配信するか」という話になったので。

恒　例　行　事

https://devblogs.microsoft.com/dotnet/performance-improvements-in-net-8/

JIT
- Dynamic PGO がデフォルトでon (6, 7ではデフォルト off)
- これを機に、PGO の詳細な説明あり
- 注意: devirtualize かかりやすくなったといっても「IList を List に変えれば早い」みたいな手動最適化はまだ有効
- Vectorize
- ハードウェア未対応のとき Vectro256 を Vector128 を使って実装
- AVX512 対応
- 「今使っているこのマシンはAVX512に対応していないが、Dev Boxで対応してるインスタンス立ててそれ使って動作確認」とか言ってる
- ulong から double への変換とかもむっちゃ速く(AVX512 にそういう命令ありそう)
- 分岐削減
- i >= 0 && j >= 0; を (i | j) >= 0 に置き換えたり
- 条件付き命令(ストール起こさない)使ったり
- x ? 1 : 0 の類が「false/trueが内部的に0/1」を使って素通しに
- 配列の境界チェック削除できるパターン増えた
- array[i % array.Length]
- s.Length >= N && s[^N]
- 定数折り畳み
- const / static readonly フィールドの string, 配列の長さ・要素を定数扱い
- new DateTime(2023, 9, 1) みたいなのが(long Ticks の定数に)折りたたまれるように
- Non-GC Heap
- GC の対象にならないヒープ領域を導入 → 関節参照を1回減らせる、トラッキングが減る
- const string とか typeof(T) とか Array.Empty の置き場に
- 0 初期化
- 0初期化も vertorize、一定長超えると素直に memset
- 値型
- promotion: 構造体の必要に応じて一部分だけ読み込みしたりする最適化
- .NET 7時点では4フィールド以下の構造体だけ対応、.NET 8で改善
- List<T>.Enumerator とかが改善の対象に
- キャスト
- T が sealed のときの is T[] が高速に(共変チェックを削れる)
- Native AOT
- ただの Hello World、.NET 7で13MBくらいだったのが .NET 8 で 1.5MB に
VM (runtime のうち、GC、JIT以外のところ、型ローダーとか)
GC
- dynamic heap count
Mono
スレッド
- ThreadStatic のアクセス高速化
- AOT で ThreadPool 利用時、Portable 実装か Windows 固有実装かを選べるように
- Task
- 同期的に定数を返す非同期メソッド(async Task<int> X() => 0; とか)が、キャッシュされた Task<T> を返す
- AsyncStateMachineBox からいくつかフィールド削ったり(Task クラスに非同期メソッドでは使わないフィールドがあるのでそれを流用)
- ConfigureAwaitOptions
  - Task.Run するより await CompletedTask.ConfigureAwait(ForceYielding)
- Parallel

=========== ここまでで終わった ===========

Exceptions
- .NET 6 のときの ArgumentNullException.ThrowIfNull みたいなの、いくつか追加
- .NET 7: ArgumentException.ThrowIfNullOrEmpty, ObjectDisposedException.ThrowIf
- .NET 8: ArgumentException.ThrowIfNullOrWhiteSpace, ArgumentOutOfRangeException
- 例外を出す部分は別メソッドに分離してる方が、そのほかの部分のインライン展開とか聞きやすくて有利
- 同様の if → throw を自分で書くよりも、この手のメソッド呼ぶ方が速そう
  - if を置き換える code fix も提供されてる
Reflection
- キャッシュ持つようになって、GetCustomAttributes とかのパフォーマンス改善
- GetGenericTypeDefinition
- MethodBase.Invoke、計算にコストかかる部分をキャッシュ
Primitives
- Enums
- Enum.GetValues用の値、ulongで持ってたのをgenericにしてunderlying typeの配列に変更
- enum値が0からの連番の時の最適化(検索挟まず、ただの配列アクセスする)パス追加
- ISpanFormattable になったりで文字列補間が高速に
- Numbers
- Format時の桁数計算、テーブルを使って分岐をなくした
- 10で割って各桁 → 100で割って2桁ずつに変更
- 0.ToString() とかでテーブルから "0" を返してたの、0～9までだったのを 0～299 までで同じことやるように
- b フォーマット(ToString("b") で2進数文字列化)
- IUtf8SpanFormattable (ISpanFormattable と実装共有しててパフォーマンスほぼ一緒、共有化で CoreLib が2000行減った)
- MMM (月名)とかのとき、InvariantCulture 用(jan ～ dec 決め打ち)最適化
- めったに使わないデータの遅延初期化
- DateTime
- s とか u フォーマット用の専用ルーチン実装
- Guid
- Random
- 剰余演算を乗算+シフトで代用するアルゴリズム導入
Strings, Arrays, and Spans
- UTF8
- IUtf8SpanFormattable
- Utf8.TryWrite が C# 10 の文字列補間ハンドラーを使って高速化
- 定数文字列の UTF-8 エンコードを intrinsics 化して JIT 時最適化
- 結果、 Span<char> TryFormat と Utf8.TryFormat がほぼ同パフォーマンス
- ASCII
- System.Text.Ascii クラス
- Base64
- Hex
- String Formatting
- CompositeFormat 書式を最初に1回だけパースしておいて、以後の Format を高速に
- Spans
- Span 向けの Replace, Split, SplitAny
- IndexOfAnyInRange, IndexOfAnyExceptInRange
- プリミティブだけで構成された構造体の Span の SequenceEqual が bitwise 比較(box 回避 + vectorize)されるように
- MemoryMarshal.ToEnumerable が「中身が配列 or string のときの最適化」でだいぶ高速に
- SearchValues
- Stephen 曰く「Dynamic PGO の次に熱い」
- IndexOfAny は渡す文字セットによって最適なアルゴリズムが違うし、アルゴリズムで使うデータ構造も違うので、それを初期化時に判定・データ構築して以後の検索を高速に
  - ブルームフィルターってアルゴリズムで使う確率マップとか
  - JSON とか URL エスケープとか、Span EnumerateLines が高速に
- Regex
- 上記 IndexOf 亜種とか SearchValues を使うように
- Hashing
- Initialization
- 1バイトデータ型以外で ReadOnlySpan 最適化かかるように(RuntimeHelpers.CreateSpan 利用)
- DaysToMonth365 とかが高速に
- Analyzers
- IndexOf() == 0 → StartsWith
- StartsWith(1文字 string) → StartsWith(char)
- ToUpperInvariant().StartsWith → StartsWith(, OrdinalIgnoreCase)
Collections
- General
- 空コレクションの GetEnumerator がシングルトンを返す
- List
- List.AddRange 高速化、AddRange(ReadOnllySpan) 追加
- SetCount (CollectionsMarshal.AsSpan 前に事前に List のサイズ変更できるように)
- LINQ
- 上記 SetCount 大活躍(ToList とか)
- Order とかで、元の位置に区別がつかない型の場合に不安定ソート使うように
- OrderBy とかで、キーが値型の時の専用パス追加
- Dictionary
- KeyValuePair 用 ToDictionary
- ContainsKey → Add してるコードを TryAdd に書き換えるアナライザー
- string.GetHashCode のランダム化を、衝突が大きくなりすぎるまではやらない(わざと衝突を狙うDOS攻撃手法がある)
- Frozen Collections
- 初期化時にコストかけて最適なアルゴリズムに分岐して、その後の read を高速に
- 今ある Immutable 系コレクションは「Add するときは新インスタンス作って、元のインスタンスは不変」前提で Add が速い(Read はちょっと遅い)
- Frozen は「初期が後に Add することは考えず、その時点のキーを元に最適な構造を作る」(Read が速い)
- 文字列キーだと Length-based 分岐とかやってる(要素が一定数以下の時だけ)
- 整数キーなら値そのものをハッシュ値にする
- Immutable Collections
- ImmutableArray に、内部で新規配列 new しない、外から渡された配列をそのまま所有する ImmutableCollectionsMarshal.AsImmutableArray 追加
- ImmutableList.Create に ReadOnlySpan オーバーロード
- BitArray
- HasAnySet, HasAllSet
- Collection Expressions
File I/O
- async-over-sync になっちゃってる非同期メソッドがちゃんとキャンセルかかるように
- Path.GetTempFileName、Windows で (Win32 の) GetTempFileNameW (生成したパスが衝突しやすいらしい)を使うのやめた
- Path.GetFileName、LastIndexOfAny のおかげで速く
- GetFolderPath(SpecialFolder.System) より SystemDirectory の方が速いらしく、それに切り替えたコードあり
- TextWriter.Null (/dve/null 的なことしたいときに Console.SetOut(TextWriter.Null) とかやる)
Networking
- Networking Primitives
- IPv6 アドレス、Vector128 を利用して高速化
- IPAddress も ISpanFormattable/IUtf8SpanFormattable に
- Sockets
- Windows で ReceiveFromAsync 時に GCHandle で Pin する量を減らした
- SendTo とかに SocketAddress を受け取るオーバーロード追加
- TLS
- SslStream アロケーション削減
- Read バッファーに十分なデータがないとき、一度 0 バイト Read を挟む (この方が Pin 頻度が減る)
- HTTP
- IndexOfAny, Span, ArrayPool 利用
- long? をやめて「無効な時は負数入れとく」みたいなことやってメモリ節約
JSON
- 汎用 DeserializeAsync が JSON Source Generator が生成した Handler をちゃんと呼ぶように
Crytography
Logging
- LoggerFactory.CreateLogger のキャッシュ管理を Dictionary → ConcurrentDictionary で lock 低減
- LoggerMessage.Define が CompositeFormat を使うように
Configuration
- ConfigurationBuilder.Bind が source generator (interceptor) 利用に
- OptionsValidator も source generator
Peanut Butter
- MemoryStream.GetBuffer 活用
- Substring → AsSpan/Slice
- stackalloc, ArrayPool で配列アロケーション削除
- SafeHandle やめて単に try-catch で生ハンドル操作
- string の + を文字列補間に
- .UTF8.GetBytes を u8 リテラルに
What’s Next?

ufcpp-live / UfcppLiveAgenda

【1/N】 Performance Improvements in .NET 8 #78