xiegx94
commented
1 year ago This PR provides 2 ways to support multi-arch dispatch: dispatch at compile (static dispatch) and dispatch at runtime (dynamic dispatch). Dynamic dispatch is implemented by using gcc/clang multiversioning-functions, which causes these function cannot be inlined when compile and the performance will be worse.
The structure of arch folder
├── avx2
│ ├── base.h
│ ├── itoa.h
│ ├── quote.h
│ ├── simd.h
│ ├── skip.h
│ ├── str2int.h
│ └── unicode.h
├── common
│ ├── quote_common.h
│ ├── quote_tables.h
│ ├── skip_common.h
│ ├── unicode_common.h
│ └── x86_common
│ ├── itoa.h
│ ├── quote.inc.h
│ └── skip.inc.h
├── neon
│ ├── base.h
│ ├── itoa.h
│ ├── quote.h
│ ├── simd.h
│ ├── skip.h
│ ├── str2int.h
│ └── unicode.h
├── simd_base.h
├── simd_dispatch.h
├── simd_itoa.h
├── simd_quote.h
├── simd_skip.h
├── simd_str2int.h
├── sonic_cpu_feature.h
├── sse
│ ├── base.h
│ ├── itoa.h
│ ├── quote.h
│ ├── simd.h
│ ├── skip.h
│ ├── str2int.h
│ └── unicode.h
├── target_macro.h
└── x86_ifuncs
├── base.h
├── ifunc_macro.h
├── itoa.h
├── quote.h
├── skip.h
└── str2int.hHow to add a new function
If you want to add a new simd function which is called foo, then, you should follow below steps:
- implement foo for every arch, such as:
namespace sonic_json { namespace internal { namespace avx2 {
void foo() { return; }
} // namespace avx2 } // namespace internal } // namespace sonic_json
2. provide dynamic dispatch functions for x86 (or others platform)
```c++
namespace sonic_json {
namespace internal {
__attribute__((target(HASWELL))) inline void foo() { return avx2::foo(); }
__attribute__((target(WESTMERE))) inline void foo() { return sse::foo(); }
__attribute__((target("default"))) inline void foo() { return sse::foo(); }
}
}- If you want implement
fooin a new header filefoo.h, you should provide such file for every arch and x86_ifuncs. then add a new filesimd_foo.hin arch floder:#pragma once
include "simd_dispatch.h"
include INCLUDE_ARCH_FILE(foo.h)
namespace sonic_json { namespace internal {
SONIC_USING_ARCH_FUNC(foo);
} }
# How to add a new architecture
If there is a new architecture named `Y86`, you should do:
1. write a new rule to detect `Y86` macro ( provide by gcc/clang) in `sonic_cpu_feature.h`
```c++
#if defined(__Y86__)
#define SONIC_HAVE_Y86
#endif- write a new rule about how to dispatch in
simd_dispatch.h#if defined(SONIC_STATIC_DISPATCH) #if defined(SONIC_HAVE_Y86) #define SONIC_USING_ARCH_FUNC(func) using Y86::func #define INCLUDE_ARCH_FILE(file) SONIC_STRINGIFY(Y86/file) #endif #elif defined(SONIC_DYNAMIC_DISPATCH) #if defined(SONIC_HAVE_Y86) #define SONIC_USING_ARCH_FUNC(func) #define INCLUDE_ARCH_FILE(file) SONIC_STRINGIFY(y86_ifuncs/file) #endif #endif - create y86 folder and implement all simd functions
- create y86 folder and implement all multiversioning-functions.
sonic 的多架构设计同时支持在编译期间选择指定的指令和在运行时根据运行的平台选择合适的指令。同时支持两种方式是因为在运行时抉择会让使用 simd 的函数/接口无法在编译期间 inline，这会引起一些性能下降。
arch 目录结构
├── avx2
│ ├── base.h
│ ├── itoa.h
│ ├── quote.h
│ ├── simd.h
│ ├── skip.h
│ ├── str2int.h
│ └── unicode.h
├── common
│ ├── quote_common.h
│ ├── quote_tables.h
│ ├── skip_common.h
│ ├── unicode_common.h
│ └── x86_common
│ ├── itoa.h
│ ├── quote.inc.h
│ └── skip.inc.h
├── neon
│ ├── base.h
│ ├── itoa.h
│ ├── quote.h
│ ├── simd.h
│ ├── skip.h
│ ├── str2int.h
│ └── unicode.h
├── simd_base.h
├── simd_dispatch.h
├── simd_itoa.h
├── simd_quote.h
├── simd_skip.h
├── simd_str2int.h
├── sonic_cpu_feature.h
├── sse
│ ├── base.h
│ ├── itoa.h
│ ├── quote.h
│ ├── simd.h
│ ├── skip.h
│ ├── str2int.h
│ └── unicode.h
├── target_macro.h
└── x86_ifuncs
├── base.h
├── ifunc_macro.h
├── itoa.h
├── quote.h
├── skip.h
└── str2int.havx2, sse, neon。特定架构下的 simd 实现代码 common, 通用的一些实现 x86_ifuncs x86 平台动态 dispatch 代码
如何添加新的函数
- 在每个 arch 下添加新的函数，如：
namespace sonic_json { namespace internal { namespace avx2 {
void foo() { return; }
} // namespace avx2 } // namespace internal } // namespace sonic_json
5. 在 x86_ifunc 下添加 x86 动态 dispatch 支持：
```c++
namespace sonic_json {
namespace internal {
__attribute__((target(HASWELL))) inline void foo() { return avx2::foo(); }
__attribute__((target(WESTMERE))) inline void foo() { return sse::foo(); }
__attribute__((target("default"))) inline void foo() { return sse::foo(); }
}
}- （可选）如果添加了新的头文件，则在 arch 下添加 simd_foo.h，在各 arch 下添加 foo.h 文件。simd_foo 如下：
#pragma once
include "simd_dispatch.h"
include INCLUDE_ARCH_FILE(foo.h)
namespace sonic_json { namespace internal {
SONIC_USING_ARCH_FUNC(foo);
} }
# 如何添加新的架构
假如有个新的架构叫Y86，需要在 sonic 中添加其 simd 支持，则：
1. 在 sonic_cpu_feature.h 中检测Y86的宏:
```c++
#if defined(__Y86__)
#define SONIC_HAVE_Y86
#endif- 在 simd_dispatch 中添加 dispatch 规则
#if defined(SONIC_STATIC_DISPATCH) #if defined(SONIC_HAVE_Y86) #define SONIC_USING_ARCH_FUNC(func) using Y86::func #define INCLUDE_ARCH_FILE(file) SONIC_STRINGIFY(Y86/file) #endif #elif defined(SONIC_DYNAMIC_DISPATCH) #if defined(SONIC_HAVE_Y86) #define SONIC_USING_ARCH_FUNC(func) #define INCLUDE_ARCH_FILE(file) SONIC_STRINGIFY(y86_ifuncs/file) #endif #endif - 添加 y86 文件夹，添加所有的 simd 函数的 y86 实现
- 添加 y86_ifuncs 文件夹，添加 y86 的 multiversioning-function 实现
codecov-commenter
liuq19
Main changes