Tokenizer is slow - Githubissues

Summary

The current implementation of Tokenizer is slower than html5ever. I believe that it can become as fast as html5ever.

The current benchmark results

From #59

Running on the M1 Mac mini that runs Fedora 39 aarch64 (Asahi Linux).

🐢 lipsum: 54.15x slower than html5ever
🐢 lipsum-zh: 20.87x slower than html5ever
🐢 medium-fragment: 11.46x slower than html5ever
🐢 small-fragment: 19.12x slower than html5ever
🐢 tiny-fragment: 5.34x slower than html5ever
🐢 strong: 5.50x slower than html5ever

zyphy:

$ swift --version
Swift version 6.0-dev (LLVM ef51a35f858944e, Swift f36098a14a0d48b)
Target: aarch64-unknown-linux-gnu
$ swift package --package-path Benchmarks benchmark

==================
Running Benchmarks
==================

100% [------------------------------------------------------------] ETA: 00:00:00 | MyBenchmark:lipsum
100% [------------------------------------------------------------] ETA: 00:00:00 | MyBenchmark:lipsum-zh
100% [------------------------------------------------------------] ETA: 00:00:00 | MyBenchmark:medium-fragment
100% [------------------------------------------------------------] ETA: 00:00:00 | MyBenchmark:small-fragment
100% [------------------------------------------------------------] ETA: 00:00:00 | MyBenchmark:strong
100% [------------------------------------------------------------] ETA: 00:00:00 | MyBenchmark:tiny-fragment

===================================================
Baseline 'Current_run'
===================================================

Host 'Brown-rhinoceros-beetle' with 8 'aarch64' processors with 7 GB memory, running:
#1 SMP PREEMPT_DYNAMIC Sun Mar 24 19:44:17 UTC 2024

===========
MyBenchmark
===========

lipsum
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │     775 │     775 │     776 │     782 │     783 │     786 │     786 │      78 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

lipsum-zh
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │     153 │     153 │     153 │     154 │     155 │     159 │     160 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

medium-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │     357 │     357 │     357 │     358 │     364 │     365 │     368 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

small-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      58 │      58 │      58 │      58 │      58 │      62 │      62 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

strong
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │     100 │     100 │     100 │     100 │     101 │     106 │     106 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

tiny-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │    1599 │    1602 │    1605 │    1715 │    1814 │    1979 │    1980 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

html5ever (1ae2de3a1796a9b52a804a02039c6c1499e2f461):

$ cargo --version
cargo 1.77.2 (e52e36006 2024-03-26)
$ cargo bench
    Finished bench [optimized] target(s) in 0.02s                                                                                                                                       
     Running unittests src/lib.rs (/home/kebo/html5ever/target/release/deps/html5ever-7830d7536019e374)                                                                                 

running 9 tests                                                                                                                                                                         
test tokenizer::test::check_lines ... ignored                                                                                                                                           
test tokenizer::test::check_lines_with_new_line ... ignored                                                                                                                             
test tokenizer::test::push_to_None_gives_singleton ... ignored                                                                                                                          
test tokenizer::test::push_to_empty_appends ... ignored                                                                                                                                 
test tokenizer::test::push_to_nonempty_appends ... ignored                                                                                                                              
test util::str::test::lower_letter_A_is_a ... ignored                                                                                                                                   
test util::str::test::lower_letter_a_is_a ... ignored                                                                                                                                   
test util::str::test::lower_letter_nonascii_is_None ... ignored                                                                                                                         
test util::str::test::lower_letter_symbol_is_None ... ignored                                                                                                                           

test result: ok. 0 passed; 0 failed; 9 ignored; 0 measured; 0 filtered out; finished in 0.00s                                                                                           

     Running benches/html5ever.rs (/home/kebo/html5ever/target/release/deps/html5ever-2692e4c685e13aa1)                                                                                 
Gnuplot not found, using plotters backend                                                                                                                                               
html tokenizing lipsum.html                                                                                                                                                             
                        time:   [14.285 µs 14.330 µs 14.387 µs]                                                                                                                         
                        change: [-0.4645% -0.0463% +0.3596%] (p = 0.83 > 0.05)                                                                                                          
                        No change in performance detected.                                                                                                                              
Found 15 outliers among 100 measurements (15.00%)                                                                                                                                       
  3 (3.00%) high mild                                                                                                                                                                   
  12 (12.00%) high severe                                                                                                                                                               

html tokenizing lipsum-zh.html                                                                                                                                                          
                        time:   [7.3118 µs 7.3312 µs 7.3563 µs]                                                                                                                         
                        change: [-0.2412% +0.1385% +0.5216%] (p = 0.49 > 0.05)                                                                                                          
                        No change in performance detected.                                                                                                                              
Found 11 outliers among 100 measurements (11.00%)                                                                                                                                       
  1 (1.00%) high mild                                                                                                                                                                   
  10 (10.00%) high severe                                                                                                                                                               

html tokenizing medium-fragment.html
                        time:   [31.061 µs 31.141 µs 31.250 µs]
                        change: [-0.3174% +0.0544% +0.4588%] (p = 0.77 > 0.05)
                        No change in performance detected.
Found 18 outliers among 100 measurements (18.00%)
  6 (6.00%) high mild
  12 (12.00%) high severe

html tokenizing small-fragment.html
                        time:   [3.0237 µs 3.0337 µs 3.0455 µs]
                        change: [+0.3064% +0.6608% +1.0970%] (p = 0.00 < 0.05)
                        Change within noise threshold.
Found 13 outliers among 100 measurements (13.00%)
  8 (8.00%) high mild
  5 (5.00%) high severe

html tokenizing tiny-fragment.html
                        time:   [299.64 ns 300.56 ns 301.71 ns]
                        change: [-0.6318% -0.2531% +0.1055%] (p = 0.19 > 0.05)
                        No change in performance detected.
Found 11 outliers among 100 measurements (11.00%)
  5 (5.00%) high mild
  6 (6.00%) high severe

html tokenizing strong.html
                        time:   [18.107 µs 18.179 µs 18.269 µs]
                        change: [+0.0617% +0.6264% +1.1502%] (p = 0.03 < 0.05)              
                        Change within noise threshold.
Found 7 outliers among 100 measurements (7.00%)
  7 (7.00%) high mild

I found that the speed varied greatly depending on the input type. Deque<Unicode.Scalar> is 8x faster than Deque<Character>. This might be because of the size of types. Character is 16 bytes while Unicode.Scalar is only 4 bytes.

==================
Running Benchmarks
==================

100% [------------------------------------------------------------] ETA: 00:00:00 | MyBenchmark:lipsum
===================================================
Comparing results between 'main' and 'Current_run'
===================================================

Host 'Brown-rhinoceros-beetle' with 8 'aarch64' processors with 7 GB memory, running:
#1 SMP PREEMPT_DYNAMIC Wed Apr 24 00:11:34 UTC 2024

MyBenchmark
============================================================================================================================

----------------------------------------------------------------------------------------------------------------------------
lipsum metrics
----------------------------------------------------------------------------------------------------------------------------

╒══════════════════════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│         Time (wall clock) (μs) *         │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│                   main                   │     775 │     775 │     776 │     782 │     783 │     784 │     784 │      78 │
├──────────────────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│               Current_run                │      96 │      96 │      96 │      96 │      97 │     103 │     103 │     100 │
├──────────────────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│                    Δ                     │    -679 │    -679 │    -680 │    -686 │    -686 │    -681 │    -681 │      22 │
├──────────────────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│              Improvement %               │      88 │      88 │      88 │      88 │      88 │      87 │      87 │      22 │
╘══════════════════════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

There is no difference between Deque<UInt32> and Deque<Unicode.Scalar>.

Even if Tokenizer.tokenize is simple such as the following code, it takes about 80 µs while html5ever takes only 14.330 µs.

    public mutating func tokenize(_ input: inout Deque<Unicode.Scalar>) {
        repeat {
            switch input.popFirst() {
            case nil: self.emitEOF(); return
            case let c?: self.emit(c)
            }
        } while true
    }

This takes 36 µs. Therefore, all self.emit(c)s seem to take 44 µs.

    public mutating func tokenize(_ input: inout Deque<Unicode.Scalar>) {
        repeat {
            switch input.popFirst() {
            case nil: self.emitEOF(); return
            case let c?: ()
            }
        } while true
    }

This takes 56 µs.

    public mutating func tokenize(_ input: inout Deque<Unicode.Scalar>) {
        for c in input {
            self.emit(c)
        }
        self.emitEOF()
    }

This takes 80 µs. Therefore, all popFirst()s are 24 µs slower than all next()s.

    public mutating func tokenize(_ input: inout Deque<Unicode.Scalar>) {
        while let c = input.popFirst() {
            self.emit(c)
        }
        self.emitEOF()
    }

The latest result (0a875dd273714332af0f544632491b6c131b3d65) is like:

$ swift --version
Swift version 6.0-dev (LLVM 7b8e6346027d2b1, Swift 763421cee31dc8f)
Target: aarch64-unknown-linux-gnu
$ swift package --package-path Benchmarks benchmark
...

===================================================
Baseline 'Current_run'
===================================================

Host 'Brown-rhinoceros-beetle' with 8 'aarch64' processors with 7 GB memory, running:
#1 SMP PREEMPT_DYNAMIC Wed Apr 24 00:11:34 UTC 2024

===========
MyBenchmark
===========

lipsum
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      92 │      92 │      93 │      93 │      93 │      99 │      99 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

lipsum-zh
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      11 │      11 │      11 │      11 │      12 │      12 │      12 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

medium-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │     129 │     129 │     129 │     129 │     130 │     137 │     138 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

small-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      16 │      16 │      16 │      16 │      17 │      18 │      18 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

strong
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      39 │      39 │      39 │      39 │      39 │      42 │      42 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

tiny-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │     484 │     487 │     495 │     521 │     561 │     564 │     564 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

The latest result (5ff6580b4587e8107576393e5046f4863ea3c58c)

$ swift --version
Swift version 6.0-dev (LLVM 7b8e6346027d2b1, Swift 763421cee31dc8f)                                                                                                                                                 
Target: aarch64-unknown-linux-gnu                                                                                                                                                                                   
$ swift package --package-path Benchmarks benchmark
...

===================================================
Baseline 'Current_run'
===================================================

Host 'Brown-rhinoceros-beetle' with 8 'aarch64' processors with 7 GB memory, running:
#1 SMP PREEMPT_DYNAMIC Wed Apr 24 00:11:34 UTC 2024

===========
MyBenchmark
===========

lipsum
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      53 │      53 │      53 │      53 │      53 │      56 │      56 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

lipsum-zh
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │    6558 │    6562 │    6566 │    6627 │    6791 │    6955 │    7031 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

medium-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │     123 │     123 │     123 │     123 │     124 │     131 │     131 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

small-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      15 │      15 │      15 │      15 │      15 │      16 │      16 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

strong
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      39 │      39 │      39 │      39 │      39 │      42 │      42 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

tiny-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │     405 │     425 │     436 │     470 │     501 │     505 │     507 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

Ideas

Deque<Unicode.Scalar> to ArraySlice<Unicode.Scalar>
repeat { ... } while true to while let c = ... { ... }
skip getChar's validations as much as possible

The latest result is here.

✅ lipsum: almost as fast as html5ever
⚡️ lipsum-zh: faster than html5ever
🐢 medium-fragment: 4x slower than html5ever
🐢 small-fragment: 5x slower than html5ever
🐢 tiny-fragment: 1.6x slower than html5ever
🐢 strong: 2.4x slower than html5ever

ef53e16198a7e3f0fc33236fc7a579780f1071fd

✅ lipsum: 1.19x slower than html5ever
⚡️ lipsum-zh: 3.31x faster than html5ever
🐢 medium-fragment: 1.98x slower than html5ever
🐢 small-fragment: 1.96x slower than html5ever
🐢 tiny-fragment: 1.76x slower than html5ever
🐢 strong: 1.87x slower than html5ever

===================================================
Baseline 'main'
===================================================

Host 'Brown-rhinoceros-beetle' with 8 'aarch64' processors with 7 GB memory, running:
#1 SMP PREEMPT_DYNAMIC Wed Apr 24 00:11:34 UTC 2024

===========
MyBenchmark
===========

lipsum
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      17 │      17 │      17 │      17 │      18 │      19 │      19 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

lipsum-zh
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │    2135 │    2150 │    2216 │    2226 │    2294 │    2312 │    2317 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

medium-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      62 │      62 │      62 │      62 │      65 │      66 │      66 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

small-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │    5903 │    5927 │    5960 │    6078 │    6140 │    6291 │    6369 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

strong
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      34 │      34 │      34 │      34 │      36 │      37 │      41 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

tiny-fragment
╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │     496 │     517 │     534 │     616 │     672 │     730 │     733 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

254d99e75a382ed1ef68d6e12857c3b53400d3ab

✅ lipsum: 1.19x slower than html5ever
⚡️ lipsum-zh: 3.45x faster than html5ever
🐢 medium-fragment: 1.61x slower than html5ever
🐢 small-fragment: 1.78x slower than html5ever
🐢 tiny-fragment: 1.91x slower than html5ever
🐢 strong: 1.27x slower than html5ever

c26fa2c4e0dd163c91b4a54c65255586e6067c05

✅ lipsum: 1.12x slower than html5ever
⚡️ lipsum-zh: 3.50x faster than html5ever
🐢 medium-fragment: 1.57x slower than html5ever
🐢 small-fragment: 1.75x slower than html5ever
🐢 tiny-fragment: 1.79x slower than html5ever
✅ strong: 1.21x slower than html5ever

Baseline 'main'

Host 'Brown-rhinoceros-beetle' with 8 'aarch64' processors with 7 GB memory, running:
#1 SMP PREEMPT_DYNAMIC Fri May 17 17:22:13 UTC 2024

MyBenchmark

lipsum

╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      15 │      16 │      16 │      16 │      17 │      17 │      17 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

lipsum-zh

╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │    2085 │    2093 │    2095 │    2101 │    2183 │    2431 │    2431 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

medium-fragment

╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      49 │      49 │      49 │      49 │      50 │      52 │      53 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

small-fragment

╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │    5272 │    5288 │    5321 │    5468 │    5505 │    5659 │    5659 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

strong

╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (μs) * │      22 │      22 │      22 │      22 │      23 │      24 │      24 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

tiny-fragment

╒══════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric                   │      p0 │     p25 │     p50 │     p75 │     p90 │     p99 │    p100 │ Samples │
╞══════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Time (wall clock) (ns) * │     516 │     520 │     538 │     559 │    1048 │    1115 │    1116 │     100 │
╘══════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛

3652aea9d7f2a75fc6acafddaa2d8c302cfc3a5e

✅ lipsum: 1.02x faster than html5ever
⚡️ lipsum-zh: 4.53x faster than html5ever
🐢 medium-fragment: 1.41x slower than html5ever
🐢 small-fragment: 1.53x slower than html5ever
🐢 tiny-fragment: 1.68x slower than html5ever
✅ strong: 1.10x slower than html5ever

(generated by https://gist.github.com/kkebo/daf0592475542c8aef24c70235cd988e)

Baseline 'main'

Host 'Brown-rhinoceros-beetle' with 8 'aarch64' processors with 7 GB memory, running:
#1 SMP PREEMPT_DYNAMIC Wed May 22 14:40:24 UTC 2024

MyBenchmark

lipsum

Metric	p0	p25	p50	p75	p90	p99	p100	Samples
Time (wall clock) (μs) *	14	14	14	14	15	16	16	100

lipsum-zh

Metric	p0	p25	p50	p75	p90	p99	p100	Samples
Time (wall clock) (ns) *	1550	1579	1619	1626	1677	1811	1837	100

medium-fragment

Metric	p0	p25	p50	p75	p90	p99	p100	Samples
Time (wall clock) (μs) *	44	44	44	44	44	47	47	100

small-fragment

Metric	p0	p25	p50	p75	p90	p99	p100	Samples
Time (wall clock) (ns) *	4615	4620	4628	4641	4755	4776	4777	100

strong

Metric	p0	p25	p50	p75	p90	p99	p100	Samples
Time (wall clock) (μs) *	20	20	20	20	20	21	21	100

tiny-fragment

Metric	p0	p25	p50	p75	p90	p99	p100	Samples
Time (wall clock) (ns) *	469	488	506	585	635	693	695	100

The latest main branch (ececd702cf538e2ab406b6e36bd78d3b0ae67c92) results on Raspberry Pi 5B:

Host 'Raspberry-beetle' with 4 'aarch64' processors with 7 GB memory, running:
#1 SMP PREEMPT Debian 1:6.6.47-1+rpt1 (2024-09-02)

✅ lipsum: 1.02x faster than html5ever
⚡️ lipsum-zh: 3.95x faster than html5ever
✅ medium-fragment: 1.01x slower than html5ever
✅ small-fragment: 1.10x slower than html5ever
✅ tiny-fragment: 1.01x slower than html5ever
⚡️ strong: 1.40x faster than html5ever

(generated by https://gist.github.com/kkebo/daf0592475542c8aef24c70235cd988e)

Zyphy is no longer slow.

kkebo / zyphy

Tokenizer is slow #61

Summary

The current benchmark results

Baseline 'main'

MyBenchmark

lipsum

lipsum-zh

medium-fragment

small-fragment

strong

tiny-fragment

Baseline 'main'

MyBenchmark

lipsum

lipsum-zh

medium-fragment

small-fragment

strong

tiny-fragment