2nd updated AS (pair) data analysis

[SichangHe]

AS pair stats

Following #58.

Polars output in Evcxr

Note: the slower time because running on timbersaw. ```elixir Generated stats of 176636 AS pairs in 3893415ms. shape: (176_636, 13) ┌────────┬───────┬───────────┬───────────┬─────────────┬────────────┬────────────┬────────────┬────────────┬────────────┬────────────┬────────────┬────────────┐ │ from ┆ to ┆ import_ok ┆ export_ok ┆ import_skip ┆ export_ski ┆ import_unr ┆ export_unr ┆ import_meh ┆ export_meh ┆ import_err ┆ export_err ┆ relationsh │ │ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ p ┆ ec ┆ ec ┆ --- ┆ --- ┆ --- ┆ --- ┆ ip │ │ u64 ┆ u64 ┆ u32 ┆ u32 ┆ u32 ┆ --- ┆ --- ┆ --- ┆ u32 ┆ u32 ┆ u32 ┆ u32 ┆ --- │ │ ┆ ┆ ┆ ┆ ┆ u32 ┆ u32 ┆ u32 ┆ ┆ ┆ ┆ ┆ str │ ╞════════╪═══════╪═══════════╪═══════════╪═════════════╪════════════╪════════════╪════════════╪════════════╪════════════╪════════════╪════════════╪════════════╡ │ 64224 ┆ 3356 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 84 ┆ 84 ┆ 0 ┆ 0 ┆ up │ │ 200612 ┆ 20764 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 19 ┆ 19 ┆ peer │ │ 17342 ┆ 11096 ┆ 25 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 25 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ up │ │ 8640 ┆ 8220 ┆ 48 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 48 ┆ 0 ┆ 0 ┆ up │ │ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … │ │ 46244 ┆ 6461 ┆ 0 ┆ 0 ┆ 0 ┆ 40 ┆ 40 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ up │ │ 263739 ┆ 7049 ┆ 0 ┆ 0 ┆ 0 ┆ 16 ┆ 0 ┆ 0 ┆ 16 ┆ 0 ┆ 0 ┆ 0 ┆ up │ │ 43418 ┆ 57463 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 9 ┆ 9 ┆ other │ │ 270013 ┆ 7195 ┆ 0 ┆ 0 ┆ 28 ┆ 28 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ up │ └────────┴───────┴───────────┴───────────┴─────────────┴────────────┴────────────┴────────────┴────────────┴────────────┴────────────┴────────────┴────────────┘ shape: (9, 14) ┌───────────┬───────────┬───────────┬───────────┬───────────┬──────────┬──────────┬──────────┬──────────┬──────────┬──────────┬──────────┬──────────┬──────────┐ │ describe ┆ from ┆ to ┆ import_ok ┆ export_ok ┆ import_s ┆ export_s ┆ import_u ┆ export_u ┆ import_m ┆ export_m ┆ import_e ┆ export_e ┆ relation │ │ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ kip ┆ kip ┆ nrec ┆ nrec ┆ eh ┆ eh ┆ rr ┆ rr ┆ ship │ │ str ┆ f64 ┆ f64 ┆ f64 ┆ f64 ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- │ │ ┆ ┆ ┆ ┆ ┆ f64 ┆ f64 ┆ f64 ┆ f64 ┆ f64 ┆ f64 ┆ f64 ┆ f64 ┆ str │ ╞═══════════╪═══════════╪═══════════╪═══════════╪═══════════╪══════════╪══════════╪══════════╪══════════╪══════════╪══════════╪══════════╪══════════╪══════════╡ │ count ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636.0 ┆ 176636 │ │ null_coun ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0 │ │ t ┆ ┆ ┆ ┆ ┆ ┆ ┆ ┆ ┆ ┆ ┆ ┆ ┆ │ │ mean ┆ 967749.32 ┆ 298711.47 ┆ 136.22069 ┆ 69.925672 ┆ 79.60835 ┆ 103.1984 ┆ 82.91738 ┆ 130.8789 ┆ 80.76148 ┆ 91.46993 ┆ 55.45027 ┆ 39.48523 ┆ null │ │ ┆ 8868 ┆ 1948 ┆ 7 ┆ ┆ 3 ┆ 14 ┆ 4 ┆ 43 ┆ 7 ┆ 8 ┆ 6 ┆ ┆ │ │ std ┆ 5.9992e7 ┆ 3.2992e7 ┆ 5454.0031 ┆ 2737.3517 ┆ 3191.927 ┆ 4539.314 ┆ 5205.715 ┆ 4180.769 ┆ 1195.462 ┆ 3256.483 ┆ 3213.375 ┆ 4492.174 ┆ null │ │ ┆ ┆ ┆ 4 ┆ 31 ┆ 254 ┆ 934 ┆ 921 ┆ 137 ┆ 261 ┆ 142 ┆ 207 ┆ 743 ┆ │ │ min ┆ 1.0 ┆ 1.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ down │ │ 25% ┆ 26575.75 ┆ 5466.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ null │ │ 50% ┆ 52286.5 ┆ 12741.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ null │ │ 75% ┆ 202513.0 ┆ 37595.25 ┆ 12.0 ┆ 6.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 15.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ null │ │ max ┆ 4.2926e9 ┆ 4.2926e9 ┆ 1.533988e ┆ 749784.0 ┆ 885879.0 ┆ 1.533988 ┆ 1.794792 ┆ 723834.0 ┆ 177342.0 ┆ 885879.0 ┆ 698419.0 ┆ 1.794792 ┆ up │ │ ┆ ┆ ┆ 6 ┆ ┆ ┆ e6 ┆ e6 ┆ ┆ ┆ ┆ ┆ e6 ┆ │ └───────────┴───────────┴───────────┴───────────┴───────────┴──────────┴──────────┴──────────┴──────────┴──────────┴──────────┴──────────┴──────────┴──────────┘ ```

as_pair_stats.csv

AS stats

Polars output in Evcxr

```elixir Generated stats for 75377 AS in 3899912ms. shape: (75_377, 11) ┌─────────┬───────────┬───────────┬─────────────┬─────────────┬──────────────┬──────────────┬────────────┬────────────┬────────────┬────────────┐ │ aut_num ┆ import_ok ┆ export_ok ┆ import_skip ┆ export_skip ┆ import_unrec ┆ export_unrec ┆ import_meh ┆ export_meh ┆ import_err ┆ export_err │ │ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- │ │ u64 ┆ u32 ┆ u32 ┆ u32 ┆ u32 ┆ u32 ┆ u32 ┆ u32 ┆ u32 ┆ u32 ┆ u32 │ ╞═════════╪═══════════╪═══════════╪═════════════╪═════════════╪══════════════╪══════════════╪════════════╪════════════╪════════════╪════════════╡ │ 207157 ┆ 0 ┆ 84 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 │ │ 202623 ┆ 0 ┆ 0 ┆ 0 ┆ 251 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 │ │ 210447 ┆ 0 ┆ 18 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 11 ┆ 0 ┆ 0 │ │ 57240 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 1 ┆ 0 ┆ 0 ┆ 0 ┆ 0 │ │ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … │ │ 36025 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 56 ┆ 0 ┆ 0 ┆ 0 ┆ 0 │ │ 42503 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 74 ┆ 0 ┆ 13 │ │ 147247 ┆ 0 ┆ 0 ┆ 0 ┆ 28 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 │ │ 271496 ┆ 0 ┆ 0 ┆ 0 ┆ 116 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 ┆ 0 │ └─────────┴───────────┴───────────┴─────────────┴─────────────┴──────────────┴──────────────┴────────────┴────────────┴────────────┴────────────┘ shape: (9, 12) ┌────────────┬──────────┬─────────────┬─────────────┬─────────────┬─────────────┬─────────────┬────────────┬────────────┬────────────┬────────────┬────────────┐ │ describe ┆ aut_num ┆ import_ok ┆ export_ok ┆ import_skip ┆ export_skip ┆ import_unre ┆ export_unr ┆ import_meh ┆ export_meh ┆ import_err ┆ export_err │ │ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ --- ┆ c ┆ ec ┆ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ f64 ┆ f64 ┆ f64 ┆ f64 ┆ f64 ┆ --- ┆ --- ┆ f64 ┆ f64 ┆ f64 ┆ f64 │ │ ┆ ┆ ┆ ┆ ┆ ┆ f64 ┆ f64 ┆ ┆ ┆ ┆ │ ╞════════════╪══════════╪═════════════╪═════════════╪═════════════╪═════════════╪═════════════╪════════════╪════════════╪════════════╪════════════╪════════════╡ │ count ┆ 75377.0 ┆ 75377.0 ┆ 75377.0 ┆ 75377.0 ┆ 75377.0 ┆ 75377.0 ┆ 75377.0 ┆ 75377.0 ┆ 75377.0 ┆ 75377.0 ┆ 75377.0 │ │ null_count ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ mean ┆ 2.0236e6 ┆ 319.215132 ┆ 163.886637 ┆ 186.551614 ┆ 241.849782 ┆ 194.305889 ┆ 306.77326 ┆ 189.253831 ┆ 214.349271 ┆ 129.940366 ┆ 92.528397 │ │ std ┆ 8.9239e7 ┆ 23297.17735 ┆ 7410.561075 ┆ 10894.02014 ┆ 8759.827685 ┆ 14496.88490 ┆ 19155.8968 ┆ 13138.5037 ┆ 9663.72988 ┆ 11044.5681 ┆ 11335.6855 │ │ ┆ ┆ 1 ┆ ┆ 1 ┆ ┆ 2 ┆ 46 ┆ 31 ┆ 4 ┆ 78 ┆ 78 │ │ min ┆ 1.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ 25% ┆ 33601.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ 50% ┆ 60762.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ 0.0 │ │ 75% ┆ 207307.0 ┆ 0.0 ┆ 29.0 ┆ 0.0 ┆ 4.0 ┆ 0.0 ┆ 28.0 ┆ 0.0 ┆ 16.0 ┆ 0.0 ┆ 0.0 │ │ max ┆ 4.2926e9 ┆ 5.152725e6 ┆ 1.133038e6 ┆ 1.706273e6 ┆ 1.673388e6 ┆ 2.156654e6 ┆ 3.08984e6 ┆ 3.18332e6 ┆ 2.361343e6 ┆ 2.042296e6 ┆ 3.070287e6 │ └────────────┴──────────┴─────────────┴─────────────┴─────────────┴─────────────┴─────────────┴────────────┴────────────┴────────────┴────────────┴────────────┘ ```

as_stats.csv