search

EBIvariation / vcf-validator

Validation suite for Variant Call Format (VCF) files, implemented using C++11
Apache License 2.0
129 stars 39 forks source link

achieved constant memory usage by sqlite #55

Closed jmmut closed 7 years ago

jmmut commented 7 years ago

memory before:

--------------------------------------------------------------------------------
Command:            ./builds/release/bin/vcf_validator -v v4.1 -i ../../Documents/biofiles/European_Holstein.NewZealand_population.10000.vcf -r database -o /tmp
Massif arguments:   (none)
ms_print arguments: massif.out.32479
--------------------------------------------------------------------------------

    MB
2.296^                                                                       #
     |                                                                   @@@@#
     |                                                              @@@@@@@@@#
     |                                                          @@@@@@@@@@@@@#
     |                                                      @@@@@@@@@@@@@@@@@#
     |                                                 ::::@@@@@@@@@@@@@@@@@@#
     |                                            :::@:::: @@@@@@@@@@@@@@@@@@#
     |                                       @@::@:: @:::: @@@@@@@@@@@@@@@@@@#
     |                                   @:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     |                                @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     |                           @@@@@@@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     |                      :::::@@@@ @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     |                 @::::::: :@@@@ @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     |           ::@:::@::::::: :@@@@ @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     |        @@@::@:::@::::::: :@@@@ @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     |      :@@@ ::@:::@::::::: :@@@@ @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     |   ::::@@@ ::@:::@::::::: :@@@@ @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     | :::: :@@@ ::@:::@::::::: :@@@@ @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     | :::: :@@@ ::@:::@::::::: :@@@@ @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
     | :::: :@@@ ::@:::@::::::: :@@@@ @@:@:::@ ::@:: @:::: @@@@@@@@@@@@@@@@@@#
   0 +----------------------------------------------------------------------->Gi
     0                                                                   40.87

memory after:

--------------------------------------------------------------------------------
Command:            ./builds/release/bin/vcf_validator -v v4.1 -i ../../Documents/biofiles/European_Holstein.NewZealand_population.10000.vcf -r database -o /tmp
Massif arguments:   (none)
ms_print arguments: massif.out.452
--------------------------------------------------------------------------------

    KB
751.6^             ##                                                         
     |             # :     :       :      :                           :      :
     |       @     # :    ::       :     ::    :@     :::     @:     ::     ::
     |      :@   :@# :   :::      ::   @@::  :::@    :::    ::@:    @::   :@::
     |      :@  ::@# : :::::   :::::   @ ::  : :@  :::::   :::@:  ::@::  ::@::
     |    @@:@ :::@# :::::::  ::: :: ::@ ::::: :@ :::::: :::::@:::::@:: :::@::
     |   :@ :@::::@# :::::::::::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     |   :@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     |  ::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
     | :::@ :@::::@# :::::::: ::: :::::@ ::: : :@::::::: :::::@:::::@::::::@::
   0 +----------------------------------------------------------------------->Gi
     0                                                                   40.96