Closed Mohannadcse closed 1 year ago
@ldk-linux @s-bukhar, the above issue is reported based on this PR https://github.com/ldklab/scored23_release/pull/5, I had to change the hardcoded paths inside NGramEmptyPair.py
. It's now more dynamic
So to address the above issue, I suggest check out the PR https://github.com/ldklab/scored23_release/pull/5, or you can merge to the main and work on top of it.
@s-bukhari pls let me know if there is anything missing in the processed folder that I provided. Or is it a bug in the implementation?
@Mohannadcse I was able to recreate the issue and know why it's happening but need further investigation. I will get back to you by tomorrow
Hi @Mohannadcse. Looks like tree-sitter for some reason is generating AST node types which are not supported by the tool. We can fix that, but: can you clarify if you are running the code on our dataset on your own code? If you are feeding your own code, can you provide us with a sample of the code you are feeding into the tool?
@s-bukhari I'm using the dataset provided in this repo. I have NO other datasets.
@Mohannadcse I have updated theDictOfNodes.py
file .. could you please rerun the workflow from Step#5 and let me know if you face any issue ? .. you will have to recreate DictOfNodes.pickle
file again based on the updated file
Thanks for the prompt action. I've re-executed step 5 again and then step 6. Can you confirm if this is the expected outcome of step 6:
tree ASTDictionaries/
ASTDictionaries/
└── Bigram
├── Autopilot
│ ├── Machine1
│ │ ├── addItem_Machine1
│ │ ├── costSum_Machine1
│ │ ├── highestPrice_Machine1
│ │ ├── itemToString_Machine1
│ │ ├── listInitialization_Machine1
│ │ ├── printList_Machine1
│ │ ├── removeItem_Machine1
│ │ ├── save_Machine1
│ │ ├── swapItem_Machine1
│ │ └── updateItem_Machine1
│ ├── Machine10
│ │ ├── addItem_Machine10
│ │ ├── costSum_Machine10
│ │ ├── deduplicate_Machine10
│ │ ├── highestPrice_Machine10
│ │ ├── itemToString_Machine10
│ │ ├── listInitialization_Machine10
│ │ ├── load_Machine10
│ │ ├── printList_Machine10
│ │ ├── removeItem_Machine10
│ │ ├── save_Machine10
│ │ ├── swapItem_Machine10
│ │ └── updateItem_Machine10
│ ├── Machine11
│ │ ├── addItem_Machine11
│ │ ├── costSum_Machine11
│ │ ├── deduplicate_Machine11
│ │ ├── highestPrice_Machine11
│ │ ├── itemToString_Machine11
│ │ ├── listInitialization_Machine11
│ │ ├── load_Machine11
│ │ ├── printList_Machine11
│ │ ├── removeItem_Machine11
│ │ ├── save_Machine11
│ │ ├── swapItem_Machine11
│ │ └── updateItem_Machine11
│ ├── Machine12
│ │ ├── addItem_Machine12
│ │ ├── costSum_Machine12
│ │ ├── deduplicate_Machine12
│ │ ├── highestPrice_Machine12
│ │ ├── itemToString_Machine12
│ │ ├── listInitialization_Machine12
│ │ ├── load_Machine12
│ │ ├── printList_Machine12
│ │ ├── removeItem_Machine12
│ │ ├── save_Machine12
│ │ ├── swapItem_Machine12
│ │ └── updateItem_Machine12
│ ├── Machine13
│ │ ├── addItem_Machine13
│ │ ├── costSum_Machine13
│ │ ├── deduplicate_Machine13
│ │ ├── highestPrice_Machine13
│ │ ├── itemToString_Machine13
│ │ ├── listInitialization_Machine13
│ │ ├── load_Machine13
│ │ ├── printList_Machine13
│ │ ├── removeItem_Machine13
│ │ ├── save_Machine13
│ │ ├── swapItem_Machine13
│ │ └── updateItem_Machine13
│ ├── Machine14
│ │ ├── addItem_Machine14
│ │ ├── costSum_Machine14
│ │ ├── deduplicate_Machine14
│ │ ├── highestPrice_Machine14
│ │ ├── itemToString_Machine14
│ │ ├── listInitialization_Machine14
│ │ ├── load_Machine14
│ │ ├── printList_Machine14
│ │ ├── removeItem_Machine14
│ │ ├── save_Machine14
│ │ ├── swapItem_Machine14
│ │ └── updateItem_Machine14
│ ├── Machine15
│ │ ├── addItem_Machine15
│ │ ├── costSum_Machine15
│ │ ├── deduplicate_Machine15
│ │ ├── highestPrice_Machine15
│ │ ├── itemToString_Machine15
│ │ ├── listInitialization_Machine15
│ │ ├── printList_Machine15
│ │ ├── removeItem_Machine15
│ │ ├── save_Machine15
│ │ ├── swapItem_Machine15
│ │ └── updateItem_Machine15
│ ├── Machine16
│ │ ├── addItem_Machine16
│ │ ├── itemToString_Machine16
│ │ ├── listInitialization_Machine16
│ │ ├── printList_Machine16
│ │ ├── removeItem_Machine16
│ │ └── updateItem_Machine16
│ ├── Machine17
│ │ ├── addItem_Machine17
│ │ ├── costSum_Machine17
│ │ ├── deduplicate_Machine17
│ │ ├── highestPrice_Machine17
│ │ ├── itemToString_Machine17
│ │ ├── listInitialization_Machine17
│ │ ├── load_Machine17
│ │ ├── printList_Machine17
│ │ ├── removeItem_Machine17
│ │ ├── save_Machine17
│ │ ├── swapItem_Machine17
│ │ └── updateItem_Machine17
│ ├── Machine18
│ │ ├── addItem_Machine18
│ │ ├── costSum_Machine18
│ │ ├── deduplicate_Machine18
│ │ ├── highestPrice_Machine18
│ │ ├── itemToString_Machine18
│ │ ├── listInitialization_Machine18
│ │ ├── printList_Machine18
│ │ ├── removeItem_Machine18
│ │ ├── save_Machine18
│ │ ├── swapItem_Machine18
│ │ └── updateItem_Machine18
│ ├── Machine19
│ │ ├── addItem_Machine19
│ │ ├── costSum_Machine19
│ │ ├── deduplicate_Machine19
│ │ ├── highestPrice_Machine19
│ │ ├── itemToString_Machine19
│ │ ├── listInitialization_Machine19
│ │ ├── printList_Machine19
│ │ ├── removeItem_Machine19
│ │ ├── save_Machine19
│ │ ├── swapItem_Machine19
│ │ └── updateItem_Machine19
│ ├── Machine2
│ │ ├── addItem_Machine2
│ │ ├── costSum_Machine2
│ │ ├── deduplicate_Machine2
│ │ ├── highestPrice_Machine2
│ │ ├── itemToString_Machine2
│ │ ├── listInitialization_Machine2
│ │ ├── printList_Machine2
│ │ ├── removeItem_Machine2
│ │ ├── save_Machine2
│ │ ├── swapItem_Machine2
│ │ └── updateItem_Machine2
│ ├── Machine20
│ │ ├── addItem_Machine20
│ │ ├── costSum_Machine20
│ │ ├── deduplicate_Machine20
│ │ ├── highestPrice_Machine20
│ │ ├── itemToString_Machine20
│ │ ├── listInitialization_Machine20
│ │ ├── printList_Machine20
│ │ ├── removeItem_Machine20
│ │ ├── save_Machine20
│ │ ├── swapItem_Machine20
│ │ └── updateItem_Machine20
│ ├── Machine21
│ │ ├── addItem_Machine21
│ │ ├── costSum_Machine21
│ │ ├── deduplicate_Machine21
│ │ ├── highestPrice_Machine21
│ │ ├── itemToString_Machine21
│ │ ├── listInitialization_Machine21
│ │ ├── load_Machine21
│ │ ├── printList_Machine21
│ │ ├── removeItem_Machine21
│ │ ├── save_Machine21
│ │ ├── swapItem_Machine21
│ │ └── updateItem_Machine21
│ ├── Machine22
│ │ ├── addItem_Machine22
│ │ ├── costSum_Machine22
│ │ ├── deduplicate_Machine22
│ │ ├── highestPrice_Machine22
│ │ ├── itemToString_Machine22
│ │ ├── listInitialization_Machine22
│ │ ├── load_Machine22
│ │ ├── printList_Machine22
│ │ ├── removeItem_Machine22
│ │ ├── save_Machine22
│ │ ├── swapItem_Machine22
│ │ └── updateItem_Machine22
│ ├── Machine23
│ │ ├── costSum_Machine23
│ │ ├── deduplicate_Machine23
│ │ ├── itemToString_Machine23
│ │ ├── listInitialization_Machine23
│ │ ├── load_Machine23
│ │ ├── printList_Machine23
│ │ └── save_Machine23
│ ├── Machine24
│ │ ├── itemToString_Machine24
│ │ ├── listInitialization_Machine24
│ │ ├── load_Machine24
│ │ ├── printList_Machine24
│ │ └── save_Machine24
│ ├── Machine25
│ │ ├── addItem_Machine25
│ │ ├── costSum_Machine25
│ │ ├── deduplicate_Machine25
│ │ ├── highestPrice_Machine25
│ │ ├── itemToString_Machine25
│ │ ├── listInitialization_Machine25
│ │ ├── load_Machine25
│ │ ├── printList_Machine25
│ │ ├── removeItem_Machine25
│ │ ├── save_Machine25
│ │ ├── swapItem_Machine25
│ │ └── updateItem_Machine25
│ ├── Machine26
│ │ ├── addItem_Machine26
│ │ ├── costSum_Machine26
│ │ ├── deduplicate_Machine26
│ │ ├── highestPrice_Machine26
│ │ ├── itemToString_Machine26
│ │ ├── listInitialization_Machine26
│ │ ├── load_Machine26
│ │ ├── printList_Machine26
│ │ ├── removeItem_Machine26
│ │ ├── save_Machine26
│ │ ├── swapItem_Machine26
│ │ └── updateItem_Machine26
│ ├── Machine27
│ │ ├── addItem_Machine27
│ │ ├── costSum_Machine27
│ │ ├── deduplicate_Machine27
│ │ ├── highestPrice_Machine27
│ │ ├── itemToString_Machine27
│ │ ├── listInitialization_Machine27
│ │ ├── load_Machine27
│ │ ├── printList_Machine27
│ │ ├── removeItem_Machine27
│ │ ├── save_Machine27
│ │ ├── swapItem_Machine27
│ │ └── updateItem_Machine27
│ ├── Machine28
│ │ ├── addItem_Machine28
│ │ ├── costSum_Machine28
│ │ ├── deduplicate_Machine28
│ │ ├── highestPrice_Machine28
│ │ ├── itemToString_Machine28
│ │ ├── listInitialization_Machine28
│ │ ├── load_Machine28
│ │ ├── printList_Machine28
│ │ ├── removeItem_Machine28
│ │ ├── save_Machine28
│ │ ├── swapItem_Machine28
│ │ └── updateItem_Machine28
│ ├── Machine29
│ │ ├── addItem_Machine29
│ │ ├── costSum_Machine29
│ │ ├── deduplicate_Machine29
│ │ ├── highestPrice_Machine29
│ │ ├── itemToString_Machine29
│ │ ├── listInitialization_Machine29
│ │ ├── load_Machine29
│ │ ├── printList_Machine29
│ │ ├── removeItem_Machine29
│ │ ├── save_Machine29
│ │ ├── swapItem_Machine29
│ │ └── updateItem_Machine29
│ ├── Machine3
│ │ ├── addItem_Machine3
│ │ ├── costSum_Machine3
│ │ ├── deduplicate_Machine3
│ │ ├── highestPrice_Machine3
│ │ ├── itemToString_Machine3
│ │ ├── listInitialization_Machine3
│ │ ├── printList_Machine3
│ │ ├── removeItem_Machine3
│ │ ├── save_Machine3
│ │ ├── swapItem_Machine3
│ │ └── updateItem_Machine3
│ ├── Machine30
│ │ ├── addItem_Machine30
│ │ ├── costSum_Machine30
│ │ ├── deduplicate_Machine30
│ │ ├── highestPrice_Machine30
│ │ ├── itemToString_Machine30
│ │ ├── listInitialization_Machine30
│ │ ├── load_Machine30
│ │ ├── printList_Machine30
│ │ ├── removeItem_Machine30
│ │ ├── save_Machine30
│ │ ├── swapItem_Machine30
│ │ └── updateItem_Machine30
│ ├── Machine4
│ │ ├── addItem_Machine4
│ │ ├── costSum_Machine4
│ │ ├── highestPrice_Machine4
│ │ ├── itemToString_Machine4
│ │ ├── listInitialization_Machine4
│ │ ├── printList_Machine4
│ │ ├── removeItem_Machine4
│ │ ├── save_Machine4
│ │ ├── swapItem_Machine4
│ │ └── updateItem_Machine4
│ ├── Machine5
│ │ ├── addItem_Machine5
│ │ ├── costSum_Machine5
│ │ ├── deduplicate_Machine5
│ │ ├── highestPrice_Machine5
│ │ ├── itemToString_Machine5
│ │ ├── listInitialization_Machine5
│ │ ├── load_Machine5
│ │ ├── printList_Machine5
│ │ ├── removeItem_Machine5
│ │ ├── save_Machine5
│ │ ├── swapItem_Machine5
│ │ └── updateItem_Machine5
│ ├── Machine6
│ │ ├── addItem_Machine6
│ │ ├── costSum_Machine6
│ │ ├── deduplicate_Machine6
│ │ ├── highestPrice_Machine6
│ │ ├── itemToString_Machine6
│ │ ├── listInitialization_Machine6
│ │ ├── load_Machine6
│ │ ├── printList_Machine6
│ │ ├── removeItem_Machine6
│ │ ├── save_Machine6
│ │ ├── swapItem_Machine6
│ │ └── updateItem_Machine6
│ ├── Machine7
│ │ ├── costSum_Machine7
│ │ ├── deduplicate_Machine7
│ │ ├── itemToString_Machine7
│ │ ├── listInitialization_Machine7
│ │ ├── load_Machine7
│ │ ├── printList_Machine7
│ │ └── save_Machine7
│ ├── Machine8
│ │ ├── addItem_Machine8
│ │ ├── costSum_Machine8
│ │ ├── deduplicate_Machine8
│ │ ├── highestPrice_Machine8
│ │ ├── itemToString_Machine8
│ │ ├── listInitialization_Machine8
│ │ ├── load_Machine8
│ │ ├── printList_Machine8
│ │ ├── removeItem_Machine8
│ │ ├── save_Machine8
│ │ ├── swapItem_Machine8
│ │ └── updateItem_Machine8
│ └── Machine9
│ ├── addItem_Machine9
│ ├── costSum_Machine9
│ ├── deduplicate_Machine9
│ ├── highestPrice_Machine9
│ ├── itemToString_Machine9
│ ├── listInitialization_Machine9
│ ├── load_Machine9
│ ├── printList_Machine9
│ ├── removeItem_Machine9
│ ├── save_Machine9
│ ├── swapItem_Machine9
│ └── updateItem_Machine9
└── Control
├── Human1
│ ├── addItem_Human1
│ ├── itemToString_Human1
│ ├── listInitialization_Human1
│ └── printList_Human1
├── Human10
│ ├── addItem_Human10
│ ├── costSum_Human10
│ ├── deduplicate_Human10
│ ├── highestPrice_Human10
│ ├── itemToString_Human10
│ ├── listInitialization_Human10
│ ├── load_Human10
│ ├── printList_Human10
│ ├── removeItem_Human10
│ ├── save_Human10
│ ├── swapItem_Human10
│ └── updateItem_Human10
├── Human11
│ ├── addItem_Human11
│ ├── costSum_Human11
│ ├── deduplicate_Human11
│ ├── highestPrice_Human11
│ ├── itemToString_Human11
│ ├── listInitialization_Human11
│ ├── load_Human11
│ ├── printList_Human11
│ ├── removeItem_Human11
│ ├── save_Human11
│ ├── swapItem_Human11
│ └── updateItem_Human11
├── Human12
│ ├── addItem_Human12
│ ├── costSum_Human12
│ ├── deduplicate_Human12
│ ├── highestPrice_Human12
│ ├── itemToString_Human12
│ ├── listInitialization_Human12
│ ├── printList_Human12
│ ├── removeItem_Human12
│ ├── save_Human12
│ ├── swapItem_Human12
│ └── updateItem_Human12
├── Human13
│ ├── addItem_Human13
│ ├── itemToString_Human13
│ ├── listInitialization_Human13
│ ├── printList_Human13
│ ├── removeItem_Human13
│ └── updateItem_Human13
├── Human14
│ ├── itemToString_Human14
│ ├── listInitialization_Human14
│ └── printList_Human14
├── Human15
│ ├── addItem_Human15
│ ├── costSum_Human15
│ ├── highestPrice_Human15
│ ├── itemToString_Human15
│ ├── listInitialization_Human15
│ ├── printList_Human15
│ ├── removeItem_Human15
│ ├── swapItem_Human15
│ └── updateItem_Human15
├── Human16
│ ├── addItem_Human16
│ ├── costSum_Human16
│ ├── deduplicate_Human16
│ ├── highestPrice_Human16
│ ├── itemToString_Human16
│ ├── listInitialization_Human16
│ ├── load_Human16
│ ├── printList_Human16
│ ├── removeItem_Human16
│ ├── save_Human16
│ ├── swapItem_Human16
│ └── updateItem_Human16
├── Human17
│ ├── addItem_Human17
│ ├── costSum_Human17
│ ├── highestPrice_Human17
│ ├── itemToString_Human17
│ ├── listInitialization_Human17
│ ├── printList_Human17
│ ├── removeItem_Human17
│ ├── save_Human17
│ ├── swapItem_Human17
│ └── updateItem_Human17
├── Human18
│ ├── addItem_Human18
│ ├── itemToString_Human18
│ ├── listInitialization_Human18
│ └── printList_Human18
├── Human19
│ ├── addItem_Human19
│ ├── itemToString_Human19
│ ├── listInitialization_Human19
│ └── printList_Human19
├── Human2
│ ├── addItem_Human2
│ └── listInitialization_Human2
├── Human20
│ ├── addItem_Human20
│ ├── listInitialization_Human20
│ ├── printList_Human20
│ ├── removeItem_Human20
│ └── updateItem_Human20
├── Human21
│ ├── addItem_Human21
│ ├── itemToString_Human21
│ ├── listInitialization_Human21
│ └── printList_Human21
├── Human22
│ ├── addItem_Human22
│ ├── itemToString_Human22
│ ├── listInitialization_Human22
│ └── printList_Human22
├── Human23
│ ├── addItem_Human23
│ ├── costSum_Human23
│ ├── deduplicate_Human23
│ ├── highestPrice_Human23
│ ├── itemToString_Human23
│ ├── listInitialization_Human23
│ ├── load_Human23
│ ├── printList_Human23
│ ├── removeItem_Human23
│ ├── save_Human23
│ ├── swapItem_Human23
│ └── updateItem_Human23
├── Human24
│ ├── itemToString_Human24
│ └── listInitialization_Human24
├── Human25
│ ├── costSum_Human25
│ ├── highestPrice_Human25
│ ├── itemToString_Human25
│ ├── listInitialization_Human25
│ └── printList_Human25
├── Human26
│ ├── addItem_Human26
│ ├── costSum_Human26
│ ├── deduplicate_Human26
│ ├── highestPrice_Human26
│ ├── itemToString_Human26
│ ├── listInitialization_Human26
│ ├── load_Human26
│ ├── printList_Human26
│ ├── removeItem_Human26
│ ├── save_Human26
│ ├── swapItem_Human26
│ └── updateItem_Human26
├── Human27
│ ├── addItem_Human27
│ ├── costSum_Human27
│ ├── deduplicate_Human27
│ ├── highestPrice_Human27
│ ├── itemToString_Human27
│ ├── listInitialization_Human27
│ ├── load_Human27
│ ├── printList_Human27
│ ├── removeItem_Human27
│ ├── save_Human27
│ ├── swapItem_Human27
│ └── updateItem_Human27
├── Human28
│ ├── itemToString_Human28
│ ├── listInitialization_Human28
│ └── printList_Human28
├── Human3
│ ├── addItem_Human3
│ ├── costSum_Human3
│ ├── deduplicate_Human3
│ ├── highestPrice_Human3
│ ├── itemToString_Human3
│ ├── listInitialization_Human3
│ ├── load_Human3
│ ├── printList_Human3
│ ├── removeItem_Human3
│ ├── save_Human3
│ ├── swapItem_Human3
│ └── updateItem_Human3
├── Human4
│ ├── addItem_Human4
│ ├── itemToString_Human4
│ ├── listInitialization_Human4
│ └── printList_Human4
├── Human5
│ ├── addItem_Human5
│ ├── costSum_Human5
│ ├── deduplicate_Human5
│ ├── highestPrice_Human5
│ ├── itemToString_Human5
│ ├── listInitialization_Human5
│ ├── load_Human5
│ ├── printList_Human5
│ ├── removeItem_Human5
│ ├── save_Human5
│ ├── swapItem_Human5
│ └── updateItem_Human5
├── Human6
│ ├── addItem_Human6
│ ├── itemToString_Human6
│ ├── listInitialization_Human6
│ ├── printList_Human6
│ └── removeItem_Human6
├── Human7
│ ├── addItem_Human7
│ ├── costSum_Human7
│ ├── highestPrice_Human7
│ ├── itemToString_Human7
│ ├── listInitialization_Human7
│ ├── printList_Human7
│ ├── removeItem_Human7
│ ├── save_Human7
│ └── updateItem_Human7
├── Human8
│ ├── addItem_Human8
│ ├── costSum_Human8
│ ├── deduplicate_Human8
│ ├── highestPrice_Human8
│ ├── itemToString_Human8
│ ├── listInitialization_Human8
│ ├── load_Human8
│ ├── printList_Human8
│ ├── removeItem_Human8
│ ├── save_Human8
│ ├── swapItem_Human8
│ └── updateItem_Human8
└── Human9
├── addItem_Human9
├── costSum_Human9
├── deduplicate_Human9
├── highestPrice_Human9
├── itemToString_Human9
├── listInitialization_Human9
├── load_Human9
├── ownFunction_Human9
├── printList_Human9
├── removeItem_Human9
├── save_Human9
├── swapItem_Human9
└── updateItem_Human9
61 directories, 542 files
61 directories and 542 files is indeed the expected outcome
Great, thx for the confirmation. The issue was solved in this commit https://github.com/ldklab/scored23_release/commit/c572d7340d8272c32e57f63724bda0e5ecf98f47
I used this command
python3 BigramDictUpdate.py /nobackup/scored23_release/Processed/NodeType/ /nobackup/scored23_release/Processed/ASTDictionaries
I already checked the size of
treeNodes
But still receiving this error
here is the content of
Processed
.Processed.zip