-
Notifications
You must be signed in to change notification settings - Fork 2
preproc_utils.py
cmikke97 edited this page Jun 16, 2021
·
4 revisions
-
import os- provides a portable way of using operating system dependent functionality - os documentation
-
from logzero import logger- robust and effective logging for Python - logzero documentation
check_files(destination_dir, n_samples_dict) (function) - Check if the dataset was already pre-processed.
-
destination_dir(arg) - The directory where to search for the pre-processed dataset files -
n_samples_dict(arg) - Key-n_samples dict
root/ | ├── src/ | | | ├── FreshDatasetBuilder/ | | | | | ├── emberFeatures/ | | | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | | ├── features.py - - - - - - - - - - - - - - - (features python code 📖Wiki) | | | └── vectorize_features.py - - - - - - - - - - (vectorize features python code 📖Wiki) | | | | | ├── utils/ | | | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | | ├── fresh_dataset_utils.py - - - - - - - - - - (fresh dataset utils python code 📖Wiki) | | | └── malware_bazaar_api.py - - - - - - - - - - (malware bazaar API python code 📖Wiki) | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | └── build_fresh_dataset.py - - - - - - - - - - (fresh dataset builder python code 📖Wiki) | | | ├── Model/ | | | | | ├── nets/ | | | | | | | ├── generators/ | | | | | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | | | ├── dataset.py - - - - - - - - - - - - - - - - (dataset (base) code 📖Wiki) | | | | ├── dataset_alt.py - - - - - - - - - - - - - - (dataset_alt code 📖Wiki) | | | | ├── fresh_dataset.py - - - - - - - - - - - - - (fresh_dataset code 📖Wiki) | | | | ├── fresh_generators.py - - - - - - - - - - - (fresh_generators code 📖Wiki) | | | | ├── generators.py - - - - - - - - - - - - - - (generators (base) code 📖Wiki) | | | | ├── generators_alt1.py - - - - - - - - - - - - (generators_alt1 code 📖Wiki) | | | | ├── generators_alt2.py - - - - - - - - - - - - (generators_alt2 code 📖Wiki) | | | | └── generators_alt3.py - - - - - - - - - - - - (generators_alt3 code 📖Wiki) | | | | | | | ├── utils/ | | | | | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | | | └── Net.py - - - - - - - - - - - - - - - - - - (Net code 📖Wiki) | | | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | | ├── ALOHA_net.py - - - - - - - - - - - - - - - (ALOHA_net code 📖Wiki) | | | ├── Contrastive_Model_net.py - - - - - - - - - (Contrastive_Model_net code 📖Wiki) | | | ├── Family_Classifier_net.py - - - - - - - - - (Family_Classifier_net code 📖Wiki) | | | ├── MTJE_net.py - - - - - - - - - - - - - - - (MTJE_net code 📖Wiki) | | | ├── MTJE_net_cosine.py - - - - - - - - - - - - (MTJE_net_cosine code 📖Wiki) | | | └── MTJE_net_pairwise_distance.py - - - - - - (MTJE_net_pairwise_distance code 📖Wiki) | | | | | ├── utils/ | | | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | | ├── contrastive_utils.py - - - - - - - - - - - (contrastive_utils code 📖Wiki) | | | ├── opt_utils.py - - - - - - - - - - - - - - - (opt_utils code 📖Wiki) | | | ├── plot_utils.py - - - - - - - - - - - - - - (plot_utils code 📖Wiki) | | | └── ranking_metrics.py - - - - - - - - - - - - (ranking_metrics code 📖Wiki) | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | ├── evaluate.py - - - - - - - - - - - - - - - (evaluate code 📖Wiki) | | ├── evaluate_contrastive.py - - - - - - - - - (evaluate_contrastive code 📖Wiki) | | ├── evaluate_family_classifier.py - - - - - - (evaluate_family_classifier code 📖Wiki) | | ├── evaluate_fresh.py - - - - - - - - - - - - (evaluate_fresh code 📖Wiki) | | ├── gen3_speed_evaluation.py - - - - - - - - - (gen3_speed_evaluation code 📖Wiki) | | ├── plot.py - - - - - - - - - - - - - - - - - (plot code 📖Wiki) | | ├── plot_contrastive.py - - - - - - - - - - - (plot_contrastive code 📖Wiki) | | ├── plot_family_classifier.py - - - - - - - - (plot_family_classifier code 📖Wiki) | | ├── plot_fresh.py - - - - - - - - - - - - - - (plot_fresh code 📖Wiki) | | ├── train.py - - - - - - - - - - - - - - - - - (train code 📖Wiki) | | ├── train_contrastive.py - - - - - - - - - - - (train_contrastive code 📖Wiki) | | └── train_family_classifier.py - - - - - - - - (train_family_classifier code 📖Wiki) | | | ├── Sorel20mDataset/ | | | | | ├── generators/ | | | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | | ├── sorel_dataset.py - - - - - - - - - - - - - (sorel_dataset code 📖Wiki) | | | └── sorel_generators.py - - - - - - - - - - - (sorel_generators code 📖Wiki) | | | | | ├── utils/ | | | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | | ├── download_utils.py - - - - - - - - - - - - (download_utils code 📖Wiki) | | | └── preproc_utils.py - - - - - - - - - - - - - (preproc_utils code 📖Wiki) | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | ├── preprocess_dataset.py - - - - - - - - - - (preprocess_dataset code 📖Wiki) | | ├── preprocess_ds_multi.py - - - - - - - - - - (preprocess_ds_multi code 📖Wiki) | | └── sorel20mDownloader.py - - - - - - - - - - (sorel20mDownloader code 📖Wiki) | | | ├── utils/ | | | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | | └── workflow_utils.py - - - - - - - - - - - - - - - - - (workflow_utils code 📖Wiki) | | | ├── __init__.py - - - - - - - - - - - - - - - (python module init) | ├── config.ini - - - - - - - - - - - - - - - - (configuration file 📖Wiki) | └── main.py - - - - - - - - - - - - - - - - - (main code 📖Wiki) | ├── MLproject - - - - - - - - - - - - - - - - (MLproject file) ├── README.md - - - - - - - - - - - - - - - - (README) └── conda.yaml - - - - - - - - - - - - - - - - (conda yaml environment)