Skip to content

Automate and evaluate software test scenarios for electric vehicle software using the LLMs.

Notifications You must be signed in to change notification settings

ESOGU-SRLAB/EV-Software-Test-Scenarios-LLM

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 
 
 
 
 

Repository files navigation

TOK 2024 - Electrical Vehicles and Intelligent Energy Management Systems

Bu proje, elektrikli araçlar ve akıllı enerji yönetim sistemleri için test senaryoları oluşturmak ve değerlendirmek amacıyla iki farklı modelin kullanılmasını içermektedir: CodeGemma ve CodeLLaMa. Projede kullanılan yöntemler ve süreçler aşağıdaki görselde detaylandırılmıştır.

Proje Yapısı

Proje Yapısı

  1. CodeGemma:

    • Verilen kaynak kodu temel alarak tüm potansiyel ve yararlı test senaryolarını Brute Force Tekniği ile belirler ve listeler.
    • Brute Force Tekniği kullanılarak oluşturulan test senaryolarını üretir.
    • Test senaryolarının maksimum sayıya ulaşıp ulaşmadığını ve dilsel anlamlılığı değerlendirir.
    • Gerekirse gerekli test senaryolarını oluşturur.
  2. CodeLLaMa:

    • Verilen kaynak kodu temel alarak tüm potansiyel ve yararlı test senaryolarını Brute Force Tekniği ile belirler ve listeler.
    • Brute Force Tekniği kullanılarak oluşturulan test senaryolarını üretir.
    • Test senaryolarının maksimum sayıya ulaşıp ulaşmadığını ve dilsel anlamlılığı değerlendirir.
    • Gerekirse gerekli test senaryolarını oluşturur.
  3. Değerlendirme Süreci - GPT-4o ve LLaMa3:

    • CodeGemma ve CodeLLaMa tarafından oluşturulan test senaryoları karşılıklı olarak değerlendirilir.
    • GPT-4o ve LLaMa3 modelleri, test senaryolarının sayısı ve dilsel anlamlılığı üzerinden değerlendirir ve 100 üzerinden bir puan verir.

Dosya Yapısı

  • tok_llm.py: Projenin ana kod dosyası.
  • array_to_solution.py: Proje için testlerin gerçekleştirildiği dosya.
  • images/tok2024_structure.jpg: Projenin yapısını gösteren görsel.

Kurulum ve Çalıştırma

  1. Projeyi klonlayın:
    git clone https://github.com/ESOGU-SRLAB/EV-Software-Test-Scenarios-LLM.git
    cd tok2024
  2. Gereklilikleri yükleyin:
    pip install -r requirements.txt
  3. Projeyi çalıştırın:
    python tok_llm.py

Releases

No releases published

Packages

No packages published

Languages