Bu proje, elektrikli araçlar ve akıllı enerji yönetim sistemleri için test senaryoları oluşturmak ve değerlendirmek amacıyla iki farklı modelin kullanılmasını içermektedir: CodeGemma ve CodeLLaMa. Projede kullanılan yöntemler ve süreçler aşağıdaki görselde detaylandırılmıştır.
-
CodeGemma:
- Verilen kaynak kodu temel alarak tüm potansiyel ve yararlı test senaryolarını Brute Force Tekniği ile belirler ve listeler.
- Brute Force Tekniği kullanılarak oluşturulan test senaryolarını üretir.
- Test senaryolarının maksimum sayıya ulaşıp ulaşmadığını ve dilsel anlamlılığı değerlendirir.
- Gerekirse gerekli test senaryolarını oluşturur.
-
CodeLLaMa:
- Verilen kaynak kodu temel alarak tüm potansiyel ve yararlı test senaryolarını Brute Force Tekniği ile belirler ve listeler.
- Brute Force Tekniği kullanılarak oluşturulan test senaryolarını üretir.
- Test senaryolarının maksimum sayıya ulaşıp ulaşmadığını ve dilsel anlamlılığı değerlendirir.
- Gerekirse gerekli test senaryolarını oluşturur.
-
Değerlendirme Süreci - GPT-4o ve LLaMa3:
- CodeGemma ve CodeLLaMa tarafından oluşturulan test senaryoları karşılıklı olarak değerlendirilir.
- GPT-4o ve LLaMa3 modelleri, test senaryolarının sayısı ve dilsel anlamlılığı üzerinden değerlendirir ve 100 üzerinden bir puan verir.
tok_llm.py
: Projenin ana kod dosyası.array_to_solution.py
: Proje için testlerin gerçekleştirildiği dosya.images/tok2024_structure.jpg
: Projenin yapısını gösteren görsel.
- Projeyi klonlayın:
git clone https://github.com/ESOGU-SRLAB/EV-Software-Test-Scenarios-LLM.git cd tok2024
- Gereklilikleri yükleyin:
pip install -r requirements.txt
- Projeyi çalıştırın:
python tok_llm.py