Pada Januari 2024, kami memutuskan untuk mengevaluasi scanner kerentanan jaringan yang paling banyak digunakan — Nessus Professional, Qualys, Rapid7 Nexpose, Nuclei, OpenVAS, Nmap vulnerability scripts, termasuk scanner kami sendiri, yang dapat divalidasi secara independen oleh rekan-rekan di industri.
Di bawah ini kami jelaskan mengapa kami melakukan benchmark ini, hasil yang kami dapatkan, dan bagaimana Anda bisa memverifikasinya (tersedia white paper yang bisa diunduh dengan semua data hasil benchmark ini).
Mengapa Kami Membuat Benchmark Ini
Kami tahu betapa memakan waktunya membandingkan alat keamanan hanya berdasarkan informasi dari vendor, opini rekan-rekan, forum, dan komunitas.
Kami mengalami ini langsung, baik sebagai pengguna alat ketika beberapa anggota tim kami bekerja sebagai penetration tester, maupun sebagai pembuat alat, membangun tool jaringan di Pentest-Tools.com.
Evaluasi ini menjadi sumber daya yang berguna bagi banyak spesialis keamanan sekaligus menjadi pengalaman belajar yang berharga bagi tim kami.
Melalui benchmark ini, kami bisa memahami posisi Network Vulnerability Scanner kami dibandingkan alternatif lain. Kami sangat berinvestasi pada alat ini, yang merupakan salah satu yang paling kuat di antara 20+ toolkit kami. Bahkan ada tim khusus yang terus meningkatkan kemampuan deteksinya, termasuk membuat modul untuk CVE kritis.
Membangun Benchmark untuk Network Vulnerability Scanner
Benchmark untuk scanner kerentanan jaringan jarang dilakukan, karena dua alasan utama:
- Ancaman siber berkembang sangat cepat, sehingga sulit membuat benchmark statis yang relevan untuk jangka panjang.
- Kerentanan sangat beragam, sehingga benchmark harus mencakup banyak skenario dan metrik evaluasinya cukup kompleks.
Kami memilih scanner open-source (OpenVAS, Nuclei, Nmap vulnerability scripts) dan scanner komersial (Nessus Professional, Rapid7 Nexpose, Qualys) agar mencerminkan campuran alat yang digunakan kebanyakan tim keamanan.
Fokus benchmark ini adalah pemeriksaan jarak jauh (remote checks) atau perspektif black-box. Mengapa? Karena deteksi jarak jauh memberikan penilaian realistis dari permukaan serangan yang terlihat dan dapat diakses dari luar.
Kerentanan berisiko tinggi yang bisa dieksploitasi oleh penyerang eksternal sangat menarik, sekaligus berpotensi merugikan organisasi. Menemukan dan menanganinya penting untuk memperkuat jaringan dari intrusi yang tidak sah.
Dua indikator kinerja utama yang kami gunakan:
- Detection availability → Apakah scanner memiliki deteksi untuk kerentanan tertentu di database-nya
- Detection accuracy → Apakah scanner benar-benar bisa mengidentifikasi kerentanan tersebut
Keterbatasan Benchmark Scanner Jaringan
Sebagian besar infrastruktur saat ini berada di balik firewall dan Intrusion Prevention System (IPS) yang mendeteksi dan memblokir paket berbahaya. Hal ini membuat scanner jarak jauh kadang melewatkan kerentanan karena ada blind spot yang dibuat IPS.
Namun, pertahanan ini tidak menghentikan penyerang, sehingga target tetap berisiko.
Idealnya, benchmark bisa dilakukan untuk scanner lokal dan jarak jauh, karena keduanya saling melengkapi: deteksi lokal memberi detail mendalam, sedangkan deteksi jarak jauh memberi pandangan luas. Tapi kami harus fokus pada remote check karena keterbatasan tersebut.
Pengaturan Lingkungan Uji
Kami menggunakan virtual machine di platform cloud Vultr, dilindungi firewall berbasis IP whitelist. Ini memberikan keamanan sambil tetap sederhana dalam pengaturan.
Sebagai bagian dari setup ini, kami men-deploy semua vulnerable Docker container yang tersedia di Vultr pada Desember 2023, mencakup 167 environment berbeda yang tersebar di 17 instance, masing-masing memuat sekitar 10 layanan yang rentan.
Setiap scanner dijalankan terhadap semua 167 environment untuk menjaga evaluasi komprehensif dan objektif, sehingga siapa pun bisa memverifikasi hasilnya.
Untuk mempermudah manajemen layanan, setiap instance dilengkapi dengan Docker Compose file sendiri.
CVE dikategorikan menjadi:
- Dapat dideteksi jarak jauh → 128 environment
- Tidak dapat dideteksi jarak jauh → 39 environment
Semua scanner diperbarui dengan deteksi terbaru per Januari 2024, dan sebagian besar dijalankan dengan pengaturan default, menargetkan seluruh port TCP (1–65535).
Hasil Benchmark
Jumlah kerentanan yang ditemukan tidak otomatis menunjukkan kualitas scanner. Setiap scanner memiliki cakupan yang jauh lebih luas daripada subset CVE yang dianalisis di benchmark ini. Faktor lain seperti kemudahan penggunaan, integrasi dengan sistem lain, atau layanan support juga penting, tapi sulit dibandingkan secara objektif.
Hasil utama:
- Scanner komersial besar menunjukkan level detection availability serupa, kecuali Nexpose karena database-nya tidak membedakan local vs remote check.
- Ada perbedaan nyata antara detection availability dan accuracy.
- Contoh: Nessus mengklaim punya deteksi untuk 55,09% environment, tapi hanya berhasil mendeteksi 18,56% secara akurat. Untuk kerentanan yang bisa dideteksi jarak jauh, template Nessus 67,19% tapi deteksi akurat 22,66% (misal CVE-2022-26134, CVE-2018-7600, CVE-2014-6271).
- Qualys dan Nuclei menunjukkan variansi lebih rendah, actual detection sekitar 25% lebih rendah dari database mereka.
- Perbedaan lain muncul saat fokus pada vulnerabilities yang bisa dideteksi jarak jauh:
- Nuclei naik ke posisi kedua, Qualys turun ke posisi ketiga. Menunjukkan Nuclei sedikit lebih luas cakupannya untuk kerentanan remote.
Seluruh data benchmark tersedia di whitepaper publik yang bisa diunduh:
Discover the best scanners for CVE coverage & accuracy
Bagaimana Kami Akan Menggunakan Hasil Ini
Data benchmark ini digunakan untuk:
- Meningkatkan Network Vulnerability Scanner kami
- Menambah deteksi untuk CVE yang dianalisis
Penambahan deteksi mempertimbangkan:
- EPSS (Exploit Prediction Scoring System) score
- Seberapa luas penggunaan teknologi/framework rentan
- CVSSv3 score dari kerentanan
- Seberapa intens kerentanan dibahas di komunitas siber
Jika ingin tahu lebih banyak tentang cara kerja Network Vulnerability Scanner kami, kami juga membuat video walkthrough untuk menunjukkan inti mesin deteksinya.
Infrastruktur IT yang kuat adalah kunci produktivitas perusahaan. Dengan pentest indonesia, Anda bisa mendapatkan solusi IT lengkap yang sesuai dengan kebutuhan Anda. iLogo Indonesia sebagai mitra terpercaya siap mengintegrasikan semuanya agar bisnis Anda tetap berjalan lancar dan aman.
Hubungi kami sekarang atau kunjungi pentestindonesia.com untuk informasi lebih lanjut!