Tim pengembangan yang paling sukses memiliki empat tolok ukur utama yang sama, ungkap CircleCI. Laporan Status Pengiriman Perangkat Lunak 2023.

Tim yang sukses memiliki waktu kerja kurang dari 10 menit, pemulihan dari kegagalan kurang dari satu jam, tingkat keberhasilan lebih dari 90% di cabang default aplikasi mereka, dan penerapan setidaknya sekali seminggu, sehari, meskipun jumlah sebenarnya bergantung pada perusahaan.

Durasi alur kerja adalah ukuran seberapa efektif pipa pengiriman perangkat lunak memberikan informasi tentang kualitas kode. Laporan tersebut menyatakan: “Fokus eksklusif pada kecepatan sering mengorbankan stabilitas. Sebuah pipeline yang dioptimalkan untuk mengirimkan perubahan yang belum diverifikasi tidak lebih dari cara yang sangat efektif untuk mengirim bug ke pengguna dan memaparkan organisasi Anda pada risiko yang tidak perlu. Agar dapat bertindak cepat dengan percaya diri, Anda memerlukan jalur pipa untuk melindungi dari semua potensi titik kegagalan dan memberikan wawasan yang dapat ditindaklanjuti yang memungkinkan Anda untuk segera memperbaiki kerusakan, sebelum mencapai produksi.

Untuk mendapatkan umpan balik yang produktif di seluruh pipeline, pengujian ekstensif diperlukan di semua tahap, sehingga pipeline yang optimal adalah waktu tersingkat yang diperlukan untuk menjalankan semua pengujian ini. Patokan 10 menit tampaknya menjadi waktu tersingkat untuk menghasilkan hasil tes ini.

Untuk perusahaan yang disurvei dalam laporan tersebut, kinerja rata-rata adalah 3,3 menit.

Waktu pemulihan rata-rata mengukur waktu rata-rata yang diperlukan untuk beralih dari sinyal build yang gagal ke eksekusi pipeline yang berhasil. Untuk perusahaan yang telah membuat saluran pipa di mana mereka memiliki gambaran lengkap tentang kesehatan kode mereka dan kemungkinan titik kegagalan, akan lebih mudah untuk mengembalikan sistem ke keadaan siap pakai setelah kegagalan.

“Mendiagnosis kegagalan dan mengimplementasikan perbaikan menjadi masalah mengevaluasi hasil pengujian dan memperbaiki atau mengembalikan kekurangan daripada terlibat dalam perburuan bug tanpa akhir,” kata laporan itu.

Laporan tersebut juga menemukan bahwa meskipun tolok ukur untuk metrik ini adalah 60 menit, kinerja bisnis rata-rata lebih lambat dari 64 menit.

Tingkat keberhasilan didefinisikan sebagai “jumlah operan sukses dibagi dengan jumlah total operan selama periode waktu tertentu”.

Menurut CircleCI dalam laporan tersebut, sinyal yang gagal belum tentu merupakan hal yang buruk, karena metrik terpenting adalah kemampuan tim untuk mencerna sinyal dengan cepat dan memperbaiki kesalahan.

Responden survei turun di bawah tolok ukur industri sebesar 90% pada cabang default; Tingkat keberhasilan rata-rata adalah 77%.

“Sementara tidak ada angka yang mencapai tolok ukur 90% kami, pola percabangan non-default yang memiliki jumlah kegagalan yang lebih tinggi menunjukkan bahwa tim menggunakan pola percabangan yang efektif untuk mengisolasi perubahan eksperimental atau berisiko dari kode inti kritis. Dan sementara tingkat keberhasilan tidak berubah Sepanjang sejarah laporan ini, waktu pemulihan telah menurun tajam. Ini adalah tanda yang disambut baik bahwa organisasi lebih memprioritaskan iterasi dan ketahanan daripada perfeksionisme yang membunuh momentum,” menurut laporan tersebut.

Terakhir, throughput – yang merupakan jumlah rata-rata eksekusi alur kerja pada hari tertentu – digunakan untuk mengukur aliran tim saat melacak unit kerja yang bergerak melalui sistem CI. Median industri adalah 1,52 kali per hari.

CircleCI mencatat bahwa throughput belum tentu merupakan ukuran kualitas kerja, jadi penting untuk mempertimbangkannya bersama dengan metrik kinerja lainnya untuk mendapatkan gambaran lengkap.

“Jauh lebih penting daripada volume pekerjaan yang Anda lakukan adalah kualitas dan dampak dari pekerjaan itu. Menguji kode Anda secara menyeluruh dan mempertahankan cabang default Anda dalam status siap untuk diterapkan memastikan bahwa tidak peduli kapan atau seberapa sering perubahan terjadi, Anda dapat yakin perubahan itu akan menambah nilai pada produk Anda dan membuat tim Anda tetap bekerja. daripada kesalahan kemarin,” tulis laporan itu.