diff --git a/tests/runtests.pl b/tests/runtests.pl
index a4dc68e142..19a9445f03 100755
--- a/tests/runtests.pl
+++ b/tests/runtests.pl
@@ -2622,6 +2622,10 @@ sub disabledtests {
             }
         }
     }
+    else {
+        print STDERR "Cannot open $file, exiting\n";
+        exit 3;
+    }
 }
 
 #######################################################################