Warum MTTR schlecht für SecOps ist

  • Kerry Matre, Senior Director bei Mandiant, erörtert die geeigneten Metriken zur Messung der SOC- und Analystenleistung und wie MTTR zu schlechtem Verhalten führt.

    Mean time to resolution (MTTR) ist eine in der Sicherheitsbranche häufig verwendete Metrik. Während sie für die Risikofunktion eines Unternehmens von Nutzen ist, gehört sie nicht in den Sicherheitsbetrieb (SecOps).

    Lassen Sie uns zunächst klarstellen, was Reporting im Gegensatz zu Metriken ist. Das Berichtswesen misst die Aktivität und führt nicht zu spezifischen Maßnahmen, die auf den Zahlen basieren. In einem Security Operations Center (SOC) kann das Reporting die Anzahl der Alarme oder Vorfälle, die Anzahl der False Positives oder die Anzahl der Analysten im Unternehmen umfassen. Metriken hingegen geben Aufschluss darüber, wie ein SOC arbeitet und helfen dabei, Verbesserungsmöglichkeiten zu identifizieren. Metriken geben dem Unternehmen Vertrauen in den Service, der von der Security Operations Organisation erbracht wird. Wenn eine Metrik das Unternehmen nicht informieren und Veränderungen vorantreiben kann, dann ist es eine Metrik, auf die man verzichten sollte.

    MTTR ist keine gute Metrik und problematisch, wenn sie zur Berichterstattung über Aktivitäten innerhalb eines SOC verwendet wird.

    In einem Network Operations Center (NOC) hat die Betriebszeit Priorität, und MTTR ist ein effektives Maß für die Leistung. In einem SOC kann die Messung der Analystenaktivität mit MTTR jedoch zu einem falschen Verhalten führen. Wenn Analysten danach bewertet werden, wie schnell sie einen Alarm oder Vorfall abschließen, dann werden sie dazu angehalten, Untersuchungen zu überstürzen und keine Updates in die Kontrollen einzuspeisen. Dies führt dazu, dass dieselben Angreifer wiederholt in der Konsole eines Analysten auftauchen, weil sie aufgrund früherer Vorfälle nicht effektiv blockiert wurden.

    Noch schlimmer als die Motivation für überstürzte Untersuchungen ist, dass MTTR Analysten dazu verleiten kann, Alarme zu ignorieren, die eigentlich untersucht werden sollten. In einem aktuellen IDC InfoBrief von FireEye mit dem Titel “The Voice of the Analysts: Improving Security Operations Center Processes Through Adapted Technologies” wurde bestätigt, dass Analysten tatsächlich Alarme ignorieren. Der Bericht ergab, dass 35 Prozent der internen Analysten und 44 Prozent der Analysten, die bei Managed Security Service Providern (MSSP) arbeiten, diese ignorieren, weil sie mit False Positives und übermäßigen Alarmen überfordert sind. Die Produktivität mit MTTR zu messen, kann diesen Stress noch verstärken und wiederum ein schlechtes Verhalten bei der Alarmverarbeitung provozieren.

    Ein weiteres Beispiel für schlecht motiviertes Analystenverhalten, das durch MTTR in einem SOC angetrieben wird, ist die Praxis der Rosinenpickerei bei Alarmen. Wenn die Effizienz der Analysten an der MTTR gemessen wird, kann dies dazu führen, dass sie Alarme bevorzugen, von denen sie wissen, dass sie sie schnell abschließen können. Dies kann den Vergleich zwischen der Effizienz eines Analysten und der eines anderen verzerren. Cherry-Picking führt auch dazu, dass schwierigere oder aufwändigere Untersuchungen verzögert werden, wodurch sich die Verweildauer von Angreifern möglicherweise erhöht.

    Wann ist MTTR für ein SOC wertvoll?

    Andererseits ist MTTR für die Berichterstattung innerhalb eines SOC bei der Bewertung von Automatisierungstools wertvoll. Wenn Analysten bei ihren Untersuchungen und Abhilfemaßnahmen konsistent sind, kann MTTR verwendet werden, um die Auswirkungen einer zusätzlichen Automatisierung zu bewerten. Wenn eine neue Technologie implementiert wird, die es den Analysten ermöglicht, ihre Aufgaben schneller zu erledigen, kann MTTR zur Validierung und Quantifizierung der Gewinne verwendet werden.

    Gute Metriken für die SOC-Leistung

    Wenn MTTR schlecht ist, um die Effektivität eines SOCs zu messen, was sind dann gute Metriken dafür?

    Ereignisse pro Analystenstunde: Gute Metriken ermöglichen es einer Organisation, Maßnahmen zu ergreifen, um ihren Betrieb zu verbessern. Der Goldstandard für Sicherheitsoperationen sind Ereignisse pro Analystenstunde (EPAH). Dies ist ein solides Maß dafür, wie überlastet ein Analyst derzeit ist. Wenn die EPAH 100 Stunden beträgt, sind die Analysten überfordert. Wenn Analysten überlastet sind, ignorieren sie Alarme und überstürzen Untersuchungen. Ein angemessener EPAH liegt bei 8 – 13 Stunden. EPAH kann das Unternehmen darauf aufmerksam machen, dass Maßnahmen erforderlich sind. Die Maßnahme kann in der Schulung der Mitarbeiter, in einer verstärkten Automatisierung oder in zusätzlichen Mitarbeitern bestehen, um die Last der Alarme zu bewältigen.

    Abstimmungen pro Technologie: Ein weiteres operatives Problem in SOCs ist die Überfülle an Fehlalarmen. Die oben erwähnte IDC-Studie gab einen Prozentsatz von False Positives an, der Analysten mit 45 Prozent belastet. Die Verfolgung der Anzahl von False Positives und der Anzahl von Tunes pro Technologie kann aufzeigen, welche Technologien die meiste Mehrarbeit für Analysten verursachen. Das ständige Abstimmen von Technologien ist eine administrative Belastung. Eine sorgfältige Bewertung der Effektivität Ihrer Technologien zusammen mit dieser Belastung kann den Wert Ihrer technologischen Investitionen sowie die negativen Auswirkungen auf die Analysten belegen.

    Realisierter Wert der Technologie: Nicht ausgelastete Technologien sind ein großer Rückschlag. Führungskräfte glauben, dass sie das Risiko für ihr Unternehmen reduzieren, indem sie in neue Technologien investieren; die Schutzmaßnahmen wurden jedoch zu den nicht genutzten Technologien hinzugefügt oder die Technologien wurden mit dem minimalen Satz an aktivierten Funktionen bereitgestellt. Nicht aktivierte Schutzmaßnahmen oder Funktionen (z. B. SSL-Prüfung, URL-Filterung) hindern ein SOC daran, Angreifer effektiv zu blockieren. Eine Sicherheitsorganisation sollte Metriken über nicht eingesetzte Technologien, Prozentsätze von Funktionen, die innerhalb der eingesetzten Technologien verwendet werden, und die Effektivität der Technologien gegen reale Angriffe bereitstellen.

    Letztendlich bietet SecOps einen kritischen Service für das Unternehmen. Der Service soll das Vertrauen schaffen, dass die richtigen Kontrollen vorhanden sind, um einen Angriff zu verhindern oder zu erkennen – und dass darüber hinaus die richtigen Prozesse vorhanden sind, um das Sicherheitsteam in die Lage zu versetzen, dies zu tun. Die richtigen Metriken tragen dazu bei, dieses Vertrauen zu schaffen und Einblick in die funktionale Effektivität zu geben und Verbesserungsmöglichkeiten zu identifizieren.

    Kerry Matre ist Senior Director bei Mandiant.

    Weitere Einblicke der InfoSec Insider-Community von Threatpost finden Sie auf unserer Microsite.

    Einige Teile dieses Artikels stammen aus:
    threatpost.com