Kategorien
Strategie

Benchmark

Kritik und Verbesserungsvorschläge

Aus der IT-Strategie-Perspektive ist die Konzentration auf die Beurteilung von IT-Kosten und Mengenangaben anhand vergleichbarer Benchmark-Ergebnisse attraktiv. Es ist einfach, das IT-Leistungsniveau einer anderen Universität als Ziel festzulegen und ein Programm zu entwickeln, um dieses Ziel zu erreichen. Diese isolierte Perspektive wird möglicherweise nicht zu einer dauerhaften Verbesserung der Leistungsfähigkeit führen, solange die Erkenntnisse der Benchmark-Ergebnisse nicht im Zusammenhang mit weiteren Perspektiven betrachtet werden (vgl. Kaplan und Norton 1997, S. 219). Die Balanced Scorecard, die ebenso als Instrument zur Leistungsmessung und strategischen Ausrichtung in Unternehmen Anwendung findet, ergänzt die finanzielle und strategische Unternehmensperspektive um weitere Perspektiven auf Prozesse in Unternehmen, die Kompetenz und Entwicklung der Mitarbeiter des Unternehmens und die Zufriedenheit der Nutzer.

Aus der „Vogelperspektive“ der IT-Strategie sind die Benchmark-Ergebnisse im Zusammenhang mit der jeweiligen IT-Organisation, dem IT-Portfolio, dem IT-Budget und der Qualität der bereitgestellten IT-Services zu betrachten. Diese Zusammenhänge lassen sich auf Basis der Benchmark-Ergebnisse jedoch nur unvollständig herstellen.

Abbildung 4 – Zusammenhänge und Abhängigkeiten bei der Betrachtung von IT-Portfolios im Rahmen des Benchmarkings.

Ein weiterer Aspekt, der unberücksichtigt bleibt, ist der Umgang mit Innovationen, die insbesondere bei größeren Projekten im IT-Bereich oft strategischen Charakter haben und aus Sonder-Budgets bezahlt werden.

Die IT-Organisation wird grundsätzlich durch die Gliederung in dezentrale und zentrale IT-Bereiche berücksichtigt. Die für Bench IT! NRW erfassten Daten stellen nur unzureichend Informationen für die Projektion der Kennzahlen auf die IT-Organisation dar. Um interne Redundanzen sichtbar zu machen und die Verteilung der IT-Services innerhalb der IT-Organisation transparent darzustellen, müssten die teilnehmenden Einrichtungen diese Daten bereitstellen und IT-Services definieren oder alternativ Schätzwerte angeben.

Das IT-Portfolio beschreibt das für die Nutzer bereitgestellte IT-Service-Angebot und wird gut in Form von Kosten- und Mengenangaben durch die Benchmarks erfasst.

Die Perspektive der IT-Budgets reflektiert die Verteilung der IT-Kosten innerhalb der Universität. Eine Zuordnung zu oder Annäherung dieser Budgets an Kennzahlen oder Benchmark-Angaben könnte Vorteile für das interne IT-Controlling bieten und wäre hilfreich bei der Zusammenstellung der Benchmark-Angaben. Diese Zuordnung ist zum Teil vorhanden; in den überwiegenden Fällen ist jedoch keine direkte Verbindung zwischen Kennzahlen und IT-Budgets möglich. Die IT-Organisationseinheiten, denen die IT-Budgets zugewiesen wurden, können daher in den überwiegenden Fällen nicht mittels Benchmarking direkt „gemessen“ werden, und das Finanz-Controlling der Universität ermittelt die für das Benchmarking notwendigen Angaben dediziert.

Als zusätzliche, bisher nicht benannte Perspektiven soll hier noch auf den Benchmark-Aufwand und die Benchmark-Partner eingegangen werden. Die Gruppe der an den Benchmarks teilnehmenden Universitäten setzt sich auf Basis der gemeinsamen Interessenlage zusammen. Zu diesen Partnern gehören nicht zwingend die „Besten“ (vgl. Zollo 2010, S. 20), und die Leistungsvielfalt und Variationsbreite der IT-Organisationen kann sehr unterschiedlich ausfallen. Daher ist ein Vergleich mit mehreren oder mit der gesamten Gruppe der teilnehmenden Universitäten sinnvoll. Um die Daten zu Kosten und Mengenangaben für den Benchmark zusammenzustellen nicht nur die vorliegenden Daten heranzuziehen, sondern auch verschiedene Stellen der Universität beteiligt. Der Aufwand und Umfang dieser Beteiligungen steigt mit dem Detaillierungsgrad des Benchmarks. Neben der Erfassung entstehen durch Vorbereitung, Review, Clearing, Qualitätsmanagement, Auswertung und dem anschließenden internen Verbesserungsprozess Anforderungen an Personal-Ressourcen in den teilnehmenden Universitäten.

Verbesserung des Kennzahlenmodells

Die Erweiterung des Kennzahlenmodells führt grundsätzlich zu einem höheren Erfassungsaufwand, dieser sollte daher als Maßstab für die Prüfung von Verbesserungsvorschlägen Verwendung finden. Bereits bestehende Daten, automatisiert ermittelbare Daten oder vereinfachte gut abschätzbare Daten sind vorzuziehen, sofern gemeinsame Qualitätskriterien erreicht werden können. Zusätzliche Daten und Kennzahlen können zu internen IT-Controlling-Zwecken und als Erfahrungswerte für die Planung zukünftiger Maßnahmen wiederverwendet werden, daher wäre eine angepasste Datenbasis wünschenswert (vgl. Gadatsch 2014, S. 193). Ein intern abgestimmtes Kennzahlenmodell zwischen zentralen und dezentralen Bereichen könnte die Erfassung der Daten oder eine bessere und transparentere Schätzung von Daten ermöglichen. Eine Verbesserung der Abstimmung und Definition der Kennzahlen wäre durch einen in der Erfassung integrierten Kennzahlen-Steckbrief möglich (vgl. Beims 2012, S. 205; vgl. Marx Gómez 2009, S. 154–155). Angaben, wie die Beschreibung und Abgrenzung der Kennzahl, die zugehörigen Werte, weitere beteiligte Kennzahlen und die Art des Vergleichs, könnten zur Optimierung der Erfassung beitragen.

Einige Verbesserungs- und Erweiterungsideen zum Kennzahlen-Modell sollen hier beispielhaft in der Abwägung zum Erfassungsaufwand aufgeführt werden:

  • Eine Kennzahl für die Schulungskosten pro IT-Mitarbeiter
  • Eine Kennzahl für die Entwicklung der IT-Budgets in den letzten 5 oder 10 Jahren bietet sich zukünftig als Längsschnitt der Daten an
  • Eine Kennzahl für den Bereich Lehre oder E-Learning
  • Eine Kennzahl für den Bereich High Performance Computing und den Bereich Management von Forschungsdaten
  • Ein abgestimmter Korrekturfaktor für die teilnehmenden Uni­versitäten mit medizinischer Fakultät.
  • Eine Kennzahl zur Größe von E-Mail Postfächern
  • Eine Plausibilitätsprüfung und präzisere Abstimmung der Kennzahlen zur Darstellung der PC-Arbeitsplätze

Verbesserung des Qualitätsmanagement

Das Qualitätsmanagement innerhalb von Benchmarking kann als eigener kontinuierlicher Prozess beschrieben werden, der die Qualität von Benchmarking kooperativ weiterentwickelt. Die Darstellung qualitativer Verbesserungspotentiale und die Weiterentwicklung und Veränderung des Benchmark-Prozesses sollen in Anlehnung an Reifegrad-Modelle (vgl. Beims 2012, S. 215–222) entwickelt werden. Ein initialer Reifegrad auf Stufe 1 besteht für „Ad-hoc-Aktivitäten“ oder Prozesse denen bislang keine Ressourcen zugeteilt wurden und die kaum Bedeutung oder Beachtung finden (vgl. Beims 2012, S. 216). Diesen Reife­grad würde ein interner Prozess einer einmalig am Benchmark teilnehmenden Einrichtung erreichen. Ein wiederholbarer Prozess auf Stufe 2 ist mit geringen Ressourcen ausgestattet und wird unregelmäßig und unkoordiniert auf Basis informell bekannter Dokumentation durchgeführt. Ein definierter Prozess mit der Reifegradstufe 3 ist dokumentiert, hierbei gibt es einen Prozessverantwortlichen, Ziele, Rahmenbedingungen und zugewiesene Ressourcen. Berichte oder Ergebnisse werden dokumentiert.

Abbildung 5 – Reifegrad-Darstellung in Anlehnung an das Capability Maturity Model (CMM)

Im konkreten Fall der untersuchten Benchmark-Initiativen entspricht die Qualität der Kennzahlen eher dem geringeren Reifegrad auf Stufe 2, da einige Daten noch nicht systematisch oder vollständig in den Universitäten erfasst werden. Des weiteren wurde auch die Umfrage zur Nutzerzufriedenheit als Bestandteil von Bench IT! NRW noch nicht umgesetzt. Rahmenbedingungen zu Schätzungen oder zum Umgang mit größeren Abweichungen zu Vorjahreszahlen können den Reifegrad und die Qualität des Benchmark-Prozesses und der Kennzahlen verbessern. Die zusätzliche Dokumentation stärkerer Abweichungen im Verhältnis zu den Werten des Vorjahres könnte Fehler auf­decken und den Review-Prozess vereinfachen und verbessern. BencHEIT nimmt in der nächsten Erhebung in diesem Punkt Verbesserungen durch die während der Erfassung erfolgende zusätzliche Anzeige der Vorjahreswerte vor. Ein Prozess des Reifegrades 4 liegt vor, wenn sowohl Vorgaben wie auch Zieldefinitionen existieren und der Prozess vollständig definiert und gesteuert erfolgt. Weiterhin sind neben dem eigentlichen Prozess auch alle Schnittstellen und Abhängigkeiten dokumentiert, ferner existiert eine verbindliche Zeitplanung (vgl. Buchmann u. a. 2014, S. 159). Dieser Reifegrad wird größtenteils durch Bench IT! NRW und EUNIS BencHEIT erreicht. Ziel der Benchmark-Initiativen ist ein dauerhafter Prozess, daher wurden die Werkzeuge und Ressourcen zur Erfassung, der Zeitplan und der Prozess selber auf eine regelmäßige Wiederholung ausgelegt. Die Prozesse an den lokalen Universitäten folgen dem allgemeinen Zeitplan. Die Benchmark-Ergebnisse werden seitens der Benchmarkverantwortlichen im Hinblick auf notwendige Korrekturen analysiert und fließen wieder in den Benchmark-Prozess ein. Eine Schwachstelle dieses Reifegrads besteht aufgrund der fehlenden präzisen Beschreibungen der IT-Services. Abgestimmte Beschreibungen und entsprechende Service-Kataloge an den teilnehmenden Universitäten würden die Qualität verbessern und diese Schwachstelle schließen.

Strategie-Rückkopplung

Die Benchmark-Ergebnisse tragen nur in geringem Umfang zur potentiellen Verbesserung der Ziel-Erreichbarkeit im Zusammenhang mit übergeordneten strategischen Zielen bei.

Das Erreichen der abgeleiteten hochschulstrategischen IT-Ziele, wie beispielsweise die Digitalisierung der Informationssysteme oder die Schaffung von digitalen Umgebungen oder Plattformen lässt sich in Teilbereichen durch die zusätzliche Berücksichtigung der Benchmark-Ergebnisse optimieren. Die isolierte Betrachtung der Benchmark-Ergebnisse stellt indes keine ausreichende Basis für weitreichende strategische IT-Entscheidungen dar.

Die mit dem IT-Management der teilnehmenden Universitäten abgestimmten Ziele für Bench IT! NRW wurden mit Ausnahme des Ziels der „Etablierung eines kontinuierlichen Prozess zur Identifizierung und Übernahme von Best Practices“ erreicht. Dieses Ziel könnte im Rahmen der positiven Zusammenarbeit der Universitäten in der Benchmark-Kooperation durch die Weiterentwicklung und Verbesserung des Benchmark-Prozesses erreicht werden. Diese Analyse der Bench IT! NRW Ziel-Erreichbarkeit unterstützt die Aussage, Benchmarking nicht isoliert, sondern als ergänzendes IT-Management-Werkzeug anzuwenden.