Benchmark

Ergebnisse

Mengen und IT-Kosten an Universitäten und in Benchmarks

Ein Instrument wie Benchmarking kann die unterschiedlichen IT-Strukturen von Universitäten nur begrenzt erfassen um eine sinnvolle Vergleichbarkeit herzustellen. Die für die Benchmarks erfassten Mengenangaben lassen sich in den zentralen IT-Bereichen zum Teil sehr gut ermitteln. So sind die Mengenangaben der Hochschulrechenzentren, der Bibliotheken und der zentralen Universitätsverwaltung bereits in großen Teilen vorhanden. Die Mengenangaben für die dezentralen IT-Bereiche werden aus Gesamtanzahlen abgeleitet, geschätzt oder liegen in anderen Fällen ebenso vor. Einige Angaben, wie die Anzahl der dezentralen Netzwerkdrucker, liegen beispielsweise bei vielen Einrichtungen nicht im geforderten Detaillierungsgrad vor, können jedoch gleichermaßen durch Ableitungen aus Gesamtanzahlen oder Schätzungen ergänzt werden. Die erfassten Angaben zu Kosten sind aufwändiger zu ermitteln, da sich die Kostenstruktur der Universitäten an Organisationseinheiten, siehe IT-Organisation in „Tabelle 1“, orientiert und die geforderten Querschnittsinformationen zu Kosten schwieriger zu ermitteln sind. Beispielsweise müsste das Budget für zentrale Softwareanschaffungen aufgeteilt werden auf Anteile für Arbeitsplatz PCs und weitere Bereiche.

Die dezentralen IT-Kosten müssen überwiegend aus Gesamtanzahlen abgeleitet oder geschätzt werden.

Analyse und Bewertung von Benchmark-Ergebnissen

Zur Analyse der Benchmark-Ergebnisse wurden insbesondere die für Bench IT! NRW abgestimmten Kennzahlen, unterteilt auf drei Gruppen, untersucht und auf eine Universität bezogen. Die erste Gruppe umfasst kostenorientierten Kennzahlen, wie beispielsweise „IT-Kosten pro Abschluss“. Die zweiten Gruppe umfasst Kennzahlen, die Kostenanteile, wie beispielsweise den IT-Kostenanteil am Gesamtbudget, beschreiben. Die dritte Gruppe beinhaltet die mengenorientierten Kennzahlen. Als Untersuchungsmethodik wurde das arithmetische Mittel, der jeweiligen Kennzahl, über alle Universitäten gebildet und mit der Kennzahl einer ausgewählten Universität verglichen. Bei auffälligen Abweichungen wurden die einzelnen Kennzahlen verglichen, die Verteilung der Werte einbezogen und die Berechnungsmethode geprüft.

Konkrete Zahlen können aufgrund der Geheimnisvereinbarung über die jeweiligen Kennzahlen der teilnehmenden Universitäten nicht dargestellt werden. Aus den konkreten Ergebnissen lassen sich jedoch Kritikpunkte und allgemeine Analysen ableiten, die im Folgenden durch einige Beispiele dargestellt werden.

Kennzahlen wie die „Kosten pro Kennung“ stellen sich als eine unauffällige Kennzahl heraus. Die Universitäten liegen bei den Ergebnissen mit geringer Abweichung sehr nah bei einander. Die Kennzahlen zu „IT-Kosten pro Abschluss“ und die Kennzahlen zu „Betreuungskosten pro PC-Endgerät“ variieren beispielsweise sehr stark weswegen eine genauere Untersuchung der jeweils lokalen Daten der Universitäten bezogen auf das Studienangebot oder bezogen auf den Grad der Dezentralisierung als geboten erscheint. In der Gruppe der Kostenanteile sind der „Anteil der IT-Kosten am Gesamtbudget“ und der „Anteil der IT-Personalkosten an den Personalkosten der Hochschule“ als Vergleichskennzahlen geeignet. Die Verteilung der Kosten als „Anteil zentrale Kosten“, „Anteil verteilt zentrale Kosten“ und „Anteil dezentrale Kosten“ ist nur teilweise sinnvoll nutzbar, da die Kennzahlen zum Teil nur von wenigen Universitäten angegeben wurden. Der Anteil der zentralen Kosten als Teil der IT-Kosten wurde, trotz der diesbezüglichen Unterschiede, von den teilnehmenden Universitäten sehr ähnlich angegeben und erscheint als Kennzahl daher belastbar. Ein Vergleich des Anteils der dezentralen Kosten und der „verteilt zentralen Kosten“ war aufgrund von unvollständigen oder zu geringen Vergleichsdaten nicht sinnvoll möglich. Im Bereich der mengenorientierten Kennzahlen geben die teilnehmenden Universitäten mehrheitlich ähnliche Werte für die Kennzahl „WLAN-Ports pro Studierende“ an. Dem gegenüber fallen stärkere Abweichungen bei der Kennzahl „WLAN-Ports pro WLAN-Nutzer“ auf. Die Kennzahl „PC-Arbeitsplätze je Mitarbeiter“ wurde von allen Universitäten berichtet, jedoch in unterschiedlicher Qualität. Drei Einrichtungen geben für die Kennzahl nur die zentralen PC-Arbeitsplätze an, während drei weitere Einrichtungen nach dezentralen und zentralen PC-Arbeitsplätzen unterscheiden. Die Kennzahl „Pool-PC-Arbeitsplätze je Studierendem“ wurde gleichermaßen in sehr unterschiedlicher Qualität bezüglich zentraler oder dezentraler Angaben dargestellt. Die Kennzahl „Tickets pro Kennung“ wurde von den teilnehmenden Universitäten sehr unterschiedlich erfasst, so geben ein Teil der Universitäten fast die doppelte Menge an als der übrige Teil der Universitäten. Für diese Kennzahl erscheint die Untersuchung der jeweils lokalen Daten bezogen auf den Support-Service und dessen Rahmenbedingungen als interessante Option. Eine weitere Kennzahl „Globaler Zufriedenheitsscore“ wurde von wenigen Universitäten angegeben, die bereits die hierzu erforderlich Umfrage in ihrer Einrichtung durchgeführt hatten.

Bewertung der IT-Benchmarking-Ansätze

Die Benchmark-Ergebnisse stellen für die teilnehmenden lokalen Universitäten eine mögliche Basis zur Untersuchung von Entwicklungspotentialen für den IT-Bereich dar. Ausgewählte Ergebnisse können im Nachgang gemäß Stärken und Schwächen gegliedert und als Potentiale für Chancen oder Gefahren in den Universitäten dargestellt und bearbeitet werden. Sowohl die Möglichkeit überhaupt an Bench IT! NRW teilzunehmen und damit Zugang zu den Teilnehmer-Daten zu bekommen, als auch die strukturierte Erfassung der für den Benchmark notwendigen Daten führen zu einer verbesserten Datenbasis an jeweiligen Universitäten, die als Stärke und Chance eingeordnet werden kann. Entwicklungspotentiale bestehen hinsichtlich der Durchführung der Umfrage zur Nutzerzufriedenheit.

Innerhalb der für Bench IT! NRW erfassten Mengen und Kosten wurden für den Bereich HPC Mengenangaben gemacht, die bedauerlicherweise nicht zu einer Kennzahl aggregiert wurden. Bench IT! NRW verzichtet bewusst auf den Detaillierungsgrad, wie ihn beispielsweise EUNIS BencHEIT liefert. Dennoch wären folgende Mengenangaben oder Kennzahlen wünschenswert:

• E-Mail Postfachgröße pro Kennung: Insbesondere im Hinblick auf die Bemühungen einiger Universitäten, ihre E-Mail-Services für Studierende durch Outsourcing zu realisieren.
• Anzahl aktiver Nutzer des zentralen Learning Management Systems (LMS) pro Studierendem und die Anzahl der Kurse pro Studierendem im zentralen LMS, um die IT-Aktivitäten in der Lehre besser vergleichen zu können.
• Die Anzahl der Rechenoperationen pro Beschäftigtem oder Drittmittel könnte als Kennzahl eine Vergleichsbasis für den HPC-Bereich darstellen.

Bewertung des Benchmark-Prozesses und des Kennzahlen-Modells

Benchmarking stellt die teilnehmenden Universitäten vor zwei grundsätzliche Herausforderungen:

• Den Benchmark-Prozess als Gruppe der teilnehmenden Einrichtungen und den lokalen Prozess innerhalb der Einrichtung
• Das Kennzahlen-Modell und die Analysen und Schlüsse, die die lokalen Einrichtungen aus den gewonnenen Informationen ableiten

Einen initialen Benchmark-Prozess, ein anfängliches Kennzahlen-Schema und den ersten Erfassungsdurchlauf abzustimmen, stellt eine zusätzliche Herausforderung dar. Die zwischen Universitäten vorhandene Kooperationsbereitschaft und die Erfahrungen einiger Uni­versitäten mit BencHEIT bildeten einen guten Ausgangspunkt für die Benchmark-Initiative Bench IT! NRW. Mit Blick auf die Realisierbarkeit und die Benchmark-Kosten wurde das Bench IT! NRW Kennzahlen-Modell gegenüber BencHEIT verkleinert und konzentriert; dennoch sind 2-3 Personentage zur Bearbeitung der Prozessschritte in jeder Einrichtung erforderlich. Die Benchmark-Prozesse Bench IT! NRW und BencHEIT wurden gleichermaßen mit Qualitätsmanagement-Funktionen ausgestattet. So werden in der Anfangsphase eines Benchmark-Durchlaufs Korrekturwünsche und Maßnahmen zur Qualitätsver­besserung berücksichtigt. Später, nach der Datenerfassung, stellt das Review der Daten eine weitere Funktion zur Verbesserung der Qualität bereit. Das Review stellt sicher, dass die Benchmark-Daten der verabredeten Systematik entsprechen und in einer plausiblen Größenordnung erfasst werden.

Der Bench IT! NRW Benchmark-Prozess konzentriert sich auf die Datenerhebung und das Bereit­stellen der Kennzahlen. Die Frage nach den Optimierungsmöglichkeiten des IT-Portfolios lässt sich erst durch den konkreten Vergleich der IT-Services mit denen der jeweils gut abschneidenden Einrichtungen beantworten. Die Qualitätsmessung der IT-Services ist ebenso wie die Beschreibung des Serviceumfangs eine wichtige Voraussetzung für die Analyse von IT-Portfolio-Optimierungen (vgl. Zollo 2010, S. 25). Eine Ergänzung des Benchmark-Prozesses um einen Workshop, der nicht nur die finalen Ergebnisse darstellt, sondern den jeweils besten Einrichtungen die Möglichkeit gibt, ihr IT-Portfolio darzustellen, könnte wertvolle Best Practice Beispiele zur Optimierung von IT-Portfolios hervorbringen (vgl. Zollo 2010, S. 20). Eine Darstellung von Best Practice Beispielen könnte eine besondere Stärke einer lokalen Gruppe, wie Bench IT! NRW sein, insbesondere wenn eine längerfristige Zusammenarbeit angestrebt wird, bei der schon das Datenmodel auf eine möglichst vollständige Datenerfassung fokussiert wird.

Im Kennzahlen-Modell ergeben sich Herausforderungen durch Abweichungen, unvollständig erfasste Daten oder Schätzungen. Der Detaillierungsgrad von Bench IT! NRW und die Konzentration auf wenige Kennzahlen führt aufgrund der Unterschiedlichkeit der teilnehmenden Universitäten zu Ungenauigkeiten, Unklarheiten und Hindernissen, die bei der Beurteilung der Kennzahlen zu berücksichtigen sind. Durch die unterschiedliche Handhabung der Erfassung von dezentralen, zentralen und verteilt zentralen Kosten- und Mengenangaben sind diese Kennzahlen nur eingeschränkt vergleichbar.

Bench IT! NRW begegnet Ungenauigkeiten mit Vorgaben zur Qualität von Schätzungen. Es wurden jedoch anstelle von Schätzungen häufig keine Angaben gemacht. Unge­nauigkeiten entstehen ebenso durch unterschiedlich gehandhabte Bezugsgrößen wie beispielsweise das Einbeziehen von Studentischen Hilfskräften im Bereich Personal.

Die Kennzahl „Tickets pro Kennung“ berücksichtigt nicht die persönlichen und telefonischen Kontakte zum Helpdesk, daher ist bei der Beurteilung dieser Kennzahl die Konzeption des Nutzer-Supports, der sich bei einer Campus-Universität anders als bei einer geografisch dezentral verteilten Universität darstellt, zu berücksichtigen. Für die Universitäten mit medizinischer Fakultät ergibt sich ein asymmetrisches Bild, da bei Bench IT! NRW die Gesamtbudgets, die Personalbudgets wie auch der Umfang der Drittmittel jeweils ohne die Budget-Anteile der Medizin erfasst, die Studierenden der medizinischen Fakultäten allerdings bei der Studierenden-Anzahl und bei den Abschlüssen berücksichtigt wurden. Der Bereich Forschung wird durch keine abgestimmte Kennzahl dargestellt, obgleich mit Angaben zu HPC, Servern, Speichersystemen und Drittmitteln geeignete Mengen- und Kostendaten vorliegen. Um den Bereich Forschung optimaler durch Bench IT! NRW abzubilden und zur Verbesserung der Vergleichsmöglichkeiten, wäre die Aggregation einer geeigneten Kennzahl auf Basis von Rechenoperationen oder Speicherplatz empfehlenswert.

Das Kennzahlen-Modell und der Benchmark-Prozess werden generell positiv eingeschätzt. Das Kennzahlen-Modell wird auf Basis der Erfahrungen der jeweiligen Benchmark-Durchläufe angepasst und verbessert. Der Benchmark-Prozess wird von der Gruppe ebenso wie die Weiterentwicklung des Kennzahlen-Modells als kontinuierlicher Prozess (vgl. Horváth 2012, S. 354–359; vgl. Kütz 2013, S. 67–69) angesehen. Es wurde eine gute, vertrauensvolle Kooperation (vgl. Kütz 2013, S. 73) zwischen den teilnehmenden Einrichtungen aufgebaut und ein Qualitätsmanagement für die Kennzahlen sowie eine Steuerung für den Benchmark-Prozess eingerichtet. „Review“ und „Clearing“ führt bei Bench IT! NRW zu Transparenz und zu einem besseren Verständnis für die Abläufe und Prozesse der Partner-Einrichtungen (vgl. Zollo 2010, S. 20). Ziel ist die stetige Verbesserung der „IT-Leistungsfähigkeit“, daher wurde die Initiative als Kooperation ohne definierten Endzeitpunkt und nicht als zeitlich befristetes Projekt eingeführt. Die Benchmark-Daten ermöglichen – wenn auch mit Einschränkungen – das Herausarbeiten von Potenzialbereichen oder Best Practice Bereichen an den Universitäten.

Bewertung der Zielerreichung der Benchmark-Ansätze

Bench IT! NRW und EUNIS BencHEIT können jeweils, wenn auch in unterschiedlichem Differenzierungsgrad, als Werkzeuge zur Verbesserung der Kostentransparenz angesehen werden. Die IT-Kosten wurden angemessen differenziert erhoben und in geeigneten, abgestimmten Kennzahlen dargestellt. Ausnahmen sind fehlende Angaben und Kennzahlen zur Verwendung der erfassten Drittmittel sowie allgemeine Angaben zu temporären Mitteln. Zur Verbesserung der Kostentransparenz zwischen den teilnehmenden Universitäten wären Angaben zu solchen temporären Mitteln, mit denen einige sehr umfangreiche IT-Projekte finanziert werden, förderlich. Neben der Verbesserung der Kostentransparenz, Aspekten wie der Steigerung der Effizienz und dem Aufdecken von Potenzialbereichen, stellt sich die generelle Frage nach dem geeignetsten IT-Portfolio. Auf den ersten Blick erscheint die detaillierte Erhebung wie die umfangreichere Vor- und Nachbereitung mittels Workshops der BencHEIT Gruppe geeigneter für die Portfolio-Planung. Die Unterschiede der teilnehmenden Einrichtungen bezüglich Größe, Organisationsform und Budget bereiten jedoch ebenso Herausforderungen wie der Vergleich der Ausprägung der konkreten IT-Services. Die kleinere Bench IT! NRW Gruppe bietet aufgrund der bereits vorhandenen Kooperation zwischen den Universitäten und der ähnlicheren Ausprägung der IT-Services eine gute Basis zur Verbesserung der IT-Portfolios. Der Vergleich von Kosten- und Mengen-Kennzahlen könnte durch Angaben zum Umfang der IT-Services und durch Qualitätsindikatoren optimiert werden. Zum Vergleich von Leistungsbestandteilen des IT-Portfolios oder der konkreten IT-Services ist eine Darstellung des jeweiligen Leistungsumfangs in einer möglichst unter den teilnehmenden Einrichtungen abgestimmten Form erforderlich. Eine derartige Maßnahme könnte auf der Leistungsseite zu mehr Transparenz und indirekt – über eine Gewichtung der Kennzahlen – zu einer Verbesserung der Vergleichbarkeit führen. Die Qualität der IT-Services kann aufgrund der gewonnenen Qualitätsindikatoren aus der Nutzerumfrage ebenso zur Gewichtung der Kennzahlen herangezogen werden. Die Qualitätsindikatoren bieten darüber hinaus, und zusätzlich zu der bisher innerhalb von Bench IT! NRW abgestimmten Kennzahl „Globaler Zufriedenheitsscore“ Potenzial für differenzierte Qualitätskennzahlen. Die Portfolio-Analyse stellt auf Basis der vorhandenen Daten eine Herausforderung dar, da die IT-Services nicht definiert oder beschrieben sind und die Nutzerumfrage bislang erst von zwei Einrichtungen durchgeführt wurde.