Erfolgsdefinition

Definition

Die Bestimmung von Erfolgskriterien setzt eine Auseinandersetzung darüber voraus, was eigentlich unter einer erfolgreichen Virtuellen Forschungsumgebung (VRE) verstanden wird. Diese Auseinandersetzung beinhaltet, den Erfolg von VREs allgemein oder mit Blick auf ausgewählte Stakeholder zu definieren und mittels verschiedener Kriterien in einheitlicher Weise zu beschreiben. Dazu wird zuerst ein generisches Set von Erfolgskriterien eingeführt, welches die verschiedenen Aspekte des Erfolgs einer VRE mittels Indikatoren erhebt und das in entscheidenden Teilen auf der VRE-Definition der Allianz AG „Virtuelle Forschungsumgebungen“ beruht.

Übersicht Erfolgskriterien

Das Kriterienset ist kein feststehender, für alle VREs gleichermaßen geltender Katalog. Es ist notwendig, aus dieser Zusammenstellung die für den jeweiligen Fall relevanten Kriterien – ähnlich einer Menükarte – auszuwählen und zu gegebener Zeit kritisch zu evaluieren. Das Verfahren wird hier dargestellt. Idealerweise sollte die Festlegung auf die zu erreichenden Ziele für eine VRE zu Beginn, d.h. bereits im Zuge des initialen Antragsverfahrens für die VRE durchgeführt werden. Hierbei bestimmt die Nutzercommunity durch ihre Anforderungen, orientiert an ihren wissenschaftlichen Arbeitsprozessen, entscheidend den Leistungsumfang der späteren VRE (Nachfrage), die später von Betreiberseite aus mit einem entsprechenden Angebot bedient wird. Der optimale Abgleich zwischen den Anforderungen der Nutzer und dem Angebot der Entwickler und Betreiber legt die Grundlage für eine erfolgreiche VRE. Darüber hinaus müssen im Auswahlprozesses für die Erfolgskriterien etwaige Zielkonflikte berücksichtigt werden, beispielsweise umfangreiche Funktionswünsche seitens der Nutzer gegenüber begrenzten Ressourcen seitens der Entwickler/Betreiber. Am Ende steht als Ergebnis eine individuelle Erfolgsdefinition für die VRE.

Zusammenfassend lässt sich feststellen:

• Die Definition des Erfolgs einer VRE ist stark von der Akteurs- und Disziplinperspektive abhängig. Die vorliegende Arbeit setzt einen Schwerpunkt auf die Sicht der Entwickler und Betreiber.
• Die Definition von Erfolgskriterien für VREs ist mit erheblichen methodischen Herausforderungen verbunden, das heißt Erfolg ist nicht einfach quantifizierbar und vergleichbar.
• Es gibt kein allgemeingültiges Kriterienset für VREs. Vielmehr ist es sinnvoll, aus einem Kriterienkatalog fallspezifisch ein Set zusammenzustellen und dieses um fachspezifische Kriterien zu erweitern.
• Idealerweise erfolgt die Erfolgsdefinition in der Planungsphase einer VRE, das heißt vor der Aufbau- und Betriebsphase.
• Eine Analyse der VREs entlang eines Lebensphasenmodells ist sinnvoll, da sich Unterschiede hinsichtlich der Erfolgsbeurteilung nicht nur mit Blick auf die Fachrichtung, sondern auch auf die jeweils aktuelle Lebensphase ergeben. In unterschiedlichen Lebensphasen einer VRE können somit verschiedene Kriterien im Vordergrund stehen.
• Damit zusammenhängend gibt es über die Lebensphasen einer VRE hinweg erfolgskritische Wegpunkte, zusammengefasst in Form von Meilensteinen. Hier werden Parallelen zu Planung, Aufbau und Betrieb von anderen Formen von Infrastruktur deutlich. Die erfolgskritischen Wegpunkte während der Lebensphasen sind im Sinne einer fachgerechten Projektsteuerung zu verstehen.
• Definitionsfragen (bspw. virtuell oder kollaborativ) haben in der Praxis eine untergeordnete Bedeutung, wobei sich eine Entwicklung von einem umfassenden VRE-Ansatz, den gesamten Forschungsprozess abbildend, hin zu einem modularen, werkzeugorientierten Ansatz anzudeuten scheint.
• Ein werkzeugorientierter Ansatz hat gegenüber einem dem gesamten Forschungsprozess abdeckenden Ansatz Vorteile. Er konzentriert sich auf bestimmte Abschnitte des Forschungsprozesses und ist in der Lage, besser zwischen Community-“Nachfrage“ und Infrastruktur-“Angebot“ zu vermitteln. Er wird auch der Tatsache besser gerecht, dass generische Werkzeuge (bspw. Wiki, Clouddienste) in der Arbeitsumgebung der Forscher in der Regel bereits vorhanden sind, gegen die generische Werkzeuge einer umfassenden VRE vielleicht nur schwer bestehen können.
• Nur wenige VREs haben bisher strukturierte Überlegungen im Hinblick auf Kostenstrukturen und Geschäftsmodelle angestellt, was damit zusammenhängt, dass die Betriebsphase einer VRE, in der Nachhaltigkeit relevant wird, bisher nur selten erreicht wurde.
• Der Erfolg einer VRE hängt entscheidend von der frühzeitigen Einbindung der späteren Nutzercommunity ab. Dabei ist unter Einbindung die aktive Mitarbeit von Multiplikatoren und „entwicklungskompetenten“ Nutzern zu verstehen, die bei der Anforderungserhebung, aber auch bei der Entwicklung wertvolle Unterstützung leisten können.
• Der Erfolg einer VRE hängt ebenfalls von einer frühzeitigen Berücksichtigung der unterschiedlichen Lebensphasen ab, da sich dies auf die Kostenstrukturen und mögliche Geschäftsmodelle entscheidend auswirkt. Dieser Punkt richtet sich nicht nur an die Entwickler einer VRE, sondern insbesondere auch an ihre Betreiber und Förderer.

Eine detaillierte Darstellung des generischen Sets von Erfolgskriterien findet sich hier.

Methodik

Die Sicht auf den Erfolg einer VRE ist bestimmt durch die Interessen des einzelnen Stakeholders. Eine wissenschaftliche Nutzercommunity hat in der Regel andere Vorstellungen von Erfolg als ein Förderer oder Infrastrukturbetreiber. Diese voneinander abweichenden Gesichtspunkte äußern sich – wie oben ausgeführt – in Zielkonflikten, die durch die VRE konzeptuell adressiert werden müssen.

Übersicht des Prozesses zur Definition von Erfolgskriterien

Der in der nebenstehenden Abbildung dargestellte Prozess zur Erfolgsbeurteilung stellt sich wie folgt dar: Er beginnt für alle Stakeholder mit der Auswahl von Kriterien aus dem Gesamtset der weiter oben beschriebenen Erfolgskriterien. Diese werden durch fach- oder fallspezifische Kriterien ergänzt, so dass im Ergebnis eine Erfolgsdefinition vorliegt. Diese Erfolgsdefinition wird sich von VRE zu VRE unterscheiden. Zeitlich findet die Erfolgsdefinition als Zielvorgabe vor dem Aufbau der VRE statt, in der Regel im Rahmen der Antragsstellung für die Aufbauphase. Die weitere Ausgestaltung und spezifische Entwicklung der VRE folgt dann diesen Zielvorgaben. Wichtig ist in jedem Fall, dass die Zielvorgaben durch die beteiligten Akteure selbst definiert werden und ein Einigungsprozess stattfindet.

Literatur und Verweise

• Stefan Buddenbohm, Harry Enke, Matthias Hofmann, Jochen Klar, Heike Neuroth, Uwe Schwiegelshohn: "Erfolgskriterien für den Aufbau und nachhaltigen Betrieb Virtueller Forschungsumgebungen" DARIAH-DE Working Papers Nr. 7. Göttingen: DARIAH-DE, 2014. URN: http://nbn-resolving.de/urn:nbn:de:gbv:7-dariah-2014-5-4
• Uwe Schwiegelshohn, Heike Neuroth, Harry Enke, Stefan Buddenbohm, Matthias Hofmann, Jochen Klar (2014): A Lifecycle Model for Collaborative Research Environments: In: GI-Edition - Lecture Notes in Informatics (LNI) 7. DFN-Forum Kommunikationstechnologien. Bonn: Köllen Verlag. Link zum Verlag
• Stefan Buddenbohm (2014): Erfolgskriterien für den Aufbau und nachhaltigen Betrieb Virtueller Forschungsumgebungen - Poster Projektergebnisse).
• Stefan Buddenbohm, Jochen Klar (2014): Lebensphasen und Erfolgskriterien für Virtuelle Forschungsumgebungen (DFG-VRE) - Vortrag im Rahmen eines Workshops zum Integrierten Monitoring bei TextGrid, Berlin, 21.11.2014).
• Stefan Buddenbohm, Jochen Klar (2015): Erfolgskriterien für Virtuelle Forschungsumgebungen - Abbildung: Success Criteria for Virtual Research Environments (CC-BY 4.0).