Mit Forscher*innen, Schüler*innen, Lehrer*innen und Hoffmann-Interessierten zielt das E.T.A. Hoffmann Portal auf vier ganz unterschiedliche Zielgruppen, für die jeweils passende Angebote entwickelt wurden. Ob diese tatsächlich dem Bedarf und den Interessen der Nutzenden entsprechen, und ob diese Nutzenden tatsächlich auch die konzipierten Zielgruppen sind, haben wir im Herbst 2018 mit einer Selbstevaluation ermittelt. Dadurch sollte überprüft werden, wie die verschiedenen Gruppen das Portal nutzen und wie sie jeweils die Inhalte und die Gestaltung des Portals beurteilen. Die hierbei gewonnenen Erkenntnisse leiten seitdem die nutzerorientierte Weiterentwicklung des Portals an.

In diesem Beitrag erläutern wir Ihnen die angewandten Methoden, präsentieren die Ergebnisse und beschreiben, welche Maßnahmen wir aufgrund der Ergebnisse ergriffen haben und in der nächsten Zeit noch planen. Denn durch die Evaluation gestalten Sie das E.T.A. Hoffmann Portal maßgeblich mit!

Ausgangssituation

Als das E.T.A. Hoffmann Portal Ende 2016 online ging, war es eines der ersten Personenportale in diesem Umfang und ein vergleichsweise neues Format für die Staatsbibliothek zu Berlin – zum einen hinsichtlich der Technik (WordPress), zum anderen als innovative Form der Sammlungsvermittlung. Zu Beginn des Projekts stand eine Zielgruppenanalyse, durch die wir in einem Persona-Konzept die Hauptnutzertypen und ihre Bedarfe beschreiben und in einem Zielgruppenmanifest die Ansprüche an das Portal hinsichtlich Struktur, Zugang, Vertrauen und Interaktion festhalten konnten (nähere Informationen hierzu können Sie im damaligen Blogbeitrag nachlesen). Auf dieser Grundlage haben wir Angebote für die Nutzergruppen Forschende, Lehrende, Schüler*innen und Interessierte entwickelt.

Erkenntnisinteresse

Nach knapp zwei Jahren Laufzeit galt es nun zu überprüfen, ob die ermittelten Nutzergruppen und Interessen auch den tatsächlichen  entsprechen und wie die Nutzung des Portals bewertet wird. Denn Erkenntnisse zu Nutzerstruktur und Nutzungsverhalten sind einerseits generell für die Weiterentwicklung des Portals relevant, helfen andererseits aber auch bei der Lösung ganz konkreter Gestaltungsfragen (wie können wir bspw. das Bildvergleichstool besser positionieren?) und bei der Antragstellung für ein Folgeprojekt.

Das Erkenntnisinteresse, das der Evaluation zugrunde lag, umfasste die folgenden Fragenkomplexe:

• Nutzer*innen und Nutzungskontexte
  • Wer nutzt das Portal?
  • Sind die konzipierten Zielgruppen auch die realisierten Zielgruppen?
  • Inwieweit entsprechen die vermuteten Nutzungsanlässe und –situationen den tatsächlichen?
  • Entsprechen die angenommenen Bedarfe den tatsächlichen Bedarfen?
• Usefulness
  • Wie bewerten die jeweiligen Nutzergruppen das Portal unter inhaltlichen Gesichtspunkten?
  • Nutzen die jeweiligen Zielgruppen die Bereiche des Portals, die v.a. für sie konzipiert wurden?
  • Welche Inhalte sollen ausgebaut werden, welche fehlen?
  • Um welche Funktionen soll das Portal ggf. erweitert werden (Kommunikationsplattform, Vernetzungsangebot für Forschende)?
• Usability
  • Wie bewerten die Nutzer*innen die Usability insgesamt?
  • Welche Usability-Schwachstellen gibt es?
  • Schwerpunkte: Navigation, diverse Suchfunktionen, Mirador-Vergleichsviewer
• Nutzungserlebnis (UX)
  • Wie bewerten die Nutzer*innen das Nutzungserlebnis insgesamt?
  • Ist das Portal ansprechend gestaltet, lädt es zum Stöbern ein?
  • Wirkt das Portal seriös?

Methoden

Die Evaluation stützte sich auf drei Datenerhebungen.  Mit einer sogenannten Logfile-Analyse wurden die Zugriffe auf die einzelnen Elemente des Portals ausgewertet, um Nutzungsschwerpunkte und weniger genutzte Bereiche des Portals zu erkennen. Gezählt wurden die Zugriffe mit Hilfe der Open-Source Plattform „Matomo“, mit der auch andere Webangebote der SBB ausgewertet werden.

• Zeitraum der Durchführung: Oktober/November 2018
• Beobachtungszeitraum: 01.10.2017-30.09.2018
• Schwerpunkte:
  • Informationen zu den Nutzer*innen
  • Nutzungsintensität der einzelnen Bereiche und Funktionen des Portals

Um zu verstehen, zu welchen Zwecken und in welchen Zusammenhängen Menschen das Portal aufsuchen und was sie dort tun, wurden Nutzer*innen aus den jeweiligen Zielgruppen in Experteninterviews ausführlich zu ihrem Nutzungsverhalten befragt.

• Zeitraum der Durchführung: Oktober/November 2018
• Formate:
  • face-to-face in der SBB oder bei der Testperson, Skype, Chat
  • national und international
  • Einzel- und Gruppeninterviews
• Erhebungen:
  • 4 Forscher*innen (2x Musik, 2x Literatur)
  • 4 Lehrer*innen
  • 3 Schüler*innen
  • 1 Hoffmann-Interessierte
• Schwerpunkte:
  • Informationen zu den Nutzer*innen
  • Nutzungsanlässe
  • Nutzungsmotive
  • Nutzungskontexte

Schließlich haben wir einigen Nutzer*innen noch live bei der Verwendung des Portals über die Schultern geschaut, um Genaueres über die Nutzerfreundlichkeit der Portaloberfläche zu erfahren. In diesen sogenannten Usability-Tests wurden die Testpersonen gebeten, eine Reihe von vorab festgelegten Aufgaben im Portal zu bearbeiten. Dabei kommentierten die Testpersonen ihre Handlungen fortlaufend laut, während ihre Bildschirmaktivitäten aufgezeichnet wurden.

• Zeitraum der Durchführung: November/Dezember 2018
• Erhebungen:
  • 4 interne cognitive walkthroughs unterstützt durch SBB-Kolleg*innen
  • 4 Nutzertests (2 Studierende, 1 Schüler, 1 Interessierter)
• Schwerpunkte:
  • Menügestaltung
  • Mirador-Viewer
  • Usability-Lücken allg.

Erkenntnisse

Die Ergebnisse der Evaluation sind äußerst vielfältig. Mit knapp 34.000 eindeutigen Besuchen in den ersten vier Monaten 2019 wird das E.T.A. Hoffmann Portal intensiv genutzt. Es befindet sich unter den Top10-Websites der SBB und weist seit dem Launch eine konstante Wachstumsrate auf.

Insgesamt sehr positiv

Zentral ist die Erkenntnis, dass das Portal als eine seriöse, ansprechende und strukturierte Informationsquelle zu E.T.A. Hoffmann erlebt wird, die zum Stöbern einlädt und Entdeckungen auch von Nicht-Gesuchtem möglich macht. Inhalte, Usability und Nutzungserlebnis werden als sehr positiv wahrgenommen. Erfreulicherweise finden sich auch alle der ursprünglich konzipierten Nutzergruppen vom Portal und seinen Angeboten angesprochen: die Passung zwischen den Personas und den vorgefundenen Nutzungsszenarien ist hoch.

Neue Nutzergruppe

Allerdings konnte durch die Evaluation noch eine weitere wichtige Nutzergruppe ermittelt werden, die bislang nicht im Fokus stand: Studierende (BA und MA), vor allem in den Fächern Germanistik und Literaturwissenschaft. Sie wurden bisher unter die Forschenden subsumiert, doch unterscheiden sich ihre Interessen und ihr Nutzungsverhalten von anderen Forschenden.

Nutzer*innen und Nutzungskontexte

Für die einzelnen Nutzungsgruppen konnten folgende Hauptnutzungskontexte identifiziert werden:

Forschende:

• Recherche in Bibliothekskatalogen als Normalfall
• tendenziell konventionell (keine Literaturverwaltungssoftware, keine kollaborativen Forschungsinfrastrukturen)
• Suche nach konkreten Objekten (Forschungsliteratur, Digitalisate)
• thematische Anregungen für Forschung und Lehre
• Studierende (BA) als relevante Nutzergruppe (!)

Lehrkräfte:

• Nutzung diverser Lehrmaterialien / Unterrichtshilfen (online und print)
• fallweise ergänzt um online-Recherchen
• schulische Infrastrukturen für den Einsatz von Online-Quellen im Unterricht nicht optimal
• Quellenempfehlung für das Selbststudium der Schüler*innen (!)
• Einsatz im Unterricht im Einzelfall vorstellbar

Schüler*innen:

• Nutzung digitaler Informationen als Regelfall
• Quellensuche mobil, Rezeption am Desktop/Laptop
• Fokus auf gleichermaßen zugängliche wie seriöse Quellen
• Vorbereitung von Referaten, Klausuren, Hausarbeiten (Interpretationshilfen, Bilder, Illustrationen, Autoreninformationen)

Interessierte:

• Sehr heterogen
• Interessiertes Stöbern

International und mobil relevant

Insgesamt besuchten laut Logfile-Analyse Personen aus 67 verschiedenen Ländern das E.T.A. Hoffmann Portal (nach Browser-Einstellungen). Nach der weit überwiegenden Mehrzahl von Besuchen aus Deutschland (82 Prozent) folgen erstaunlicherweise die USA (2.252 Besuche) und Südkorea (1.077 Besuche) mit Besuchen im vierstelligen Bereich für den gesamten Betrachtungszeitraum. Erst danach folgen die anderen deutschsprachigen Länder und alle anderen.

Ebenso interessant war die Erkenntnis, dass das E.T.A. Hoffmann Portal intensiv mobil genutzt wird. Mehr als 40 Prozent der Nutzung entfallen auf Smartphones, Tablets und Phablets. Bei anderen Webangeboten der SBB liegt die Mobilnutzung dagegen nur bei etwa 20 Prozent.

Beliebteste Inhalte

Die Bereiche Leben und Werk und Erforschen mit ihren informativen, einführenden Forschungsbeiträgen werden laut Logfile-Analyse mit jeweils knapp 30 Prozent mit Abstand am intensivsten genutzt. Eine Mittlere Nutzungsintensität kann für die Bereiche Hoffmann digital, Unterrichten und Index (=Startseite) festgestellt werden, während die Metasuche mit nur gut einem Prozent kaum genutzt wird.

Bibliografie statt Metasuche?

Neben dem positiven Feedback zum Portal wurden also auch Bedarfe erkennbar, die bislang noch nicht berücksichtigt werden konnten, sowie Funktionen des Portals, die bisher kaum genutzt wurden. So zeigte sich, dass Wissenschaftler*innen die Metasuche nicht als datenbankübergreifende Literatursuche identifizierten. Zudem scheint es keinen ausgeprägten Bedarf für eine solche Funktion zu geben. Dies unterstreichen auch die oben genannten Ergebnisse der Logfile-Analyse, die für die Hoffmann-Suche nur sehr wenige Zugriffe ausweist. Stattdessen wünschen sich die befragten Wissenschaftler*innen eine Hoffmann-Bibliographie. Im Portal wurde der Bereich zunächst umbenannt in Literatur, um ihn von der Webseitensuche abzugrenzen. Inzwischen laufen die Vorbereitungen für einen neuen Projektantrag, der den Wunsch nach einer Bibliografie aufgreift. Wenn der Antrag erfolgreich ist, kann in den Jahren 2020 bis 2022 eine Hoffmann-Onlinebibliografie erstellt werden, die die Metasuche ersetzt.

Mehr Sichtbarkeit für das Bildvergleichstool

Bei Hoffmann digital wurde ausdrücklich die hohe Qualität der Digitalisate gelobt, die Usability des Viewers wurde aber als verbesserungswürdig eingestuft. Exemplarisch für eine Vielzahl von detaillierten Hinweisen und Anregungen soll hier der sogenannte Vergleichsviewer Mirador erwähnt werden. Er ermöglicht es, digitalisierte Objekte, bspw. Illustrationen aus verschiedenen Büchern, nebeneinander zu betrachten und auf Wunsch auch zu annotieren. Diese Funktion begeisterte die Nutzer*innen in unseren Tests, doch von allein entdeckte kaum einer der beteiligten Nutzer*innen die Funktionen dieses Viewers. Für die Portalentwicklung bedeutet das, dass die Sichtbarkeit des Viewers im Portal erhöht und die Handhabung selbsterklärender gestaltet werden müssen. Zudem arbeitet das Projektteam an einer Dokumentation der in Hoffmann digital enthaltenen Inhalte, die von einigen Nutzer*innen gewünscht wurde. In den nächsten Monaten ist ein größerer Relaunch von Hoffmann digital geplant, damit Digitalisate aus anderen Einrichtungen besser eingebunden und neue thematische Kollektionen angeboten werden können. Dabei werden auch noch einige Bugs behoben und das Layout überarbeitet.

Kooperation mit Schulen

Das Portal enthält auch Unterrichtsmaterialien mit Hoffmann-Bezug für Lehrer*innen der Sekundarstufe II. Die Evaluation zeigte, dass es schwierig für Außenstehende ist, die Lehreinheiten so zu dimensionieren, dass sie für Lehrkräfte direkt verwendbar sind. Im Anschluss an die Evaluation wurden deshalb bereits weitere Lehreinheiten gemeinsam mit Berliner Lehrer*innen erarbeitet und im Schulunterricht erprobt. In Planung sind derzeit Lehreinheiten zu Hoffmanns Der Goldne Topf und Das Fräulein von Scuderi.

Kontinuierliche Akquise von Textbeiträgen

Erstaunt hat uns die Tatsache, dass besonders die einführenden Forschungsbeiträge so gut ankommen. Die Evaluation hat viele Hinweise und Anregungen zu weiteren thematischen Bereichen hervorgebracht, für die wir kontinuierlich Texte akquirieren.

Wer nutzt das Portal?

Eine einzelne wichtige Frage konnten wir mit der Evaluation allerdings nicht bewerten: Wer nutzt eigentlich das Portal? Eine quantitative Erhebung zum Anteil der jeweiligen Nutzergruppen an allen Nutzer*innen haben wir nicht durchgeführt. So konnten wir auch nicht ermitteln, ob es neben den Studierenden weitere bisher nicht bekannte Nutzergruppen gibt, für die wir unsere Angebote anpassen könnten. Dies werden wir voraussichtlich im Herbst 2019 mit einer sehr kurzen Onlinebefragung auf der Webseite nachholen.

Resümee

Für uns war die Evaluation anregend und motivierend. Wir freuen uns sehr, dass das E.T.A. Hoffmann Portal grundsätzlich so positiv bewertet wurde und haben uns mit großem Elan an die Optimierung der einzelnen Angebote gesetzt. Einige Veränderungen konnten Sie inzwischen schon sehen, andere sind noch in der Planung. So hoffen wir, dass wir das Angebot kontinuierlich so verbessern, dass das Nutzungserlebnis für Sie optimal ist. Wir danken allen, die sich an der Evaluation beteiligt haben.  Ohne Ihre Unterstützung wäre das nicht möglich gewesen. Und natürlich freuen wir uns auch weiterhin über Feedback und Anregungen!