edoc-Server der Humboldt-Universität zu Berlin

Dissertation

Autor(en): Elke Greifeneder
Titel: Does it matter where we test? – Online user studies in digital libraries in natural environments
Gutachter: Michael Seadle; Jeffrey Pomerantz; Pia Borlund
Erscheinungsdatum: 12.07.2012
Volltext: pdf (urn:nbn:de:kobv:11-100203293)
Fachgebiet(e): Bibliotheks- und Informationswissenschaft
Schlagwörter (ger): Evaluierung, digitale Bibliotheken, Benutzerforschung, online, remote, natürliche Nutzungsumgebungen, Datenvalidität
Schlagwörter (eng): evaluation, digital library, user studies, online, remote, natural environments, data validity
Einrichtung: Humboldt-Universität zu Berlin, Philosophische Fakultät I
Lizenz: Namensnennung - Keine kommerzielle Nutzung - Keine Bearbeitung (CC BY NC ND)
Zitationshinweis: Greifeneder, Elke: Does it matter where we test? – Online user studies in digital libraries in natural environments; Dissertation, Humboldt-Universität zu Berlin, Philosophische Fakultät I , publiziert am 12.07.2012, urn:nbn:de:kobv:11-100203293
Metadatenexport: Um den gesamten Metadatensatz im Endnote- oder Bibtex-Format zu speichern, klicken Sie bitte auf den entsprechenden Link. Endnote   Bibtex  
print on demand: Wenn Sie auf dieses Icon klicken, können Sie ein Druckexemplar dieser Publikation bestellen.

Abstract (ger):
Die Benutzerforschung zu digitalen Bibliotheken sieht sich aktuell zwei Herausforderungen gegenüber: dem Bestreben, Studien vermehrt über das Internet durchzuführen, und dem Wunsch, Benutzerverhalten in natürlichen Umgebungen statt in Laborsituationen zu erforschen. Asynchrone Remote-(Usability-)Tests sind eine methodische Herangehensweise, die möglicherweise die Lösung beider Bedürfnisse sind. Sie erlauben Personen die Teilnahme an einer Studie zu einem Zeitpunkt und an einem Ort ihrer Wahl; der Ort der Wahl entspricht dabei i.d.R der natürlichen Nutzungsumgebung der Teilnehmer. Da die Validität einer Studie von der Qualität der Daten abhängt, ist es für die Forschung sehr wichtig, die möglichen Einflüsse von Ablenkungen in der natürlichen Umgebung auf das Nutzerverhalten in der Testsituation zu bedenken. Das Dissertationsprojekt untersuchte, inwieweit asynchrone Remote-Studien aufgrund von störenden Ablenkungsfaktoren systematischen Fehler bei der Evaluierung digitaler Bibliotheken produzieren. In einem Experiment wurde das Vorhandensein von Ablenkung während der Testdurchführung in natürlichen Umgebungen ermittelt sowie der Einfluss dieser Ablenkung auf das Nutzungsverhalten analysiert. Experimentell wurde die Zeit gemessen, die Teilnehmer in einem Labor und Teilnehmer in ihrer natürlichen Umgebung zur Fertigstellung des Tests benötigten. Die Ergebnisse des Experiments zeigen, dass die Teilnehmer während der Studie stark abgelenkt waren und dass sie in ihrer natürlichen Umgebung deutlich mehr Zeit für denselben Test benötigten. Der Ort der Testdurchführung beeinträchtigte jedoch statistisch gesehen weder die Erledigung der Aufgaben noch die abgegebenen Bewertungen der Teilnehmer noch ihren Entscheidungsprozess. Aus den Ergebnissen folgt, dass der Ort der Testdurchführung nicht relevant ist, aber dass es von großer Bedeutung für die Validität der Daten ist, im Test zu erheben, was während der Durchführung in der natürlichen Umgebung des Teilnehmers geschieht.
Abstract (eng):
User studies in digital libraries face two fundamental challenges. The first is the necessity of running more user studies in an online environment. Users can access digital library collections and services worldwide and the services should be usable at any time. This need for more online studies is coupled with a second need, a demand to test under realistic conditions outside of laboratories in users’ natural environment. Asynchronous remote usability tests are a methodological approach that might answer both needs: they allow participants to take part in a study at a time and place of their choice, often in the participants’ natural environment. Any chosen place, however, might be noisy. Distractions are ubiquitous in a user’s natural environment. An awareness of the potential influences of distractions on users’ behavior during test situations is of great importance, because the validity of a study depends on the quality of the data. If an instrument allows systematic mistakes in measurements because of distractions, the validity is at risk. This dissertation examined if distraction in the users’ natural environment produces a systematic mistake in digital library studies that take place at a time and location of participants’ choice. In order to investigate the existence of distractions during online user studies in digital libraries and to analyze the influence(s) of that distraction, a psychological experiment was set up. It ex¬amined completion time scores between participants in a laboratory and participants in their natural environment. The results of the experiment showed that participants were highly distracted and that participants in their natural environment needed more time to complete the same test. The setting did not affect successful task completions, the participants’ judgments of sites or their decision-making processes. This work can conclude that it does not matter where we test, but it matters what happens during the test.
Zugriffsstatistik: Die Daten für die Zugriffsstatistik der einzelnen Dokumente wurden aus den durch AWStats aggregierten Webserver-Logs erstellt. Sie beziehen sich auf den monatlichen Zugriff auf den Volltext sowie auf die Startseite. Die Zugriffsstatistik wird nicht standardisiert erfasst und kann maschinelle Zugriffe enthalten.
 
Bei Formatversionen eines Dokuments, die aus mehreren Dateien bestehen (insbesondere HTML), wird jeweils der monatlich höchste Zugriffswert auf eine der Dateien (Kapitel) des Dokuments angezeigt.
 
Um die detaillierten Zugriffszahlen zu sehen, fahren Sie bitte mit dem Mauszeiger über die einzelnen Balken des Diagramms.
Startseite: 19 Zugriffe PDF: 20 Zugriffe PDF: 24 Zugriffe PDF: 31 Zugriffe PDF: 61 Zugriffe PDF: 30 Zugriffe Startseite: 15 Zugriffe PDF: 70 Zugriffe Startseite: 21 Zugriffe PDF: 58 Zugriffe Startseite: 15 Zugriffe PDF: 72 Zugriffe Startseite: 16 Zugriffe PDF: 76 Zugriffe Startseite: 13 Zugriffe PDF: 64 Zugriffe Startseite: 13 Zugriffe PDF: 65 Zugriffe Startseite: 15 Zugriffe PDF: 90 Zugriffe Startseite: 9 Zugriffe PDF: 62 Zugriffe Startseite: 8 Zugriffe PDF: 76 Zugriffe Startseite: 13 Zugriffe PDF: 55 Zugriffe Startseite: 16 Zugriffe PDF: 63 Zugriffe Startseite: 9 Zugriffe PDF: 202 Zugriffe Startseite: 12 Zugriffe PDF: 65 Zugriffe Startseite: 6 Zugriffe PDF: 70 Zugriffe Startseite: 9 Zugriffe PDF: 95 Zugriffe Startseite: 9 Zugriffe PDF: 87 Zugriffe Startseite: 18 Zugriffe PDF: 129 Zugriffe Startseite: 11 Zugriffe PDF: 100 Zugriffe Startseite: 10 Zugriffe PDF: 95 Zugriffe Startseite: 6 Zugriffe PDF: 96 Zugriffe Startseite: 5 Zugriffe PDF: 131 Zugriffe Startseite: 17 Zugriffe PDF: 147 Zugriffe
Aug
12
Sep
12
Oct
12
Nov
12
Dec
12
Jan
13
Feb
13
Mar
13
Apr
13
May
13
Jun
13
Jul
13
Aug
13
Sep
13
Oct
13
Nov
13
Dec
13
Jan
14
Feb
14
Mar
14
Apr
14
May
14
Jun
14
Jul
14
Aug
14
Sep
14
Oct
14
Monat Aug
12
Sep
12
Oct
12
Nov
12
Dec
12
Jan
13
Feb
13
Mar
13
Apr
13
May
13
Jun
13
Jul
13
Aug
13
Sep
13
Oct
13
Nov
13
Dec
13
Jan
14
Feb
14
Mar
14
Apr
14
May
14
Jun
14
Jul
14
Aug
14
Sep
14
Oct
14
Startseite 19         15 21 15 16 13 13 15 9 8 13 16 9 12 6 9 9 18 11 10 6 5 17
PDF 20 24 31 61 30 70 58 72 76 64 65 90 62 76 55 63 202 65 70 95 87 129 100 95 96 131 147

Gesamtzahl der Zugriffe seit Aug 2012:

  • Startseite – 285 (10.56 pro Monat)
  • PDF – 2134 (79.04 pro Monat)
 
 
Generiert am 21.11.2014, 16:38:52