Internet surfen und gleichzeitiges lautes denken

Hallo!

Ich muss für ein Projekt an der Uni eine Webseite evaluieren. Das ganze wird auf Video und Ton aufgezeichnet. Der Testuser muss auf der Webseite dann einige einfache und schwierigere Aufgaben lösen. Damit man auch in den ca. 30 Miuuten des Aufnahmevorganges etwas zu hören kriegt, muss der User seine Tätigkeiten die er ausübt kommentieren - und genau hier ist der Hund begraben:

Wie kriegt man User während des Internet surfens (bzw. Aufgaben erledigen) regelm. Kommentare von sich zu geben?

Wir erwähnen am anfang des Tests zwar, das er „laut denken“ soll, aber das vergißt der Testuser leider immer wieder. (man kann es auch nicht dauernd wiederholen, es stört im Video ansonsten)

Kennt jemand eine einfache Methode?
Wäre für jede Hilfe dankbar!

Mfg

vielleicht ist es möglich, der vp ein signal zu geben: es wird vereinbart, daß die vp laut denken soll (d.h. zu jeder zeit ihre gedanken laut aussprechen); dann wird mitgeteilt, daß zur erinnerung an die vereinbarung in festen zeitabständen ein signal ertönen wird (piep) und daß man (zumindest) beim piep äußert, was man gerade denkt. die ersten piepser könnte man mit einem satz verknüpfen („bitte laut denken“ + piep oder umgekehrt), bei späteren könnte der satz wegfallen. wie oft die piepser kommen sollen und in welchen abständen kann man diskutieren.

Möglich
Hallo,

das gleichzeitige Kommentieren ist für viele Personen schwierig und kann ggf. zu verfälschenden Erfgebnissen führen. Dennoch ist es möglich.
Ich empfehle Dir einige Testläufe mit den Probanden, in denen sie die Kommentierung üben. Wenn sie beständig kommentiert haben, sollten sie eine Verstärkung erhalten (ich empfehle einen Geldbetrag). Nach den Testläufen wird die „richtige“ Webseite verwendet und die Testperson erhält natürlich auch hier (wieder) eine Verstärkung nach erfolgreicher Kommentierung.

Viel Erfolg!

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

das gleichzeitige Kommentieren ist für viele Personen
schwierig und kann ggf. zu verfälschenden Erfgebnissen führen.

Ergebnis verfälschen? Weil die TP (btw. ich bevorzuge eher das Wort TP (Testperson anstatt Versuchsperson, klingt „humaner“)vielleicht nervös ist wegen der Kamera?

Dennoch ist es möglich.
Ich empfehle Dir einige Testläufe mit den Probanden, in denen
sie die Kommentierung üben.

Das ist leider nicht möglich! Denn die User werden bei unserem Test das erste mal mit der Webseite „konfrontiert“. D.h. wenn sie die Aufgaben erledigen dann machen die VP die Aufgaben das erste mal, und müssen sich zurecht finden (und das „zurecht finden“, spiegelt einen Teil der Usability der Seite wieder)

Wenn sie beständig kommentiert
haben, sollten sie eine Verstärkung erhalten (ich empfehle
einen Geldbetrag).

Wir sind Studenten, da siehts mit dem Geld schlecht aus :smile:.
Nein Scherz beiseite, wir bieten den TP Kaffe, Getränke und Kuchen an.
Man kann doch nicht einer TP (die durch Leistung einen Erfolg erzielt) mit einem Geldbetrag (oder schlimmer noch mit einem Nahrungsmittel) belohnt werden, das sind doch Tierähnliche versuche :wink:.

Nach den Testläufen wird die „richtige“
Webseite verwendet und die Testperson erhält natürlich auch
hier (wieder) eine Verstärkung nach erfolgreicher
Kommentierung.

Ups, da habe ich wohl etwas überlesen. Nunja, wir haben leider nur Aufgaben für unsere Seite erarbeitet, wir müssten uns erst wieder zusammensetzen und für eine 2. Webseite neue Aufgaben erstellen

Viel Erfolg!

Danke für deine Tipps!

Mfg

Hallo,

vielleicht ist es möglich, der vp ein signal zu geben: es wird
vereinbart, daß die vp laut denken soll (d.h. zu jeder zeit
ihre gedanken laut aussprechen); dann wird mitgeteilt, daß zur
erinnerung an die vereinbarung in festen zeitabständen ein
signal ertönen wird (piep) und daß man (zumindest) beim piep
äußert, was man gerade denkt.

Wie soll man der TP einen Piepton einspielen, ohne diesen Ton auf Audio zu haben?
Die TP sitzt vor einem Tischmikrophon (empfindlich), die Kamera steht 1m dahinter.

die ersten piepser könnte man
mit einem satz verknüpfen („bitte laut denken“ + piep oder
umgekehrt), bei späteren könnte der satz wegfallen. wie oft
die piepser kommen sollen und in welchen abständen kann man
diskutieren.

Klingt gut, wenn wir den Piepser lautlos einbinden können.

Mfg

1 „Gefällt mir“

hi

die ersten piepser könnte man
mit einem satz verknüpfen („bitte laut denken“ + piep oder
umgekehrt), bei späteren könnte der satz wegfallen. wie oft
die piepser kommen sollen und in welchen abständen kann man
diskutieren.

Klingt gut, wenn wir den Piepser lautlos einbinden können.

wie wärs denn mit nem lichtsignal, irgendeine ab und zu blinkende leuchte, die am monitor angebracht wird und sozusagen als „ach ja!“ erinnerung dient?

Mfg

gruß
yvi

Hallo,

eine zweite Person kann den Testuser jeweils antippen, z.B. am Arm.

Gruß Carolin

Hallo nighti,

Wie kriegt man User während des Internet surfens (bzw.
Aufgaben erledigen) regelm. Kommentare von sich zu geben?

Wir erwähnen am anfang des Tests zwar, das er „laut denken“
soll, aber das vergißt der Testuser leider immer wieder. (man
kann es auch nicht dauernd wiederholen, es stört im Video
ansonsten)

Das Problem ist also, dass man die TP beständig ans Kommentieren erinnern muss, ohne ein akustisches oder visuelles Signal verwenden zu können, weil dieses mitaufgezeichnet werden würde?

Meine Lösung wäre eben ein Signal anderer Qualität, z.B. ein taktiles:
Lasst der TP ein Handy in die Hosentasche stecken, das auf „Vibration“ geschaltet ist, also keine Töne erzeugt.
Wenn die TP aufhört zu kommentieren, dann könnt ihr ihr problem- und kostenlos ein solches Signal geben („anrufen“)
Die Vibration dürfte in der Regel stark genug sein, um die TP an ihre Pflicht zu erinnern.

Viele Grüße
franz

P.S.: Wirksam wären natürlich auch kleine Stromschläge als Verstärker, da könnte sich die TP nachher nicht so leicht rausreden, sie habe das Signal nicht bemerkt :wink:
Was glaubst Du wie die TPs dann kommentieren :wink: und das ganz ohne Geld!

Hi!

Wir sind Studenten, da siehts mit dem Geld schlecht aus :smile:.
Nein Scherz beiseite, wir bieten den TP Kaffe, Getränke und
Kuchen an.
Man kann doch nicht einer TP (die durch Leistung einen Erfolg
erzielt) mit einem Geldbetrag (oder schlimmer noch mit einem
Nahrungsmittel) belohnt werden, das sind doch Tierähnliche
versuche :wink:.

Na sicher kannst du das. Sowas heißt „Verstärker“ und der ganze Vorgang ist „operatnes Konditionieren“ (Skinner). Ihr müsst euch nur was einfallen lassen, dass ihr die Leute nicht für dumm verkauft, wenn ihr ihnen den kuchen hinhaltet. :smile:

Bye
Hansi

Wozu lautes Denken?
Hi,

erzähl doch mal, warum die Testpersonen dabei sprechen sollen. Wenn’s nur darum geht, dass sich der Betrachter nicht langweilt, dann kannst Du gerade so gut Musik laufen lassen - wird im Schweinekino auch so gemacht.

Gruß Ralf

erzähl doch mal, warum die Testpersonen dabei sprechen
sollen.

Damit wir nachvollziehen können:
-) Was versucht die TP zu machen?
-) Auf welcher Stelle der Seite die TP´s gerade etwas suchen (Stichwortartig vorlesen)
-) Fragen die sich ihnen auftun
-) Sachen die sie verwirren
-) Welche Enetscheidungen sie treffen

Und daraus erkennt man:
-) Einige Usability Probleme der Seite
-) Man weiss wie sie entstanden sind (Ablaufprozess - durch die „laut gesprochenen“ Gedanken des Users)

Wenn’s nur darum geht, dass sich der Betrachter nicht
langweilt, dann kannst Du gerade so gut Musik laufen lassen -
wird im Schweinekino auch so gemacht.

Nein, darum geht es bestimmt nicht.

Gruß Ralf

Mfg

Wie soll man der TP einen Piepton einspielen, ohne diesen Ton
auf Audio zu haben?
Die TP sitzt vor einem Tischmikrophon (empfindlich), die
Kamera steht 1m dahinter.

es ist nicht besonders schwer ein piep in regelmäßigen abständen auf ein tonband (der gute alte kassettenrekorder oder sonstiges (externes) wiedergabegerät zu bringen, d.h. also keine programmierarbeit. wenn es auf zimmerlautstärke ist, kann das in der nähe des versuchs stehen. meiner ansicht nach stört es nicht, wenn das signal mit den äußerungen des probanden aufgenommen wird. eher im gegenteil: man kann es eventuell als taktgeber heranziehen zur beurteilung wieviel äußerungen der proband pro zeiteinheit produziert (ohne nochmal nachmessen zu müssen) oder ob der proband ein guter lauter denker ist (spricht er frei oder nur bei piep).

da es bei eurem versuch um visuelle reize geht, würde ich ein tonsignal einem lichtsignal vorziehen, weil es den blick nicht ablenkt, bzw. der proband aufgrund visueller beschäftigung eventuell zum übersehen eines lichtsignals neigt.

Wie soll man der TP einen Piepton einspielen, ohne diesen Ton
auf Audio zu haben?
Die TP sitzt vor einem Tischmikrophon (empfindlich), die
Kamera steht 1m dahinter.

es ist nicht besonders schwer ein piep in regelmäßigen
abständen auf ein tonband (der gute alte kassettenrekorder
oder sonstiges (externes) wiedergabegerät zu bringen, d.h.
also keine programmierarbeit.

Ist im Prinzip eine gute Idee, aber ich fürchte, wenn das Piepen zu regelmäßig kommt die TP gar nicht mehr drauf reagieren wird! (weil es schon als „normal“ angesehen wird wie einige Sachen im allgemeinen.)

eher im gegenteil: man kann es
eventuell als taktgeber heranziehen zur beurteilung wieviel
äußerungen der proband pro zeiteinheit produziert (ohne
nochmal nachmessen zu müssen) oder ob der proband ein guter
lauter denker ist (spricht er frei oder nur bei piep).

Es geht bei dem TA-Test darum die Webseite zu tresten, NICHT die TP!

da es bei eurem versuch um visuelle reize geht, würde ich ein
tonsignal einem lichtsignal vorziehen, weil es den blick nicht
ablenkt, bzw. der proband aufgrund visueller beschäftigung
eventuell zum übersehen eines lichtsignals neigt.

Stimmt, man würde sehen wenn die TP den Blick vom Monitor abwendet, danke!

Mfg

Ist im Prinzip eine gute Idee, aber ich fürchte, wenn das
Piepen zu regelmäßig kommt die TP gar nicht mehr drauf
reagieren wird! (weil es schon als „normal“ angesehen wird wie
einige Sachen im allgemeinen.)

sicher muß man überlegen, was zu regelmäßig/ zu oft + nervig ist.

Es geht bei dem TA-Test darum die Webseite zu tresten, NICHT
die TP!

schon klar. es schadet grundsätzlich aber nichts, ein paar (zusätzliche) info über den probanden/ versuchsablauf zu haben. z.b. könnte man total maulfaule genauso aus der stichprobe rauswerfen (und nicht in die auswertung aufnehmen) wie leute, die verhältnismäßig viel sagen: die einen könnten demotiviert/ lustlos sein, die anderen übermäßig kritisch (d.h. diese unterscheiden sich vom durchschnittsprobanden). dazu könnte man äußerung pro zeiteinheit (piep) heranziehen (oder auch zahl der geäußerten worten ohne piep).

das heißt aber nicht, daß ihr den piep unbedingt in eurem versuch haben müßt: ich wollte nur zeigen, daß ein tonsignal doch was für sich haben kann. kommt halt auf die umstände/ absichten an.

Synchronisationsproblem
Moin,

ich fürchte, bei diesem Ansatz werden die Erkenntnisse eher gegen Null gehen: Wer sucht, quatscht nicht. Wenn doch, dann nichts Verwertbares, weil das Suchen den Rhythmus vorgibt, nicht das Sprechen. Wer dann auch noch durch Signalgeber geschubst wird, verliert höchstens die Lust am Surfen.

Geh mal in einen Betrieb, der Internet-Applikationen baut, und bitte darum, bei einer Erst-Präsentation Mäuschen spielen zu dürfen. Da kannst Du genau dieses Verhalten beobachten: Der Proband soll erzählen, wie der Dalog auf ihn wirkt. Das klappt genau für seine einleitenden Sätze, dann verliert sich blitzschnell alles in Grunzen, Schweigen, Knurren, „Ha!“ und unverständlichen, meist nicht zu Ende gesprochenen Fragen an den Begleiter.

Gruß Ralf

Anmerkung
Hallo nighti!

Damit wir nachvollziehen können:
-) Was versucht die TP zu machen?
-) Auf welcher Stelle der Seite die TP´s gerade etwas suchen
(Stichwortartig vorlesen)
-) Fragen die sich ihnen auftun
-) Sachen die sie verwirren
-) Welche Enetscheidungen sie treffen

Kleine Anmerkung dazu:
Ich bin z.B. ziemlich gut darin, im Internet Infos zu finden, wo andere schon längst aufgegeben haben, aber ich könnte wahrscheinlich weder bei einer solchen (allg.) Internetrecherche noch bei gezieltem Suchen auf einer Website rational und linear darlegen oder kommentieren, was genau ich gerade warum mache.

Es hört sich ziemlich klischeemäßig an, aber eine Suche und/oder der Versuch, mich auf einer einzelnen Site zu orientieren, laufen teilweise hochgradig intuitiv ab. Gerade vielleicht auch deswegen, weil, wenn es eine fundiert hypertextuell angelegte Site ist, linear-logisches Denken einem sowieso nur begrenzt hilft.

Sollte ich kommentieren müssen, was ich gerade tue, käme - wie schon in einem anderen Beitrag erwähnt - wahrscheinlich entweder irgendein Gemurmel dabei raus oder ich würde u.U. auch halbbewußt Fehlangaben machen, in dem Versuch, etwas, was nur schwierig zu erklären ist, zu kommentieren.

Und daraus erkennt man:
-) Einige Usability Probleme der Seite
-) Man weiss wie sie entstanden sind (Ablaufprozess - durch
die „laut gesprochenen“ Gedanken des Users)

Diese Annahme ist meiner Ansicht nach irrig. Ihr werdet keine 1:1-Abbildung des Orientierungsprozesses, der im übrigen nicht alleine aus klaren Gedanken besteht, erhalten.

Probleme der Benutzerführung lassen sich doch durch das „klassische“ Testen ziemlich gut identifizieren. Oder gibt es in deinem Fall einen speziellen Grund dies anders anzugehen?

Grüße
Christiane

1 „Gefällt mir“

Ich würde vorschlagen, zwischen Monitor und Steckdose 'nen akustischen Sensor zu klemmen; kommt 2 Minuten nix, geht der Monitor aus. Hatte mal sowas vor paar Jahren im Baumarkt gesehen, leider aber keine Ahnung wo man es jetzt besorgen könnte. Vielleicht hilft die Idee ja trotzdem weiter…

Dürfte auch nicht allzu schwer fallen, sowas selbst zu programmieren ( micro am pc, screensafer einschalten wenn kein input kommt ), falls ihr jemanden habt, der sowieso mit c++ oder so rumbastelt.

Hallo,

Kleine Anmerkung dazu:
Ich bin z.B. ziemlich gut darin, im Internet Infos zu finden,
wo andere schon längst aufgegeben haben, aber ich könnte
wahrscheinlich weder bei einer solchen (allg.)
Internetrecherche noch bei gezieltem Suchen auf einer Website
rational und linear darlegen oder kommentieren, was genau ich
gerade warum mache.

Es werden der TP auch einfache Aufgaben gestellt, keine bei denen man ewig lange im Internet recherchieren muss. Die Aufgaben erfordern kein großes „Vorwissen“, d.h. man braucht keine „Strategie“ (oder Vorgehensweise) die man sich für sich selbst intern angeeignet hat.

Es hört sich ziemlich klischeemäßig an, aber eine Suche
und/oder der Versuch, mich auf einer einzelnen Site zu
orientieren, laufen teilweise hochgradig intuitiv ab. Gerade
vielleicht auch deswegen, weil, wenn es eine fundiert
hypertextuell angelegte Site ist, linear-logisches Denken
einem sowieso nur begrenzt hilft.

Ein gewisser Vorteil einer Seite ist es auch, wenn sich User schnell zurecht finden. Das zeugt vom überlegten Design und
Das heißt, wenn ein User sein bereits bekanntes Wissen anwenden kann, muss er nicht das „Rad neu erfinden“.
Auch auf solche Sachen schaun wir und halten es in einem Bericht fest.

Sollte ich kommentieren müssen, was ich gerade tue, käme - wie
schon in einem anderen Beitrag erwähnt - wahrscheinlich
entweder irgendein Gemurmel dabei raus oder ich würde u.U.
auch halbbewußt Fehlangaben machen, in dem Versuch, etwas, was
nur schwierig zu erklären ist, zu kommentieren.

Das stimmt!
Allerdings wenn du z.b. nur kommentieren müsstest, wie du hier im WWW Forum den Antwortthread erstellt hast, gibst du sicher kein gemurmel von dir - weil es eben (für dich) einfach ist. Ebenso ist für die Testpersonen die Aufgabenstellung bewußt leicht und unkompliziert gewählt. (aber dennoch eine neue Erfahrung)

Und daraus erkennt man:
-) Einige Usability Probleme der Seite
-) Man weiss wie sie entstanden sind (Ablaufprozess - durch
die „laut gesprochenen“ Gedanken des Users)

Diese Annahme ist meiner Ansicht nach irrig. Ihr werdet keine
1:1-Abbildung des Orientierungsprozesses, der im übrigen nicht
alleine aus klaren Gedanken besteht, erhalten.

Stimmt keine 1:1 Abbilung, aber man bekommt bei den Kommentaren herraus, was der User erwartet hätte => siehe oben (bereits angeeignetes Wissen wieder anwenden)

Probleme der Benutzerführung lassen sich doch durch das
„klassische“ Testen ziemlich gut identifizieren. Oder gibt es
in deinem Fall einen speziellen Grund dies anders anzugehen?

Wir haben zuerst mit dem klassischen Testen begonnen, fortgesetzt wird die Arbeit indem wir für uns testen lassen :wink:.
Wir mussten unseren Bericht mit den Eindrücken, Fehlerbewertungen usw. bereits abgegeben, jetzt folgen die Eindrücke von den TPs (ist so vorgegeben)

Grüße
Christiane

Danke für die Antworten!

Mfg