Design forscht – Teil 2

Die Crux mit der Evaluation

Designende forschen meist, um eine Aufgabenstellung, ein Problem zu verstehen, zu definieren oder mögliche Anknüpfungspunkte für Lösungen zu finden. Sie forschen FÜR das Design. Dies reicht von quanitativer Marktforschung 7 über die Definition von Personae 8-8d und das Item Mapping, um Prozessabläufe bis ins kleinste Detail zu verstehen, bis hin zur Morphologie von Ideen, der qualitativen Methode der Beobachtung, der User Journey, zu den Prototypen oder der Triangulation 9-9b solcher quantitativer und qualitativer Methoden10-10a.

Die World Design Organisation (WDO) definiert daher Design als:

»a strategic problem-solving process that drives innovation, builds business success and leads to a better quality of life through innovative products, systems, services and experiences.«

Nach dieser Definition verändern Designerinnen und Designer das Verhalten von Einzelnen oder von Gruppen im Sinne eines bestimmten Ziels, eines intendierten Effekts – ob nun ein Logo für die hohe Wiedererkennbarkeit einer Marke entwickelt wird oder ein gestalteter Service weniger fehleranfällig ist. Design hat das Potenzial, Verhalten zu verändern. Dies gilt für das Kommunikations-, System-, Produkt- oder Fashion-Design ebenso wie für das Web-Design einer Informationskampagne oder für sonstige Bereiche im Design. Der konkrete wissenschaftliche Beweis dafür steht jedoch häufig aus. Dies ist ein Problem für alle Designschaffenden.

Erfolg ≠ Erfolg

Projekte, die als erfolgreich wahrgenommen werden, legen die Grundlagen für die nächsten Projekte. So prägte Margarete Schütte-Lihotzky1 mit der Frankfurter Küche weit mehr als die Innenarchitektur von Küchen. Die Theorien über Design von Gregory2 (1966) und Papanek & Fuller3 (1972) haben den heute üblichen Designprozess in der Folge überhaupt erst ermöglicht. Wir stehen auf den Schultern von Riesen, die die Basis für eine umfassende Definition von Design gelegt haben. Mit der WDO-Definition übernimmt Design nun die Verantwortung – und die kann groß sein, beispielsweise bei digitalen Medizinprodukten.
Um dem Anspruch und der darin liegenden Verantwortung gerecht zu werden, müssen wir den kausalen Nachweis der Wirksamkeit erbringen. Führt unsere Profession diesen Nachweis nicht, wird uns die Evaluation von darin geschulteren Professionen aus der Hand genommen.

Das ambivalente Verhältnis von Designerinnen und Designern zur Evaluation ihrer Ergebnisse ist dabei eine Hürde. Doch genau diese Evaluation festigt die Deutungshoheit über Design und Designprozesse für die Designbranche und ermöglicht damit erst deren politische, wirtschaftliche und gesellschaftliche Zukunftsfähigkeit. Laut Hermsen4 (2019) zeigte eine kurze Analyse einer international angesehenen Forschungskonferenz (European Academy of Design Conference 2019), dass lediglich 29 von 47 der diskutierten Designprojekte im Kontext Health Design und Well-Being eine Evaluation durchführten. Zudem waren die meisten Evaluationen reine Case Studies, kleine Experten-Reviews oder Fokus-Gruppen-Runden – alles Methoden, die stark von Bias11-11c geprägt sind. Was im Designprozess selbst durchaus ein Vorteil sein kann, ist bei der Evaluation immer ein Nachteil. Die Schwierigkeit ist die Kausalität, die etwa abzugrenzen ist von der Korrelation, wie im nachfolgenden Bild eindrücklich dokumentiert.

Bildquelle: http://tylervigen.com
Copyleft notice: You are free to copy and adapt everything on this site
tylervigen.com

Im Themenfeld Evaluation im Design muss die Frage beantwortet werden, wie und warum genau dieser strategische Lösungsprozess zu exakt jener Lösung geführt hat: einer Lösung, die das definierte (wer definiert hier was?) Problem behebt, zu einer besseren Lebensqualität beiträgt oder das Verhalten verändert. Nur die Mutigen geben zu, dass wir oftmals nicht genau wissen, wieso das Artefakt (dies kann auch ein Flyer sein) einen intendierten Effekt hat oder auch nicht. Einige Schwierigkeiten dafür sind auch Design-immanent, zum Beispiel:

  • Die unterschiedlichsten dinglichen Elemente, die die Oberfläche, Form, Funktion, Zeit (Bewegung) eines. Artefakts definieren, stehen miteinander in vielfacher Wechselwirkung. Die eine rote Hervorhebung in einem schwarzen Text sticht wesentlich stärker hervor als eine ganze Reihe an roten Hervorhebungen innerhalb eines Textes. Eine flauschige Kugel erweckt eine andere Assoziation als eine Glaskugel. Eine Glaskugel in der Hand einer Frau hat eine andere Assoziation als eine Glaskugel die auf Papier ruht. Die wahrnehmbaren Elemente, die die verschiedenen Effekte im Zusammenspiel und in gegenseitiger Abhängigkeit hervorrufen, sind komplex. Diese Komplexität wird in nicht allzu ferner Zukunft durch Künstliche Intelligenz im Sinne einer allgemeinen visuellen und sprachlichen Akzeptanz weitestgehend gelöst werden. Da die Designbranche außerhalb des UX/UI-Umfelds wenig AI-verwertbare Daten liefert, wird dies sehr wahrscheinlich auf verfügbaren Daten der erfassbaren Wahrnehmung, den Verkaufs- und Klickzahlen beruhen.
  • Design findet immer in einem Kontext statt und bezieht sich auf diesen – daher kann der wissenschaftlichen Forderung der Re-Produzierbarkeit von Ergebnissen nur schwer nachgekommen werden. Der Kontext, die Lebenswirklichkeit, verändert sich je nach Nutzer+innentyp (oder Personae) und Zielgruppe sowohl in den Werten als auch in der Anwendungsumgebung eines Menschen und in der ganz konkreten persönlichen Nutzung. Ein Artefakt kann in einer wissenschaftlichen Laborumgebung (störungsfrei und mit gleichen Rahmenbedingungen für alle Testpersonen) erfolgreich sein und im realen Leben scheitern. Hingegen gibt es selbstverständlich Artefakte, z. B. Formulare, die in jeder guten Analytics in einem ständigen Prozess der Evaluation optimiert werden.

Sobald mehrere Artefakte, also multi-modale Designartefakte, zum Einsatz kommen, entziehen sie sich dieser einfachen Evaluation.

  • Erfahrungswissen oder stillschweigendes Wissen lässt sich mit den klassischen Methoden der wissenschaftlichen Forschung nicht erfassen.5,6
  • Taktiles Wissen lässt sich bisher nur durch eine taktile Erfahrung beschreiben (die taktile Erfahrung selbst ist nur ungenau in eine sprachliche Erklärung zu bringen, der Effekt der taktilen Erfahrung dementgegen schon).5,6

Die Evaluation, um die in der Eingangs zitierten Definition behauptete Wirkung von Design zu beweisen, erweist sich mithin als klassisches Wicked Problem. Der dafür benötigte Methodenbaukasten muss noch definiert, erarbeitet, validiert und standardisiert werden. Diese Aufgabe zu lösen, ist elementar für die Zukunft des Designs. Die Grundlagen für diesen Methodenbaukasten sind vorhanden – unsere Aufgabe ist es, sie adäquat zu adaptieren. Nur so können wir auf den Schultern von Riesen auch stehen bleiben.


Begriffserklärungen:
Die kurzen Erklärungen, die in dem Text unter den rot und kursiv geschriebenen Begriffen bereits integriert sind und per Klick oder per Mouse-over zu öffnen sind, dienen einem ersten Verständnis – auch hier gilt die Aussage: Wer liest, ist klar im Vorteil. In die Forschung für Design fließen Aspekte der Psychologie, der Sozial-Wissenschaften, der Ethnologie, der Kommunikationswissenschaften und des Design selbst mit ein. Jeder dieser Bereiche hat Methoden und Vorgehensweisen entwickelt, möglichst valide Erkenntnisse zu gewinnen. Wer sich dazu mit mir austauschen will, kann mich gerne unter grauwert@lindgruen-gmbh.com kontaktieren.


Literatur:

1 Schütte-Lihotzky, Margarete: https://www.museumderdinge.de/ausstellungen/schausammlung/gebrauchsanweisung-fuer-eine-frankfurter-kueche-im-museum-der-dinge (abgerufen 30.06.2020)
2 Papanek, V., & Fuller, R. B. (1972). Design for the real world (p. 22). London: Thames and Hudson.
3 Gregory, S. A. The Design Method, 1966.
http://link.springer.com/openurl?genre=book&isbn=978-1-4899-6169-3.
4 Hermsen, Sander. „Designers Should Evaluate Their Work. You Say Those Are Scissors You Are Running with, but Do They Even Cut?“ The Design Journal 22, Nr. sup1 (April 2019): 2235–38. https://doi.org/10.1080/14606925.2019.1595844.
5 Cross, Nigel, Hrsg. „Designerly Ways of Knowing“. In Designerly Ways of Knowing, 1–13. London: Springer London, 2006. https://doi.org/10.1007/1-84628-301-9_1.
6 Niedderer, Kristina, Stephen Clune, und Geke Ludden. Design for Behaviour Change: Theories and Practices of Designing for Change. Routledge, 2017Gut zu lesen: Jedes Einführungsbuch zur Statistik kann hier wirklich weiterhelfen und ein echter Augenöffner sein. 7 Gut zu lesen: Jedes Einführungsbuch zur Statistik kann hier wirklich weiterhelfen und ein echter Augenöffner sein.

8 Turner, Phil, und Susan Turner. „Is Stereotyping Inevitable When Designing with Personas?“ Design Studies 32, Nr. 1 (Januar 2011): 30–44. https://doi.org/10.1016/j.destud.2010.06.002.

8a Friess, Erin. „Personas and Decision Making in the Design Process: An Ethnographic Case Study“, 2012, 10.

8b Marshall, Russell, Sharon Cook, Val Mitchell, Steve Summerskill, Victoria Haines, Martin Maguire, Ruth Sims, Diane Gyi, und Keith Case. „Design and Evaluation: End Users, User Datasets and Personas“. Applied Ergonomics 46 (Januar 2015): 311–17. https://doi.org/10.1016/j.apergo.2013.03.008.

8c Ortbal, Kathryn, Nicholas Frazzette, und Khanjan Mehta. „Constructed Stakeholder Personas: An Educational Tool for Social Entrepreneurs“. Procedia Engineering 159 (2016): 230–48. https://doi.org/10.1016/j.proeng.2016.08.168.

8d Burmester, Michael, Ivo Benke, Susen Döbelt, Michael Minge, Elisabeth Stein, und Gunnar Stevens. „UUX-Praxis im Wandel: Usability und User Experience in Zeiten der Digitalisierung“. Gesellschaft für Informatik e.V., 2018. https://doi.org/10.18420/muc2018-ws09-0546.

9 Johnson, R. Burke, und Anthony J. Onwuegbuzie. „Mixed Methods Research: A Research Paradigm Whose Time Has Come“. Educational Researcher 33, Nr. 7 (10. Januar 2004): 14–26. https://doi.org/10.3102/0013189X033007014.

9a Heyvaert, Mieke, Karin Hannes, Bea Maes, und Patrick Onghena. „Critical Appraisal of Mixed Methods Studies“. Journal of Mixed Methods Research, 4. März 2013, 1558689813479449. https://doi.org/10.1177/1558689813479449.

9b Niedderer, Dr Kristina. „Understanding Methods: Mapping the Flow of Methods, Knowledge and Rigour in Design Research Methodology“, 2009, 17.

10 Brüsemeister, Thomas. Qualitative Forschung: ein Überblick. 2., überarb. Aufl. Hagener Studientexte zur Soziologie. Wiesbaden: VS, Verl. für Sozialwiss, 2008.

10a Meyen, Michael, Maria Löblich, Senta Pfaff-Rüdiger, und Claudia Riesmeyer, Hrsg. Qualitative Forschung in der Kommunikationswissenschaft: eine praxisorientierte Einführung. 1. Aufl. Studienbücher zur Kommunikations- und Medienwissenschaft. Wiesbaden: VS Verl. für Sozialwiss, 2011.

11 Nickerson, RS. „Confirmation bias: a ubiquitous phenomenon in many guises“. Review of General Psychology 2, Nr. 2 (1998): 175–220. http://www.informaworld.com/index/779098975.pdf.

11a Schwarz, Norbert. „Cognitive Aspects of Survey Methodology“. Applied Cognitive Psychology 21, Nr. 2 (1. März 2007): 277–87. https://doi.org/10.1002/acp.1340.

11b Baur, Nina, und Jörg Blasius, Hrsg. Handbuch Methoden der empirischen Sozialforschung. Handbuch. Wiesbaden: Springer VS, 2014.

11c Pfarr, Nikki, und Judith Gregory. „Cognitive Biases and Design Research: Using Insights from Behavioral Economics and Cognitive Psychology to Re-Evaluate Design Research Methods“, o. J., 17.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.