Die in den Fragestellungen und Hypothesen vorkommenden Begriffe müssen in der Phase der Konstruktion des Erhebungsinstruments definiert und einer Messung zugänglich gemacht werden (Operationalisierung). Dabei werden verschiedene Mess- und Skalierungsmethoden zu Hilfe genommen. Das Erhebungsinstrument, im Falle einer Befragung ein strukturiertes Interview (structured interview) oder ein standardisierter Fragebogen (self-completion questionnaire), bildet schliesslich die geeignete Zusammenstellung der Messoperationen für sämtliche in der Datenerhebung einbezogenen Variablen. Ein Hauptziel der Konstruktion von Erhebungsinstrumenten besteht darin, ein möglichst valides Messinstrument zu konstruieren, welches das misst, was effektiv gemessen werden soll.
Definition der Begriffe
Wird ein Forschungsproblem umgesetzt, müssen die Begriffe, die in den Hypothesen und Fragestellungen auftreten, definiert und konkretisiert werden. Dabei handelt es sich oft auch um mehrdimensionale Themenkomplexe wie beispielsweise „Umweltbewusstsein“, welche für eine Messung dimensional aufgelöst werden müssen. Dies erfolgt im Rahmen einer Konzeptspezifikation (Dimensionenanalyse), in welcher die einzelnen Dimensionen des zu messenden Themenkomplexes herausgearbeitet werden.Der Informationsgehalt von Daten wird u.a. durch das Messniveau (Skalenniveau) festgelegt, mit dem die Merkmalsausprägungen der Untersuchungsobjekte gemessen werden. Messungen können auf verschiedenen Messniveaus erfolgen, welche zu bestimmen sind. Grundsätzlich lassen sich die Skalentypen nach dem Messniveau in die vier Klassen Nominal-, Ordinal-, Intervall- und Ratioskalen einteilen: Nominalskalen lassen sich nur auf ihre Gleichheit hin unterscheiden (Mann/Frau). Ordinalskalen bieten zusätzlich eine Rangordnung (z.B. Unterschicht, Mittelschicht, Oberschicht). Intervallskalen weisen gleich grosse Abstände zwischen den einzelnen Merkmalsklassen auf. Ratioskalen weisen neben der Unterscheidungs- und Rangordnungsmöglichkeit sowie der gleichen Intervallgrösse zusätzlich einen absoluten Nullpunkt auf. Grundsätzlich steigen mit zunehmendem Messniveau die Aussagekraft und der Informationsgehalt von Daten, wobei jedes Skalenniveau ebenfalls die Eigenschaften der unteren Skalentypen besitzt.
Die Messniveaus sind ebenfalls anlässlich der Datenauswertung von Bedeutung: Ihre mathematischen Eigenschaften bestimmen die Rechenmöglichkeiten im Rahmen der statistischen Analysen.
Operationalisierung
Durch die Operationalisierung wird definiert, wie Begriffe und Konzepte, welche die Forschungsfragen resp. Hypothesen beinhalten, gemessen werden können. Dabei ist bei der Operationalisierungsvorschrift das daraus folgende Skalenniveau zu beachten: „Körpergrösse“ kann beispielsweise intervallskaliert (Messung mit Massstab) oder ordinalskaliert (Aufstellen der Grösse nach) gemessen werden.Grundsätzlich kann eine Operationalisierung mittels Variablen oder Indikatoren erfolgen. Variablen stellen Eigenschaften dar, welche bei den Merkmalsträgern (beispielsweise eine Person) in mehr als einer Ausprägung (beispielweise weiblich und männlich) vorkommt. Im Falle von Variablen, deren Ausprägungen nur indirekt beobachtbar sind (beispielsweise Kundenzufriedenheit) werden mittels Indikatoren gedankliche Hilfskonstruktionen gebildet, welche direkt beobachtbar sind. Durch das Messen von Indikatoren resultieren nur indirekte Aussagen über ein theoretisches Konstrukt wie Kundenzufriedenheit. Die Abbildung zeigt die Operationalisierung des theoretischen Begriffs „Kundenzufriedenheit“ im Messinstrument Fragebogen.
Um Indikatoren messen zu können, sind Messinstrumente zur Zuordnung von Zahlen notwendig. Solche Messinstrumente stellen Skalen dar, wobei Skalierungsverfahren Anleitungen zu ihrer Herstellung sind. Skalierungsverfahren beinhalten einerseits die Zuordnung von Zahlenwerten an ein Item (Selbsteinstufung), andererseits die Zusammenfassung mehrerer Items (Fragebatterie) zu einer Variablen (Fremdeinstufung). Innerhalb der Skalierungsverfahren kann zwischen Rating-Skalen, Indexbildung und Likert-Skalen unterschieden werden. Rating-Skalen erfordern vom Befragten einen Positionsbezug auf der interessierenden Merkmalsdimension (beispielsweise von „stimme stark zu“ bis „lehne stark ab“). Bei der Indexbildung werden die verschiedenen Einzeldimensionen subjektiv zu einer neuen Variablen (Index) zusammengefasst. In Likert-Skalen wird eine Reihe von Items entlang einer Dimension gemessen, primär bei Einstellungsmessungen. Likert-Skalen werden im Rahmen von Item- und Faktoranalysen einer Überprüfung unterzogen.
Im Rahmen der Operationalisierung werden somit die Forschungsfragen und Hypothesen in ein geeignetes Erhebungsinstrument umgesetzt. Wurden alle Variablen, denen in der Erhebung das Interesse gilt, durch Fragen und Antwortkategorien operationalisiert, so liegt das Erhebungsinstrument vor.
Durch die Operationalisierung soll ein Erhebungsinstrument entstehen, dessen Messungen valide sind. Zudem sind ebenfalls die Objektivität und die Reliabilität zu berücksichtigen. Diesen drei zentralen Gütekriterien ist bereits im Rahmen der Konstruktion des Erhebungsinstruments Rechnung zu tragen. Sie stehen in einem hierarchischen Verhältnis zueinander, wobei sich auf der höchsten Hierarchiestufe die Validität ansiedelt: Während die Objektivität eine notwendige, aber nicht hinreichende Bedingung der Reliabilität ist, ist die Reliabilität wiederum eine notwendige, aber nicht hinreichende Bedingung der Validität. In diesem Sinne sind Reliabilität und damit zugleich Objektivität Minimalvoraussetzungen zur Konstruktion valider Messinstrumente.
Validität
Die Validität gilt als wichtigstes Gütekriterium, da damit die Integrität der Schlüsse gemessen wird, welche aus einer empirischen Untersuchung hervorgehen. Die Validität misst den Grad der Genauigkeit, mit welchem ein Messinstrument auch wirklich jenes Merkmal misst, das zu messen vorgegeben wird. Grundsätzlich wird zwischen interner Validität (internal validity) und externer Validität (external validity) unterschieden. Dabei bezieht sich die interne Validität auf die innere Stimmigkeit und auf die Konsistenz des Erhebungsinstruments, die externe Validität auf die Korrelation mit einem Aussenkriterium (beispielsweise einem tatsächlich vorliegenden Mass für “Angst”).
Innerhalb der externen Validität wird weiter zwischen Inhaltsvalidität, Konstruktvalidität (construct validity), Kriteriumsvalidität (convergent validity oder criterion-related validity) und ökologischer Validität (ecological validity) unterschieden.
Die Inhaltsvalidität ist gegeben, wenn die Auswahl von Items die zu messende Eigenschaft in hohem Grad repräsentiert. Ein Messinstrument, das inhaltsvalide ist, sollte eine möglichst repräsentative Itemstichprobe betreffend der zu messenden Eigenschaft aufweisen.
Die Konstruktvalidität erfordert, dass das von einem Messinstrument erfasste Konstrukt mit möglichst vielen anderen Variablen theoretisch begründbar zusammenhängt. Durch die Konstruktvalidierung wird überprüft, ob die erwarteten theoretischen Zusammenhänge auch empirisch nachweisbar sind. Indirekt zeigt die Konstruktvalidität, ob die in der Operationalisierung gewählten Indikatoren ein “intellektuelles Ganzes”, ein Konstrukt, abbilden. Einzelne Untersuchungen wie Hypothesentests liefern dabei partielle Erkenntnisse, die aber erst in ihrer Gesamtheit über die theoretische Ergiebigkeit eines Messinstruments Aufschluss geben.
Die Kriteriumsvalidität definiert, in welchem Grad die mit einem Messinstrument erzielten Resultate mit einem externen Kriterium korrelieren. Die Herausforderung der Kriteriumsvalidität besteht darin, geeignete externe Kriterien zu finden.
Die ökologische Validität bezeichnet die Ähnlichkeit von Zusammenhangsbedingungen zwischen der Untersuchung und der Alltagsrealität der Erforschten. Dieser Zusammenhang wird als Voraussetzung für die Replizierbarkeit der Untersuchungsergebnisse auf die Lebenswelt der Beforschten angesehen.
Reliabilität
Die Reliabilität, auch Zuverlässigkeit, definiert den Grad der Genauigkeit bzw. der Reproduzierbarkeit der Messergebnisse. Die Reliabilität erfordert, dass wiederholte Messungen unter gleichen Rahmenbedingungen stets dieselben Ergebnisse liefern. Zur Reliabilitätsbestimmung von Messinstrumenten stehen unterschiedliche Methoden zur Verfügung. Die verbreitetsten drei darunter sind jene zur Paralleltest-Reliabilität, zur Retest-Reliabilität und zur inneren Konsistenz.
Die Paralleltest-Reliabilität ermittelt die Qualität der Messung, wenn dabei zwei vergleichbare Messinstrumente eingesetzt werden. Sofern diese beiden, beispielsweise zwei verschiedene Instrumente zur Blutdruckmessung, dasselbe Resultat zeigen, ist die Paralleltest-Reliabilität gegeben.
Bei der Retest-Reliabilität wird ein gleiches Messinstrument nach einem Zeitintervall erneut angewendet. Sofern es bei der erneuten Anwendung wiederum dieselben Messwerte generiert, ist Retest-Reliabilität gegeben.
Das Mass der inneren Konsistenz besagt, wie die Items einer Skala miteinander zusammenhängen. Die innere Konsistenz kommt dann zum Zug, wenn kein Paralleltest oder kein Retest vorgenommen wird. Sie misst daher innerhalb des Tests die Messgenauigkeit des Messinstruments.
Objektivität
Die Objektivität misst den Grad, in dem ein Messergebnis unabhängig vom Untersucher ist. Dies bedeutet, dass identische Ergebnisse resultieren, auch wenn verschiedene Forscher die gleichen Messungen machen. Die Objektivität kann weiter in die drei Arten Durchführungs-, Auswertungs- und Interpretationsobjektivität unterteilt werden.
Die Durchführungsobjektivität bezieht sich auf forscherunabhängige Resultate bei der Durchführung (beispielsweise eine Itembatterie, die bei Befrager A dieselben Resultate wie bei Befrager B zeigt).
Die Auswertungsobjektivität bezieht sich auf das Rapportieren von Ergebnissen gleichen Antwortverhaltens durch zwei unterschiedliche Befragte.
Die Interpretationsobjektivität bezieht sich auf die Freiheitsgrade, über welche ein Befrager verfügt. Je weniger Freiheitsgrade dies sind, desto höher ist die Interpretationsobjektivität.