gepaarter t-Test in SPSS

Ein gepaarter t-Test wird häufig im Kontext einer SPSS-Auswertung durchgeführt. In diesem Zusammenhang befassen wir uns heute in unserer Statistik-Beratung mit der Berechnung eines gepaarten t-Tests in SPSS.

Die Daten

Wir verwenden den Datensatz test_scores.sav. Dieser ist ein programminterner Datensatz von SPSS 26. Hierbei handelt es sich um einen Datensatz der die Ergebnisse eines Tests an N = 2133 Schülern diverser Schulen beinhaltet. Dabei liegen die Ergebnis des Test vor und nach einer Intervention vor. Wir werden die Prä- und Post-Ergebnisse vergleichen. Somit handelt es sich um verbundene Stichproben. Somit kommt der gepaarte t-Test zu Einsatz. Dabei zeigt kommendes Bild einen Ausschnitt des Datensatzes.

Berechnung des t-Tests

Zur Berechnung des gepaarten t-Tests gehen Sie auf Analysieren > Mittelwert vergleichen > t-Test bei verbundenen Stichproben.

Es öffnet sich daraufhin das folgende Fenster. Hier geben Sie in das Feld Variable1 die Variable pretest. Entsprechend muss die Variable posttest in das Feld Variable2 eingefügt werden.

Das Fenster sieht nun wie in kommendem Bild aus. Jetzt bestätigen wir mit OK. Die Berechnungen erfolgen nun.

Die Ergebnisse

Nun erscheinen in der SPSS-Ausgabe diverse Tabellen. Die wichtigste Tabelle an Ergebnisse ist die folgende. Dabei enthält sie die Ergebnisse des gepaarten t-Tests. Hierbei sind die wichtigsten Werte in den Spalten T, df und Sig. (2-seitig) vorzufinden.

Das Ergebnis des t-Tests ist signifikant, t(2132) = -129,33, p = 0,000. Somit unterscheiden sich die Ergebnisse des Prä- und Posttests in Ihrer Grundgesamtheit.

Zur Prüfung wie sich die Unterschiede in den Messungen äußern, dient die kommende Tabelle. Sie zeigt die deskriptiven Statistiken der Prä- und Post-Messungen. Dabei zeigt sich, dass die Schüler im Prätest eine mittlere Punktzahl von M = 54,96 erzielen. In der Post-Messungen liegt die durchschnittliche Punktzahl bei M = 67,10. Damit zeigt sich also eine Verbesserung der Schüler. Dabei ist die Verbesserung gemäß des t-Tests signifikant.

Obige Tabellen waren die wichtigsten zur Interpretation des t-Tests für gepaarte Stichproben. Dabei wurde mit der Berechnung des t-Tests weiterhin die Korrelation zwischen Prä- und Post-Messung ausgegeben. Kommendes Bild zeigt die Tabelle. Entsprechend dem Ergebnissen aus der Tabelle zeigt sich eine signifikante und stark positive Korrelation, r = 0,95, p = 0,000. Somit zeigt sich, dass Schüler, die vorher vergleichsweise Schlechter abgeschnitten haben, auch im Post-Test zu den Schlechteren gehörten.

Die Behauptung veranschaulicht auch das folgende Diagramm. Wie ein Streudiagramm in SPSS erzeugt wird erfahren Sie dabei hier.

unverbundener t-Test in Stata

In diesem Beitrag lernen Sie, wie der unverbundene t-Test bei Stata durchgeführt wird. Ein t-Test ist dabei eine häufig bei Stata-Auswertungen verwendete Methode.

Die Daten

Für die Untersuchungen wird der Datensatz bpwide.dta aus Stata 15 verwendet. Mit sysuse bpwide.dta wird der Datensatz geladen, vergleiche den kommenden Screenshot. Dieser Datensatz beinhaltet die Daten von 60 Männern und 60 Frauen bezüglich ihres Blutdrucks vor und nach einer Intervention. Wir möchten den Blutdruck zwischen den Geschlechter vor Intervention vergleichen und verwenden hierzu den t-Test für unverbundnen Stichproben.

Prüfung der Annahmen

Der t-Test für verbundene Stichproben unterliegt zwei Annahmen. Zum einen der Normalverteilungsannahme innerhalb der Gruppen und zum Anderen der Varianzgleichheit zwischen den Gruppen. Die Normalverteilungsannahme ist dabei erfüllt. Beide Gruppen sind jeweils N = 60 groß und damit größer als unsere Konvention von einem N > 30. Somit muss nur noch die Varianz zwischen den Gruppen untersucht werden. Dazu wird der Levene-Test verwendet. Dieser ist in der Funktion sdtest implementiert.

Ergebnisse

Nachfolgender Output zeigt die Ergebnisse des t-Tests. Hierbei wurde die Funktion ttest angewendet. Wobei die Option by(sex) Stata anweist den t-Test für unverbundene Stichproben bezüglich der Variablen bp_before zu berechnen. Dabei ergaben sich nicht-signifikante Unterschiede im Blutdruck zwischen den Geschlechtern, t(118) = 2,78, p = 0,0062. Unter Mean beobachten wir für Männer einen mittleren Blutdruck von M = 159,26 und für Frauen M = 153,63. Wie oben erwähnt sind die Unterschiede jedoch nicht-signifikant (zwei zeitiger Test).

Wird der Output weiter betrachtet, so zeigt sich, dass die p-Werte für die einseitigen Testvarianten ebenfalls diesen zu entnehmen sind. Links unten ist der p-Wert für die Alternativhypothese \mu_{Männer} < \mu_{Frauen} bzw. \mu_{Männer}-\mu_{Frauen}<0. Weiterhin ist ebenso der p-Wert für die Alternative \mu_{Männer} > \mu_{Frauen} bzw. \mu_{Männer}-\mu_{Frauen}>0 unten rechts angegeben.

unverbundener t-Test in R

In heutigem Artikel führen wir vor, wie bei einer R-Auswertung die Berechnung eines t-Tests für unverbundene Stichproben erfolgt.

Die Daten

Wir verwenden für die Analysen den Datensatz sleep aus dem Paket datasets. Hierbei beinhaltet der Datensatz Ergebnisse zu einem Test bei zwei Gruppen. Dabei bekamen beiden Gruppen jeweils ein unterschiedliches Schlafmittel. Dies ist die Variable group. Mit beiden Gruppen wurde daraufhin ein Test durchgeführt. Dabei wurde die Zunahme der Schlafstunden der Patienten unter dem entsprechenden Präparat gemessen. Hierbei handelt es sich um die Variable extra.

Prüfung der Annahmen

Der t-Test unterliegt zwei Annahmen. Dabei handelt es sich um die Voraussetzung der Normalverteilung und um die Annahme gleicher Varianzen jeweils innerhalb der Gruppen. Die Prüfung der Normalverteilungsannahme werden wir in diesem Artikel nicht behandeln. Hingegen werden wir jedoch die zweite Annahme des t-Tests einer Prüfung unterziehen. Dabei verwenden wir die Funktion leveneTest() aus dem Paket car. Mit library(car) laden wir das Paket in R. Kommender Screenshot zeigt den Code, wie auch den Output zu den Berechnung des Levene-Tests auf Varianzhomogenität. Dabei gibt extra ~ group an, dass der Test bezüglich extra für die Gruppen group erfolgen soll. Weiterhin wird mit der Option data = sleep der Funktion "mitgeteilt", dass die Variablen extra und group in dem Datensatz sleep befindlich sind. Abschließend wurde mit der Option center = "mean" die Funktion angewiesen, den gewöhnlichen Levene-Test durchzuführen. Voreingestellt ist hier der Median. Weitere robuste Varianten sind in der Funktion implementiert.

Der Levene-Test liefert hierbei ein nicht-signifikantes Ergebnis, F(1, 18) = 0,620, p = 0,441. Somit ist keine signifikante Varianzinhomogenität vorliegend. Die Annahme ist somit erfüllt.

Die Ergebnisse

Für die Berechnung des t-Test verwenden Sie die Funktion t.test(). Vergleich den kommenden Screenshot, welcher den Funktionsaufruf und den Output zeigt. Mit dem Ausdruck extra ~ group weist man die Funktion an, den t-Test für unverbundene Stichproben zu verwenden. Weiterhin wird mit data = sleep wieder der Datensatz spezifiziert. Abschließend wurde die Option var.equal = TRUE benutzt. Dies ermöglich die Berechnung des t-Tests für gleiche Varianzen. Dabei liefert dieser ein nicht-signifikantes Ergebnis, t(18) = -1,86, p = 0,079. Somit sind keine signifikanten Unterschiede zwischen den Schlafmitteln bezüglich der Zunahme an Schlafstunden nachweisbar. Weiterhin sind im Output die mittleren Zunahmen an Schlafstunden für die beiden Gruppen dargestellt. Hier zeigt sich, dass Gruppe 1 eine durchschnittliche Zunahme von M = 0,75 Stunden und Gruppe 2 eine mittlere Zunahme von M = 2,33 Stunden hat Weiterhin ist noch das 95%-Konfidenzintervall der Mittelwertdifferenz zwischen den Gruppen im Output dargestellt.

unverbundener t-Test in SPSS

Zur Prüfung auf Unterschiede zwischen zwei unabhängigen Gruppen wird bei einer statistischen Beratung oft der t-Test verwendet. In der folgenden SPSS-Auswertung werden wir uns mit dessen Umsetzung befassen.

Der Datensatz

Hierzu werden wir den Datensatz Employee Data.sav, welcher in SPSS implementiert ist, verwenden. Dieser umfasst diverse Variablen zu Arbeitnehmern, wie zum Beispiel das Geschlecht und Gehalt.

Durchführung des t-Tests in SPSS

Um einen t-Test für unabhängige Gruppen zu berechnen, gehen Sie auf Analysieren > Mittelwerte vergleichen > t- Test bei unabhängigen Stichproben.

Es öffnet sich daraufhin das kommende Fenster. Fügen Sie dabei das Geschlecht als Grupperierungsvariablen und das Gehalt als Testvariable in die entsprechenden Felder.

Das Menu sollte nun folgend ausschauen. Nun klicken Sie auf Gruppen definieren.

Es öffnet sich das kommende Fenster. Wir müssen die beiden Gruppen gemäß der Kodierung der Variablenausprägungen deklarieren. Da das Geschlecht eine Zeichenfolge ist, geben wir an dieser Stelle m und w an. Dies sind die Merkmalsausprägungen der Variablen Geschlecht. Dies funktioniert jedoch auch mit numerischen Variablen. Die Grupperierungsvariable muss keine Zeichenfolge sein! Anschließend bestätigen wir mit Weiter.

Wir sind wieder im Hauptmenu des t-Tests. Nun bestätigen wir mit OK und schauen uns die Ergebnisse an.

Ergebnisse

In kommender Tabelle sehen wir die Ergebnisse. Hierbei erhalten wir zwei Ergebnisse für den t-Test. In Zeile 1 (Varianzen sind gleich) finden wir das Ergebnis des t-Tests für gleiche Varianzen in den Gruppen. Sind die Varianzen unterschiedlich, so orientieren wir uns an der zweiten Zeile (Varianzen sind ungleich). Ob die Streuungen gleich oder ungleich sind prüfen wir mit dem Levene-Test. Auch dessen Ergebnis finden wir in der Tabelle. Die ersten beiden Spalten zeigen uns die wichtigen Werte. Hier zeigt sich, dass die Streuungen signifikant unterschiedlich sind, F = 119,67, p = 0,000.

Somit müssen wir die zweite Zeile der Tabelle zur Interpretation des t-Tests verwenden. Dabei ergibt sich ein signifikanter Unterschied zwischen den Geschlechtern im Gehalt, t(344,26) = 11,69, p = 0,000. Beachten Sie, dass wir nun nur Wissen, das sich die Gehälter zwischen den Geschlechtern unterscheiden. Das Ergebnis des Tests lässt nicht in Schluss zu wie sich die Gehälter unterscheiden.

Zu diesem Zweck betrachten wir nach dem Test die Verteilungen der Gehälter mit dem Mittelwert. Dabei zeigt sich, dass der Mittelwert bei den männlichen Gehältern bei M = 41441,78 und bei weiblichen Gehältern bei 26031,92 liegt. Somit sind die Gehälter der Männer signifikant höher.

Wir wissen, das Einkommensverteilungen rechtsschief sind. In diesem Zusammenhang konnte Die Normalverteilungsannahme des t-Tests hier auf Grund der großen Gruppengrößen als erfüllt betrachtet werden.

Prüfung der Annahmen der linearen Regression in Stata

In diesem Artikel gehen wir darauf ein, wie die Prüfung der Annahmen der linearen Regression im Falle einer Stata-Auswertung erfolgt. Hierzu testet die Statistik-Beratung folgende Regressionsannahmen:

  1. Das Modell ist korrekt spezifiziert, das heißt
    1. es ist linear in seinen Parametern (Achsenabschnitt und Steigung)
    2. es enthält alle relevanten Variablen
    3. die Zahl der zuschanzenden Parameter ist kleiner als die Anzahl an Beobachtungen.
  2. Die Fehler haben konstante Varianzen (Homoskedastizität)
  3. Die Störgrößen sind unkorreliert (keine Autokorrelation)
  4. Die Störgrößen sind normalverteilt
  5. Zwischen den unabhängigen Variablen existiert keine lineare Abhängigkeit (keine perfekte Multikollinearität)

Der Datensatz

Für die Vorführung der Prüfung der Annahmen der Regression verwenden wir den Datensatz auto.dta. Dieser ist in Stata 15 implementiert. Kommender Screenshot zeigt den nötigen Befehl.

Eine kurze Beschreibung des Datensatz findest sich hier. Wir möchten den Preis eines Autos price dabei durch die Häufigkeit der Reparatur rep78 und dem Hubraum displacement erklären.

Hierzu führen wir die Regression mit regress aus. Dabei unterdrücken wir die Ergebnisse zunächst. Dies geschieht mit quietly. Es hat einen entscheidenden Grund. In Stata lassen sich die Tests für das Regressionsmodell bzw. zur Prüfung der Annahmen als sogenannte postestimation commands berechnen. Das heißt die Prüfung der Annahmen erfolgt nach einem berechneten Modell. Somit wird zunächst eine Regression geschätzt, daraufhin die Annahmen geprüft und anschließend das Modell gegebenenfalls für Annahmenverletzungen geändert.

Prüfung der Annahmen

1. Korrekte Modellspezifikation und Linearität

Mit dem postestimation command estat ovtest wird der RESET-Test zur Prüfung der Modellspezifikation durchgeführt. Dieser liefert ein nicht-signifikantes Ergebnis, F(3, 63) = 1,70, p = 0,176. Somit ist von einer korrekten Modellspezifikation auszugehen.

Das postestimation command avplots liefert dabei Grafiken, mit welchen die Linearität zwischen abhängiger und unabhängigen Variablen beurteilt wird. Es zeigt sich, dass beide Punktwolken durch Geraden beschrieben werden können. Somit ist die Linearitätsannahme erfüllt.

2. Homoskedastizität

Mittels des postestimation commands estat hettest wird der Breusch-Pagan-Test auf Heteroskedastizität berechnet. Dieser liefert ein signifikantes Ergebnis,  \chi^2(1)=13,92, p = 0,000.. Somit ist diese Annahme verletzt.

Kommende Grafik dient nochmals der Prüfung der Varianzen der Residuen. Es zeigt sich, dass die Streuung von links nach rechts immer stärker wird, somit wird das Ergebnis des Breusch-Pagan-Tests bestätigt. Damit ist die Annahme verletzt.

3. Keine Autokorrelation

Zur Prüfung der Autokorrelation ist es nötig einen Index für die Beobachtungen zu bilden. Hierbei erzeugen wir mittels des Befehls gen Index = _n bzw. ausgeschrieben generate Index = _n eine Variable, die die Beobachtungen von N = 1 , ..., 74 durchzählt. Dann wird diese Index-Variable als timeseries Variable deklariert. Dies geschieht mit tsset Index. Daraufhin verwenden Sie das postestimation command estat dwatson um den Durbin-Watson-Test zu berechnen. Dieser liefert ein nicht-signifikantes Ergebnis, DW = 1,12. Da DW zwischen 1 und 3 liegt.

4.Normalverteilung

Zur Prüfung der Normalverteilungsannahme benötigen wir die Residuen. Diese speichern wir uns in einer neuen Variablen ab. Hierbei erfolgt dies mit dem Befehl predict. Als Option verwenden wir hierbei res. Damit gewährleisten wir eine Speicherung der Residuen in der neuen Variablen residuals. Daraufhin verwenden Sie qnorm residuals um das Quantil-Quantil-Plot zu erstellen.

Dabei kann die Grafik in kommender Abbildung betrachtet werden. Es zeigt sich, dass die Punkte sehr um eine Linie schwanken. Somit ist die Normalverteilungsannahme nicht erfüllt.

5. Keine Multikollinearität

Das postestimation command vif berechnet uns die Varianzinflationsfaktoren des Modells. Diese sind kleiner als 10. Somit ist von keiner Multikollinearität auszugehen.

Das Modell

Die Prüfung der Annahmen ergab, dass die Annahmen Normalverteilung und Homoskedastizität verletzt waren. Somit wird das Modell zum einen mittels eines Bootstraps und zum anderen mit homoskedastizitätskonsistenten Schätzern bestimmt. Der Bootstrap dient zur Stabilisierung der p-Werte bei einer verletzten Normalverteilungsannahme. Dies geschieht mittels der Befehle bootstrap, reps(500): regress price rep78 displacement, vce(hc3). Dabei sorgen der Präfix bootstrap, reps(500): für einen Bootstrap mit 500 Replikationen und die Option vce(hc3), dass die Standardfehler heteroskedastizitätskonsistent geschätzt werden.

Prüfung der Annahmen der Linearen Regression in R

Häufig kommt die Software R bei einer statistischen Beratung zum Einsatz. Im Rahmen einer R-Auswertung wird dabei die lineare Regression oft verwendet. In diesem Artikel befassen wir uns mit der Prüfung der Regressionannahmen in R. Diese lauten:

  1. Das Modell ist korrekt spezifiziert, das heißt
    1. es ist linear in seinen Parametern (Achsenabschnitt und Steigung)
    2. es enthält alle relevanten Variablen
    3. die Zahl der zuschanzenden Parameter ist kleiner als die Anzahl an Beobachtungen.
  2. Die Fehler haben konstante Varianzen (Homoskedastizität)
  3. Die Störgrößen sind unkorreliert (keine Autokorrelation)
  4. Die Störgrößen sind normalverteilt
  5. Zwischen den unabhängigen Variablen existiert keine lineare Abhängigkeit (keine perfekte Multikollinearität)

Der Datensatz

Wir verwenden den Datensatz longley aus dem Paket datasets. Hierzu laden wir zunächst mit dem library(datasets) das entsprechende Paket. Dabei laden wir den Datensatz mit dem Befehl data(longley) in den Workspace von R. Kommendes Bild zeigt das aufgerufene Objekt longley in der R-Konsole.

Hierbei enthält dieser Datensatz unter Anderem das Bruttosozialprodukt, die Anzahl an Anzahl der Mitglieder der Streitkräfte und Anzahl der Berufstätigen in den Jahren 1947 bis 1962. Bei unserem Modell ist das Bruttosozialprodukt die abhängige Variable, die beiden anderen genannten Variablen die unabhängigen Variablen. Dies geschieht mit dem Befehl lm() in folgendem Screenshot. Dabei wurden die Ergebnisse als Objekt modell in dem Workspace von R abgespeichert.

Prüfung der Annahmen der linearen Regression

Für die Prüfung der Modellannahmen werden folgende Pakete in R geladen: lmtest und car. Dabei beinhaltet das Paket car eine Funktion zur Berechnung des Durbin-Watson-Tests auf Autokorrelation, wie auch zur Bestimmung der Varianzinflationsfaktoren (VIF). Weiterhin enthält das Paket lmtest demgegenüber eine Vielzahl an Tests für ein lineares Regressionsmodell. Verwenden Sie die R-Funktionen zu dem Rainbow-, RESET- und Breusch-Pagan-Test.

1. Korrekte Modellspezifikation und Linearität

Für die Prüfung der Modellspezifikation wird der RESET-Test verwendet. Dabei zeigt der kommende Output die Ergebnisse für unser Modell.

Damit ergibt sich ein nicht-signifikantes Ergebnis, F(2, 11) = 1,59, p = 0,248. Somit ist von einer korrekten Modellspezifikation auszugehen.

Weiterhin wurde der Rainbow-Test verwendet. Dieser prüft, ob das Modell der Linearitätsannahme entspricht. Dabei deutet ein signifikantes Ergebnis auf eine Verletzung der Linearität hin. Kommender Output zeigt uns das Ergebnis.

Der Rainbow-Test liefert hierbei ein nicht-signifikantes Ergebnis, F(8, 5) = 1,41, p = 0,368. Somit liegt keine signifikante Verletzung der Linearitätsannahme vor.

2. Homoskedastizität

Hierzu wird der Breusch-Pagan-Test verwendet. Dies erfolgt mittels des Befehls bptest(). Hierbei liefert der Test ein nicht-signifikantes Ergebnis, \chi^2(2) = 1,61, p = 0,448. Somit liegt keine signifikante Heteroskedastizität vor. Die Annahme ist erfüllt.

3. Keine Autokorrelation

Um auf Autokorrelation zu prüfen wird der Durbin-Watson-Test benutzt. Diesen erhalten wir in R mit der Funktion durbinWatsonTest(). Hierbei ergibt sich ein nicht-signifikantes Ergebnis, DW = 1,53, p = 0,11. Somit muss nicht von Autokorrelation ausgegangen werden. Die Annahme ist somit erfüllt.

4. Normalverteilung

Kommende Grafik dient der Prüfung der Normalverteilungsannahme. Dabei handelt sich um ein Quantil-Quantil-Plot. Es zeigt sich, dass die Punkte nahezu auf einer Linie liegen. Am rechten Rand der Verteilung gibt es etwas Abweichungen. Im Quantil-Quantil-Plot oben zu erkennen. Insgesamt kann jedoch eine annähernde Normalverteiltheit angenommen werden.

5. Keine Multikollinearität

Zum Abschluss prüfen wir auf Multikollinearität. Deswegen verwenden wir die VIF, welche Sie durch die Funktion vif() erhalten. Dabei zeigt der kommende Screenshot die Ergebnisse unserer Regression. Hierbei zeigt sich, dass beide unabhängigen Variablen kein Multikollinearitätsproblem verursachen. Da beide VIF kleiner 10 sind.

Prüfung der Annahmen der linearen Regression in SPSS

Eine SPSS-Auswertung mittels einer multiplen linearen Regression ist ein denkbares Arbeitsfeld einer Statistik-Beratung. Dabei unterliegt die lineare Regression einigen Annahmen. In SPSS lassen sich jedoch nicht alle davon überprüfen. Die Prüfung der folgenden Regressionsannahmen wollen wir in diesem Artikel behandeln:

  1. Das Modell ist korrekt spezifiziert, das heißt
    1. es ist linear in seinen Parametern (Achsenabschnitt und Steigung)
    2. es enthält alle relevanten Variablen
    3. die Zahl der zu schätzenden Parameter ist kleiner als die Anzahl an Beobachtungen.
  2. Die Fehler haben konstante Varianzen (Homoskedastizität)
  3. Die Störgrößen sind normalverteilt
  4. Die Störgrößen sind unkorreliert (keine Autokorrelation)
  5. Zwischen den unabhängigen Variablen existiert keine lineare Abhängigkeit (keine perfekte Multikollinearität)

Dazu bedienen wir uns dem Datensatz Employee Data.sav. Dieser ist in SPSS enthalten.

Hierbei handelt es sich um einen Datensatz, der diverse Merkmale von Arbeitnehmern beinhaltet. Unter Anderem Geschlecht, Gehalt, Anfangsgehalt, Beschäftigungsdauer, Angehörigkeit einer Minderheit. Hierbei werden wir uns bei der Regression auf die Variablen Gehalt (abhängige Variable), Anfangsgehalt, Beschäftigungsdauer und Angehöriger einer Minderheit (unabhängige Variablen) fokussieren.

Vor Erstellung des Modells sind Vorüberlegungen sinnvoll. Einkommensverteilungen sind rechtsschief. Wie hier gesehen, ist es häufig sinnvoll eine Transformation der rechtsschiefen abhängigen Variablen zu verwenden.

Hierzu logarithmieren wird die abhängige Variable folgendermaßen. Wir gehen auf Tranformieren > Variable berechnen.

Daraufhin öffnet sich das kommende Fenster:

Hierbei geben wir unter Zielvariable gehalt_log und unter numerischer Ausdruck ln(gehalt) ein. Das Fenster sieht nun folgend aus:

Hierauf bestätigen wir mit OK. Neben der Umwandlung der abhängigen Variablen ist es auch denkbar, dies mit unabhängige Variable zu tun. Das Anfangsgehalt ist ebenfalls rechtsschief. Somit sollte diese Variable ebenfalls mit dem Logarithmus umgerechnet werden. Damit der Zusammenhang zwischen log. abhängiger Variablen und dieser wieder Linearisiert wird. Die Grafiken in dem kommende Abschnitt veranschaulichen das Gemeinte. Wie wir Streudiagramme in SPSS erzeugen erfahrt Ihr hier.

Das Modell ist korrekt spezifiziert bzw. Linearität

Kommende Grafik zeigt den Zusammenhang zwischen Anfangsgehalt und logarithmiertem Gehalt. Hier zeigt sich ein kurvenartiger Verlauf.

Diese Grafik zeigt demgegenüber das logarithmierte Anfangsgehalt gegenüber dem logarithmierten Gehalt. Hierbei zeigt sich klar ein linearer Zusammenhang. Weswegen das Anfangsgehalt ebenfalls logarithmiert wird.

Der Zusammenhang wurde damit linearisiert. Für die übrigen Variablen ist eine Transformation nicht notwendig. Wobei eine Prüfung analog erfolgt. Im Zusammenhang zu der Dummy-Variablen ist dieses Vorgehen nicht notwendig.

Eine schwäche von SPSS bei der Regression ist, das Tests auf eine korrekte Modellspezifikation nicht implementiert sind. Somit ist nur eine visuelle Prüfung der Linearität möglich. Für die meisten Anwendungen jedoch ausreichend.

Im Weiteren werden wir nun die Regression durchführen. Hierbei gehen wir auf Analysieren > Regression > linear

Es öffnet sich das folgende Menu

Wir fügen gehalt_log in Abhängige Variable und agehalt_log, dauer und mind in das Feld unabhängige Variablen.

Homoskedastizität und Normalverteilung

Zur Prüfung auf Homoskedastizität können in SPSS Residualplots betrachtet werden. Hierzu gehen Sie auf Diagramme, wodurch sich ein weiteres Fenster öffnet.

Nun fügen wir ZPRED in das Feld X und ZRESID in das Feld Y. Weiterhin machen wir einen Haken an Normalverteilungsdiagramm. Damit erhalten wir für später ein Quantil-Quantil-Plot der Residuen zur Prüfung der Normalverteilung in 4.

Nun bestätigen wir mit OK. Damit sind Methoden zur Prüfung der Homoskedastizität und der Normalverteilung ausgewählt. Wir drücken auf weiter und gelangen wieder in das Hauptmenü der linearen Regression.

Weiterhin könnte bei einer etwaigen Verletzung der Normalverteilungsannahme ein Bootstrap gemacht werden. Dies erfolgt unter dem entsprechenden Button in obigem Menu. Die spätere Darstellung der Ergebnisse wird jedoch zeigen, dass dies nicht nötig sein wird.

Die Störgrößen sind unkorreliert und keine Multikollinearität

Unter dem Button Statistiken lassen sich weitere Einstellungen für die Berechnungen vornehmen. Klicken wir hierauf, so öffnet sich das kommende Menu.

Hier machen wir einen Hacken an Durbin-Watson (Durbin-Watson-Test auf Autokorrelation) und Kollinearitätsdiagnose (Varianzinflationsfaktoren).

Wir bestätigen mit Weiter und landen wieder im Hauptmenu der Regression.

Nun bestätigen wir mit OK. Somit erscheinen im SPSS-Ausgabefenster die Ergebnisse der Regression, wie auch der Methoden zur Prüfung der Annahmen.

Ergebnisse

In obiger Tabelle stehen unter Anderem die Durbin-Watson-Statistik. Dabei handelt es sich um die Prüfgröße des entsprechenden Tests auf Autokorrelation. SPSS liefert hier keinen p-Wert, was für Verwirrung sorgen kann. Somit muss die Durbin-Watson-Statistik hier "deskriptiv" interpretiert werden. Werte zwischen 1 und 3 deuten dabei auf keine Autokorrelation hin. In unserem Falle mit 1,962 liegt kein Autokorrelationsproblem vor.

Die kommende Tabelle zeigt die zentralen Ergebnisse der Regression. Ebenfalls sind hier mit VIF die Varianzinflationsfaktoren dargestellt. Es zeigt sich, dass alle kleiner 10 sind. Somit ist von keinem Multikollinearitätsproblem auszugehen.

Kommende Grafik dient der Prüfung der Normalverteilungsannahme. Es zeigt sich, dass die Werte sich gut durch eine Linie beschreiben lassen. Somit kann die Normalverteilungsannahme als erfüllt betrachtet werden.

Abschließend dürfen wir unser Modell auf Homoskedastizität. In unterem Bild ist eine willkürliche und gleichmäßige Streuung der Residuen um Null zu erkennen. Somit kann von konstanten Varianzen der Fehlerterme, also Homoskedastizität, ausgegangen werden.

Zusammenfassung

Insgesamt konnten wir mit den obigen Annahmenprüfungen in SPSS ein valides Modell erstellen. Dabei haben wir die Annahmen in SPSS, wie folgt geprüft.

  • Linearität: Streudiagramme der abhängigen Variablen gegen die unabhängigen Variablen, Transformationen zwecks Linearisierung
  • Homoskedastizität: Residualplot, hier sollten die Punkte gleichmäßig streuen
  • Autokorrelation: Durbin-Watson-Test, Test-Statistik sollte zwischen 1 und 3 liegen
  • Normalverteilung: Transformation der abhängigen Variablen, Prüfung mittels P-P-Plot
  • Multkollinearität: Varianzinflationsfaktoren sollten kleiner 10 sein.

Annahmen der linearen Regression

Im Zusammenhang einer statistischen Beratung wird die lineare Regression häufig verwendet. Hierbei unterliegt diese diversen Annahmen:

  1. Das Modell ist korrekt spezifiziert, das heißt
    1. es ist linear in seinen Parametern (Achsenabschnitt und Steigung)
    2. es enthält alle relevanten Variablen
    3. die Zahl der zuschanzenden Parameter ist kleiner als die Anzahl an Beobachtungen.
  2. Die Fehlerterme des Modells haben Erwartungswert Null.
  3. Es besteht keine Korrelation zwischen den erklärenden Variablen und den Fehlern (Keine Endogenität)
  4. Die Fehler haben konstante Varianzen (Homoskedastizität)
  5. Die Störgrößen sind unkorreliert (keine Autokorrelation)
  6. Die Störgrößen sind normalverteilt
  7. Zwischen den unabhängigen Variablen existiert keine lineare Abhängigkeit (keine perfekte Multikollinearität)

1. Das Modell ist korrekt spezifiziert

Je nach genutzter Software kann die Überprüfung dieser Annahme unterschiedlich bis gar nicht erfolgen. In R, wie auch in Stata, sind beispielsweise diverse Tests zur Prüfung auf Linearität, korrekte Modellspezifikation und Tests auf vergessene Variablen (omited variable bias) implementiert. Im Falle einer Nutzung von SPSS sind in der Software keine Signifkanztest enthalten, die Annahme 1 testen.

Prüfung linearer Zusammenhänge

Deskriptiv erfolgt die Prüfung der Linearität durch Streudiagramme. Sie sehen vier verschiedene Beispiele für eine Vielzahl an denkbaren Zusammenhängen.

Hierbei sind zum einen ein linearer, ein nicht-linearer Zusammenhang und zwei lineare Zusammenhänge mit Strukturbrüchen dargestellt. Strukturbrüche lassen sich mittels des Chow-Test untersuchen. Im Falle von Strukturbrüchen ist es denkbar die Regressionen für Teilstichproben, welche am Strukturbruch gesplittet wurden, durchzuführen.

Häufigster Umgang mit nicht-linearen Zusammenhängen sind Transformationen. Dabei lässt sich vor allem der Zusammenhang oben rechts gut mit einer Transformation linearisieren. Wie wir in der kommenden Abbildung sehen. Nach der Umrechnung der Variablen X mit der Quadratwurzel zeigt sich ein linearer Zusammenhang zwischen Y und der Quadratwurzel aus X.

Je nach Zusammenhang sind verschiedenen Umwandlungen denkbar. Häufig genutzte Umformungen sind dabei der Logarithmus, Expoentialfunktion, Kehrwert, beliebige Potenzen und Wurzeln.

2. Fehlerterme haben Erwartungswert Null

Wurden keine relevanten Variablen ausgelassen. Dann umfasst die Störvariable nur zufällige Einflüsse. Dabei unterstellt ein Regressionsmodell, dass diese Schwankungen sich im Mittel aufheben. Sie sind also Null. Mathematisch haben die Fehlerterme Erwartungswert Null.

Ein systematischer Fehler spiegelt sich hingegen in systematischen Einflüssen der Störgrößen wieder. Der systematische Messfehler geht dabei in die Regressionskonstante über. Diese ist bei einer Verletzung der Annahme verzerrt. Da die Konstante in den meisten Anwendung von keinem Interesse ist, wird eine Verletzung dieser Annahme häufig nicht stören. Somit ist eine Überprüfung dieser Annahme in praktischen Anwendungen häufig nicht Relevanz.

Eine Überprüfung der Annahme über den Mittelwert der Residuen ist hingegen hinfällig. Auf Grund der mathematischen Eigenschaften der kleinsten Quadrate Methode haben die Residuen eines geschätzten Regressionsmodells immer einen Mittelwert nahe Null. Vielmehr liefert ein Test auf korrekte Modellspezifikation eine Methode diese Annahme zu überprüfen.

3. Keine Endogenität

Vor allem bei ökonometrischen Anwendungen stellt Endogenität ein häufig auftretendes Problem dar. Endogenität liegt vor, wenn eine Korrelation zwischen erklärenden Variablen und den Fehlern vorhanden ist. Zur Prüfung auf Endogenität existieren diverse Tests.

Ursachen für Endogenität sind:

  • Verzerrung durch vergessene Variablen (omitted variable bias)
  • simultane Kausalität, das heißt mehrere Gleichungen beschreiben den Zusammenhang
  • Messfehler in der abhängigen Variablen
  • Autokorrelation mit der endogenen unabhängigen Variablen
  • Unbeobachtete Heterogenität (sog. Individualeffekte)
  • etc.

Ein Umgang mit Endogenität sind die sogenannten Instrumentenvariablenschätzungen. Bei Individualeffekten kann ein Panel-Modell konsistente Schätzungen liefern.

4. Homoskedastizität

Zur Prüfung auf Heteroskedastizität existieren diverse Signifikantests. Weiterhin eignen sich grafische Hilfsmittel zur Prüfung auf Heteroskedastizität. Hierbei werden die Residuen in einem Streudiagramm visuell beurteilt. Typische Bilder für Heteroskedastizität bzw. Homoskedastizität sind in der kommenden Grafik zu betrachten.

Wir erkennen oben links ein Bild für Homoskedastizität. Die Streuung bleibt hier über das Bild nahezu konstant. Die übrigen drei Bilder zeigen Beispiele für heteroskedastische Fehler. Es zeigt sich jeweils eine Veränderung der Streuung der Residuen. Dies deutet auf eine ungleiche Varianz der Fehler hin und somit Heteroskedastizität.

Liegt Heteroskedastizität vor, so sind die p-Werte der Koeffizienten des Modells verzerrt. Mittels heteroskedastizitätskonsistenten Schätzern können dann unverzerrte p-Werte ermittelt werden.

5. Keine Autokorrelation

Autokorrelation liegt vor, wenn die Residuen untereinander korrelieren. Typischerweise tritt sie häufig bei Zeitreihen auf. Im ihrem Falle sind die Abweichungen von der Regressionsgeraden nicht mehr zufällig. Vielmehr weichen sie beispielsweise in ihrer Richtung von den Abweichungen des vorangegangenen Beobachtungswert ab.

Zur Prüfung liegen Signifikantests vor. Ebenfalls kann die Prüfung mittels grafischer Hilfsmittel erfolgen. Es gibt zwei grundlegende Typen von Autokorrelation. Dabei hängen die Residuen entweder positiv oder negativ voneinander ab. Somit wird von positiver und negativer Autokorrelation gesprochen. Im Falle einer positiven Autokorrelation liegen benachbarte Residuen vom Wert her nahe aneinander. Bei negativer Autokorrelation schwanken die Werte der benachbarten Residuen sehr. Beispiele für positive und negative Autokorrelation sind in der nächsten Abbildung zu sehen.

Autokorrelation sorgt für verzerrte p-Werte. Liegt sie vor, so lassen sich die p-Werte mittels sogenannter Heteroskedastizitäts- und Autokorrelationskonsistenten Schätzern (HAC-Schätzer, Sandwich-Estimator) stabilisieren.

6. Die Fehler sind normalverteilt

Diese Annahme wird benötigt, um die Koeffizienten des Modells auf Signifikanz zu testen. Es stellt sich somit die Frage: Wie prüfe ich auf Normalverteilung bzw. wie sichere ich mich bei Verletzung ab?

Signifikanztests

Die Überprüfung der Normalverteiltheit kann dabei über Signifikanztests erfolgen. Hierbei ist jedoch bei großen Stichproben eher von abzusehen. Denn die Tests liefern bei großen Stichproben und leichten Abweichungen von einer Normalverteilung dennoch häufig ein signifikantes Ergebnis. In den meisten Fällen ist die grafische Analyse zur Prüfung der Normalverteilung vorzuziehen. Ab einer gewissen Stichprobengröße kann auch, wie folgt vorgegangen werden.

Argumentation über den zentralen Grenzwertsatz

Ab einer Stichprobengröße von N > 30 pro unabhängige Variable kann auch mittels des zentralen Grenzwertsatzes argumentiert und eine annähernde Normalverteilung angenommen werden.

Grafische Überprüfung der Normalverteilung und Transformationen

Als geeignete grafische Hilfsmittel dienen Histogramme oder Quantil-Quantil-Plots. Kommende Grafik zeigt die Verteilung von normalverteilten und t-verteilten Residuen. Die Verteilungen sind als Histogramme dargestellt. Es zeigt sich, dass beide Verteilungen symmetrisch sind und sich daher sehr ähneln. Jedoch ist zu erkennen, dass der Wertebereich der Residuen im Falle der t-Verteilung breiter ist. In der Statistik wird in diesem Zusammenhang davon gesprochen, dass die t-Verteilung schwerere Ränder besitzt als die Normalverteilung. Wie sich das bei einer Verteilungsprüfung äußert sehen wir später in den Quantil-Quantil-Plots.

Kommende Abbildung zeigt uns eine Verteilung der Residuen, welche rechtsschief ist. Sie weicht damit stark von einer Normalverteilung ab (obere Grafik). Ähnlich wie bei der Linearität, können geeignete Transformationen hier helfen. Weiterhin ist in der kommenden Abbildung die Verteilung der logarithmierten Werte zu betrachten (unter Grafik). Diese ist symmetrisch ist und streut in einem Bereich von - 4 bis 4. Damit ähnelt sie einer Normalverteilung, sodass in diesem Falle eine Transformation der abhängigen Variablen mit dem Logarithmus für eine symmetrische Verteilung sorgt.

Kommende Grafik zeigt nochmals die obigen Verteilungen verglichen mit der Normalverteilung. Hierbei handelt es sich um Quantil-Quantil-Plots. Dabei werden die Quantile der Normalverteilung und die der Residuen gegeneinander abgetragen.

Folgende Idee steckt hinter dieser Grafik: Stammen die Residuen aus einer Normalverteilung, so müssen auch die Quantile der Residuen mit denen einer Normalverteilung übereinstimmen. Bei perfekter Übereinstimmung konzentrieren sich die Punkte in der Grafik demnach auf einer Geraden. Im Falle der normalverteilten Residuen (links) zeigt sich eine nahezu perfekte Übereinstimmung. Bei der t-Verteilung (Mitte) hingegen zeigen sich die oben beobachteten Abweichung an den Rändern. Jene erschienen im Histogramm weniger stark als hier im Quantil-Quantil-Plot. Extreme Abweichungen von einer Normalverteilung sind demgegenüber bei der Untersuchung der rechtsschiefen Verteilung zu betrachten.

Bootstrap

Der letzte Ausweg, wenn eine Transformation nicht für den gewünschten Symmetrieeffekt sorgt und nicht über die große Stichprobe argumentiert werden, ist ein sogenannter Bootstrap. Dieser kann ebenfalls bei einer Verletzung der Normalverteilungannahme erfolgen. Bei einem Bootstrap werden aus der vorliegenden Stichprobe Zufallsstichproben generiert, aus welchen dann die stabilisierten p-Werte berechnet werden. Die Zufallsstichproben heißen Replikationen. Je mehr Replikationen benutzt werden um so stabiler sind die gebootstrapten p-Werte. In der Praxis werden Bootstraps meist mit 1000 oder 5000 Replikationen berechnet. Generell ist zu empfehlen die Anzahl an Replikationen zu erhöhen, je stärker die Verteilung der Residuen von einer Normalverteilung abweicht.

7. Keine perfekte Multikollinearität

Was ist Multikollinearität?

Im Falle von Multikollinearität überschneiden sich die Streuungen der unabhängigen Variablen. Damit gehen Redundanzen in den Daten und weniger Informationen einher. Weiterhin bedeutet dies, dass sich die vorliegenden Informationen nicht mehr eindeutig den entsprechenden Variablen zuordnen lassen. Die kommende Grafik illustriert den Zusammenhang.

Im ersten Falle (links) ist die Überschneidung der Streuungen der unabhängigen Variablen gering Nur ein kleiner Teil der Information (schwarze Fläche) kann nicht eindeutig zugeordnet werden. Hingegen ist bei starker Multikollinearität (rechts) die schwarze Fläche viel größer. Dies bedeutet wenig Information der erklärenden Einflüsse wird demnach richtig zugeordnet.

Wie entsteht Multikollinearität und wie prüfe ich darauf?

Multikollinearität entsteht häufig, wenn erklärende Variablen hoch miteinander korrelieren. Somit kann als erster Anhaltspunkt für Multikollinearität die Korrelationsmatrix der erklärenden Einflüsse verwendet werden. Weiterhin existieren Kennzahlen, wie die sogenannten Varianzinflationsfaktoren (VIF). Die VIF werden für alle unabhängigen Variablen bestimmt. Sind diese Kennzahlen zu groß, so deutet dies auf Multikollinearität hin. Ein ernstzunehmendes Multkollinearitätsproblem liegt vor, falls mindestens ein VIF größer 10 ist.

Umgang mit Multikollinearität

Es gibt mehrere Methoden mit Multikollinearität umzugehen. Zum einen können Variablen, die sie verursachen, entfernt werden. Handelt es sich um wichtige Einflussgrößen, so ist ein einfache Entfernen häufig nicht erstrebenswert. Weiterhin können aus den entsprechenden Variablen neue Variablen gebildet werden. Dabei kann zum Beispiel das Verhältnis gebildet und in das Modell aufgenommen werden. So werden die inhaltlich relevanten Einflüsse weiter aufgenommen. Jedoch sollte die neu gebildeten Variablen einen sinnvollen und inhaltlich erklärbaren Einfluss darstellen.

Korrelationsanalyse in Stata

Eine häufig angewendete Methode bei der Stata-Auswertung ist die Korrelationsanalyse. Hierzu laden wir uns den Beispiel Datensatz 1978 Automobile Data durch den folgenden Befehl.

Dieser enthält Daten zu N = 74 Autosmodellen aus dem Jahre 1978. Folgende Merkmale beinhaltet der Datensatz.

Wir untersuchen im Folgenden den Zusammenhang zwischen Gewicht weight und Länge length der Automodelle. Dies schauen wir uns zunächst mit den kommenden Befehlen grafisch an.

Dadurch erhalten wir das Streudiagramm zwischen Länge und Gewicht, wie auch die eingezeichnete Regressionsgerade zu diesem Zusammenhang.

Es zeigt sich ein nahezu linearer Zusammenhang. Schwerere Automodelle sind durch eine tendenziell längere Karosserie gekennzeichnet. Mit dem Befehl pwcorr und der Option sig erhalten wir als Stata-Kommando die Korrelation nach Pearson und den p-Wert des Tests auf Signifikanz der Korrelation. Sie ist stark positiv und signifikant, r = 0,95, p = 0,000. Auf Grund der großen Stichprobe von N = 74 wird auf eine Prüfung der Normalverteilungsannahme verzichtet.

Korrelationsanalyse in R

In unserem letzten Beitrag wurde gezeigt, wie eine SPSS-Auswertung der Korrelation erfolgt. In diesem Beitrag wird erläutert, wie es in R geht.

Erzeuge Zufallszahlen, welche korreliert werden sollen

Zunächst erzeugen wir uns Zufallszahlen. Hierzu legen wir mit dem Befehl set.seed() den Startwert des Zufallsgenerators fest. Hierzu wird eine beliebige Zahl innerhalb der Klammer angegeben. Dies dient der Reproduzierbarkeit der Analysen für Aussenstehende. Weiterhin erzeugen wir uns 100 standardnormalverteilte Zufallszahlen (Zeile 5 im Code). Das Objekt y (Zeile 8 im Code) in Form einer Geradengleichung mit Achsenabschnitt 4,3 und Steigung 6 in Abhängigkeit von x und einem t-verteilten "Fehler" erzeugt. Dabei ist x standardnormalverteilt. Somit steht y auf Grund der Gleichung in einem linearen Zusammenhang zu x.

Eine erste grafische Untersuchung des Zusammenhangs

Die obige Befehlskette erzeugt uns das kommende Streudiagramm. Hierbei ist zunächst ein annähernd linearer Zusammenhang zwischen x und y zu erkennen. Weiterhin fällt ein Wertepaar auf. Dieses wurde als roter Punkt in der Grafik gekennzeichnet. Hierbei weicht jenes Beobachtungspaar stark von den übrigen ab. Somit deklarieren wir es hier als "Ausreißer". Weiterhin wurden mit der blauen Linie die Regressionsgerade für alle 100 Beobachungspaare in der Grafik ergänzt. Mit der roten Linie wurde die Regressionsgeraden ohne das Ausreißerpaar eingezeichnet.

Was ist zu erkennen? Durch den Ausreißer wird die Steigung der Regressionsgeraden steiler geschätzt. Dies ist in der kommenden Grafik nochmals besser zu erkennen. Welche Auswirkungen hat dieser Ausreißer auf die Korrelation? Dazu berechnen wir jene zum einen mit und zum anderen ohne Ausreißerpaar

Bestimmung der Korrelation

Zur Bestimmung einer Korrelation sind verschiedene Funktionen in R implementiert. Wir verwenden hier cor.test() aus dem Pakte stats.

Mit dem Ausreißer ergibt sich eine signifikante und positive, nach Cohen's Konventionen, starke Korrelation, r = 0,65, p = 0,000. Folgendes Ergebnis erhalten wir, wenn wir die Korrelation ohne den Ausreißer berechnen.

Die Korrelation steigt an auf r = 0,89, p = 0,000. Sie ist positiv und signifikant. Weiterhin ist das eine starke Korrelation. Was ist passiert? Der Korrelationskoeffizient nach Pearson ist ein Maß zu Beurteilung eines lineare Zusammenhangs zwischen zwei metrischen Merkmalen. Das heißt mittels der Korrelation wird untersucht, wie gut sich zwei Wertereihen durch eine Gerade beschreiben lassen. Durch Entfernung des Ausreißers lässt sich die neue Punktwolke also besser durch eine Gerade beschreiben als zuvor.

Diese Analysen der Korrelation sind exemplarisch erfolgt. Auf Grund der hohen Stichprobengröße wird die Normalverteilungsannahme als erfüllt betrachtet. Andernfalls wird sie mittels gängigen Tests oder grafischen Hilfsmittel untersucht.

Alternativ zur Ausreißerentfernung kann man auch eine Rangkorrelation verwenden. Für die Berechnung der Rangkorrelation werden die metrischen Daten in Ränge umgewandelt. Auf Grund dieser Rangbildung liegt der Effekt extremer Beobachtungen nicht mehr vor. Diese Eigenschaft bezeichnen wir in der Statistik mit Robustheit. Statistische Kennzahlen, welche sich durch Ausreißer nicht beeinflussen heißen robust. In unserem Fall ergibt sich bei Verwendung von der Korrelation nach Spearman folgendes Ergebnis.

Hier ergibt sich eine starke und positive Rangkorrelation,  \rho = 0,87, p = 0,000 . Der Wert ist deutlich näher an dem berechneten Wert ohne Ausreißer. Dies ist auf die Robustheit der Korrelation nach Spearman zurückzuführen.