Εισαγωγή
Η ανάλυση παλινδρόμησης (regression analysis) αποτελεί μία από τις σημαντικότερες οικογένειες μεθόδων στη Στατιστική και στην Επιστήμη Δεδομένων. Χρησιμοποιείται για την ποσοτική διερεύνηση της σχέσης μεταξύ μιας μεταβλητής-στόχου και μίας ή περισσότερων επεξηγηματικών μεταβλητών.
Οι δύο βασικοί σκοποί της παλινδρόμησης είναι διαφορετικοί αλλά συμπληρωματικοί. Ο πρώτος είναι η ερμηνεία: να εξεταστεί δηλαδή αν και σε ποιο βαθμό μια μεταβλητή σχετίζεται με μια άλλη. Ο δεύτερος είναι η πρόβλεψη: να χρησιμοποιηθούν γνωστές τιμές επεξηγηματικών μεταβλητών για την εκτίμηση μιας άγνωστης ή μελλοντικής τιμής της μεταβλητής-στόχου. Η διάκριση αυτή αποτελεί κεντρικό άξονα και του αρχικού κεφαλαίου.
Εξαρτημένη και Ανεξάρτητες Μεταβλητές
Στη γραμμική παλινδρόμηση, η μεταβλητή που επιχειρούμε να εξηγήσουμε ή να προβλέψουμε ονομάζεται εξαρτημένη μεταβλητή ή μεταβλητή απόκρισης. Οι μεταβλητές που χρησιμοποιούνται για την εξήγησή της ονομάζονται ανεξάρτητες, επεξηγηματικές ή προβλεπτικές μεταβλητές.
Στη σύγχρονη στατιστική, ο γενικότερος όρος «παλινδρόμηση» δεν περιορίζεται σε συνεχείς εξαρτημένες μεταβλητές. Για παράδειγμα, η λογιστική παλινδρόμηση χρησιμοποιείται για δυαδικές εκβάσεις και η Poisson παλινδρόμηση για δεδομένα καταμέτρησης. Ωστόσο, το συγκεκριμένο αρχείο επικεντρώνεται κυρίως στη γραμμική παλινδρόμηση με συνεχή έκβαση.
Απλή Γραμμική Παλινδρόμηση
Η απλή γραμμική παλινδρόμηση εξετάζει τη σχέση μιας συνεχούς εξαρτημένης μεταβλητής YY με μία ανεξάρτητη μεταβλητή XX.
Το βασικό μοντέλο είναι:
Y = β₀ + β₁X + ε
όπου:
β₀ είναι ο σταθερός όρος,
β₁ είναι ο συντελεστής παλινδρόμησης,
και ε είναι ο όρος σφάλματος.
Ο συντελεστής β₁ εκφράζει τη μέση μεταβολή της εξαρτημένης μεταβλητής όταν η ανεξάρτητη αυξάνεται κατά μία μονάδα.
Στο αρχικό αρχείο χρησιμοποιείται ως παράδειγμα η σχέση μεταξύ ετήσιου εισοδήματος ενός νοικοκυριού και δαπάνης για τρόφιμα.
Πολλαπλή Γραμμική Παλινδρόμηση
Όταν στο μοντέλο περιλαμβάνονται περισσότερες ανεξάρτητες μεταβλητές, έχουμε πολλαπλή γραμμική παλινδρόμηση:
Y = β₀ + β₁X₁ + β₂X₂ + … + βₖXₖ + ε
Το σημαντικό πλεονέκτημα είναι ότι μπορούμε να εξετάσουμε τη σχέση κάθε ανεξάρτητης μεταβλητής με την έκβαση, λαμβάνοντας υπόψη τις υπόλοιπες μεταβλητές του μοντέλου.
Το αρχικό παράδειγμα επεκτείνει την κατανάλωση τροφίμων ώστε να εξηγείται τόσο από το εισόδημα όσο και από το μέγεθος του νοικοκυριού.
Διάγραμμα Διασποράς
Πριν από την εκτίμηση ενός μοντέλου είναι σημαντική η διερευνητική ανάλυση.
Για δύο συνεχείς μεταβλητές χρησιμοποιείται συχνά το διάγραμμα διασποράς (scatter plot), το οποίο μπορεί να αποκαλύψει:
τη μορφή της σχέσης,
την κατεύθυνσή της,
την ισχύ της,
πιθανές μη γραμμικότητες,
ακραίες τιμές,
και μεταβολές στη διασπορά.
Το αρχικό αρχείο χρησιμοποιεί το scatter plot ως πρώτο βήμα διερεύνησης της σχέσης μεταξύ εισοδήματος και κατανάλωσης τροφίμων.
Στο διάγραμμα της σελίδας 9 φαίνεται χαρακτηριστικά μια θετική περίπου γραμμική σχέση: όσο αυξάνεται το εισόδημα, αυξάνεται και η δαπάνη για τρόφιμα.
Μέθοδος Ελαχίστων Τετραγώνων
Η συνηθέστερη μέθοδος εκτίμησης των συντελεστών στη γραμμική παλινδρόμηση είναι η Ordinary Least Squares (OLS).
Η λογική της είναι να επιλεγούν οι συντελεστές που ελαχιστοποιούν το άθροισμα των τετραγώνων των καταλοίπων:
Σ(yᵢ − ŷᵢ)²
όπου yiy_i είναι η πραγματική τιμή και y^i\hat{y}_i η τιμή που προβλέπει το μοντέλο.
Τα κατάλοιπα εκφράζουν επομένως το μέρος της παρατηρούμενης μεταβλητότητας που δεν εξηγεί το μοντέλο.
Πρόβλεψη και Ερμηνεία
Το αρχικό υλικό διαχωρίζει σαφώς δύο στόχους.
Στην πρόβλεψη, ενδιαφέρει κυρίως πόσο ακριβείς είναι οι προβλεπόμενες τιμές σε νέα δεδομένα.
Στην ερμηνεία, ενδιαφέρει περισσότερο το πώς οι ανεξάρτητες μεταβλητές σχετίζονται με τη διακύμανση της εξαρτημένης.
Μια προβλεπόμενη τιμή δεν πρέπει να αντιμετωπίζεται ως βεβαιότητα. Στο παράδειγμα του αρχείου, το μοντέλο μπορεί να προβλέψει μέση κατανάλωση για συγκεκριμένο εισόδημα, αλλά διαφορετικά νοικοκυριά με το ίδιο εισόδημα μπορεί να έχουν διαφορετικές πραγματικές δαπάνες.
R² και Εξηγούμενη Διακύμανση
Ένας συχνός δείκτης αξιολόγησης είναι ο συντελεστής προσδιορισμού R².
Το R² εκφράζει το ποσοστό της μεταβλητότητας της εξαρτημένης μεταβλητής που εξηγείται από το μοντέλο.
Για παράδειγμα:
R² = 0,60
σημαίνει ότι περίπου το 60% της παρατηρούμενης διακύμανσης της έκβασης εξηγείται από τις μεταβλητές του μοντέλου.
Σε πολλαπλή παλινδρόμηση χρησιμοποιείται συχνά και το Adjusted R², το οποίο λαμβάνει υπόψη τον αριθμό των προβλεπτικών μεταβλητών.
Έλεγχος Καταλοίπων
Η αξιολόγηση ενός γραμμικού μοντέλου δεν πρέπει να περιορίζεται στο R² και στα p-values.
Απαιτείται διερεύνηση των καταλοίπων.
Βασικά στοιχεία είναι:
η γραμμικότητα,
η ομοσκεδαστικότητα,
η κατανομή των καταλοίπων,
και η παρουσία επιδραστικών παρατηρήσεων.
Η ομοσκεδαστικότητα σημαίνει ότι η διακύμανση των καταλοίπων παραμένει περίπου σταθερή σε όλο το εύρος των προβλεπόμενων τιμών.
Όταν η διασπορά αυξάνεται ή μειώνεται συστηματικά, υπάρχει ετεροσκεδαστικότητα, η οποία μπορεί να επηρεάσει κυρίως την εγκυρότητα των τυπικών σφαλμάτων και των συμπερασμάτων.
Πολυσυγγραμμικότητα
Στην πολλαπλή παλινδρόμηση μπορεί δύο ή περισσότερες ανεξάρτητες μεταβλητές να σχετίζονται έντονα μεταξύ τους.
Το φαινόμενο ονομάζεται πολυσυγγραμμικότητα και μπορεί να κάνει ασταθείς τις εκτιμήσεις των επιμέρους συντελεστών.
Ένας συχνός διαγνωστικός δείκτης είναι ο Variance Inflation Factor (VIF). Το αρχικό αρχείο χρησιμοποιεί ενδεικτικά όρια VIF > 4 για περαιτέρω διερεύνηση και VIF > 10 για ισχυρή πολυσυγγραμμικότητα.
Τα όρια αυτά δεν πρέπει να αντιμετωπίζονται ως απόλυτοι κανόνες· η ερμηνεία εξαρτάται από τον σκοπό και τη δομή του μοντέλου.
Cross-Validation και Πρόβλεψη
Όταν ο βασικός στόχος είναι η πρόβλεψη, η απόδοση πρέπει να αξιολογείται σε δεδομένα που δεν χρησιμοποιήθηκαν για την προσαρμογή του μοντέλου.
Η k-fold cross-validation χωρίζει τα δεδομένα σε k τμήματα και επαναλαμβάνει τη διαδικασία εκπαίδευσης και αξιολόγησης, ώστε να προκύψει πιο αξιόπιστη εκτίμηση του σφάλματος γενίκευσης. Το αρχείο δίνει ιδιαίτερη έμφαση στη cross-validation όταν ο στόχος είναι η πρόβλεψη.
Underfitting και Overfitting
Ένα πολύ απλό μοντέλο μπορεί να παρουσιάζει underfitting, δηλαδή να μην αποτυπώνει επαρκώς την πραγματική δομή των δεδομένων.
Αντίθετα, ένα υπερβολικά σύνθετο μοντέλο μπορεί να παρουσιάζει overfitting: να ταιριάζει εξαιρετικά στα δεδομένα εκπαίδευσης αλλά να έχει κακή απόδοση σε νέα δεδομένα.
Η σωστή επιλογή μοντέλου απαιτεί ισορροπία μεταξύ προσαρμογής και γενίκευσης.
Ridge, LASSO και Elastic Net
Οι μέθοδοι κανονικοποίησης χρησιμοποιούνται για τον περιορισμό της πολυπλοκότητας των μοντέλων.
Η Ridge regression μειώνει το μέγεθος των συντελεστών αλλά συνήθως δεν τους μηδενίζει.
Η LASSO regression μπορεί να οδηγήσει ορισμένους συντελεστές ακριβώς στο μηδέν και έτσι να λειτουργήσει παράλληλα ως μέθοδος επιλογής μεταβλητών.
Η Elastic Net συνδυάζει χαρακτηριστικά Ridge και LASSO.
Η παράμετρος κανονικοποίησης μπορεί να επιλέγεται μέσω cross-validation.
Συμπεράσματα
Η ανάλυση παλινδρόμησης είναι πολύ περισσότερο από την προσαρμογή μιας ευθείας στα δεδομένα. Αποτελεί ένα ολοκληρωμένο πλαίσιο για την ποσοτικοποίηση σχέσεων, την εξήγηση μεταβλητότητας και την πρόβλεψη νέων τιμών.
Μια σύγχρονη ανάλυση πρέπει να περιλαμβάνει διερευνητική απεικόνιση, κατάλληλη επιλογή μοντέλου, ερμηνεία των συντελεστών, έλεγχο καταλοίπων, αξιολόγηση πολυσυγγραμμικότητας και, όταν ο στόχος είναι η πρόβλεψη, έλεγχο της απόδοσης σε νέα δεδομένα.
Παράλληλα, τεχνικές όπως Ridge, LASSO και Elastic Net επεκτείνουν την κλασική γραμμική παλινδρόμηση και συμβάλλουν στη δημιουργία πιο σταθερών μοντέλων σε σύνολα δεδομένων με πολλές ή συσχετισμένες μεταβλητές.
Βιβλιογραφία
James, G., Witten, D., Hastie, T., Tibshirani, R., & Taylor, J. (2023). An introduction to statistical learning: With applications in Python. Springer.
Kutner, M. H., Nachtsheim, C. J., Neter, J., & Li, W. (2005). Applied linear statistical models (5th ed.). McGraw-Hill.
Montgomery, D. C., Peck, E. A., & Vining, G. G. (2021). Introduction to linear regression analysis (6th ed.). Wiley.
Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning (2nd ed.). Springer.
Fox, J. (2016). Applied regression analysis and generalized linear models (3rd ed.). SAGE Publications.