Δημιουργία μοντέλου δεδομένων με μικρότερες απαιτήσεις μνήμης, χρησιμοποιώντας το Excel και το πρόσθετο Power Pivot

Δύο παραδείγματα στηλών που πρέπει πάντα να εξαιρούνται

Το πρώτο παράδειγμα σχετίζεται με δεδομένα που προέρχονται από μια αποθήκη δεδομένων. Σε μια αποθήκη δεδομένων, είναι συνηθισμένο να βρίσκετε τεχνουργήματα διεργασιών ETL που φορτώνουν και ανανεώνουν δεδομένα στην αποθήκη. Στήλες όπως "create date", "update date" και "ETL run" δημιουργούνται κατά τη φόρτωση των δεδομένων. Καμία από αυτές τις στήλες δεν είναι απαραίτητη στο μοντέλο και θα πρέπει να καταργηθεί κατά την εισαγωγή δεδομένων.

Το δεύτερο παράδειγμα περιλαμβάνει την παράλειψη της στήλης πρωτεύοντος κλειδιού κατά την εισαγωγή ενός πίνακα δεδομένων.

Πολλοί πίνακες, συμπεριλαμβανομένων των πινάκων δεδομένων, έχουν πρωτεύοντα κλειδιά. Για τους περισσότερους πίνακες, όπως αυτούς που περιέχουν δεδομένα πελατών, υπαλλήλων ή πωλήσεων, θα θέλετε το πρωτεύον κλειδί του πίνακα, ώστε να μπορείτε να το χρησιμοποιήσετε για να δημιουργήσετε σχέσεις στο μοντέλο.

Οι πίνακες γεγονότων είναι διαφορετικοί. Σε έναν πίνακα δεδομένων, το πρωτεύον κλειδί χρησιμοποιείται για τον μοναδικό προσδιορισμό κάθε γραμμής. Παρόλο που είναι απαραίτητο για σκοπούς κανονικοποίησης, είναι λιγότερο χρήσιμο σε ένα μοντέλο δεδομένων όπου θέλετε να χρησιμοποιούνται μόνο οι στήλες για ανάλυση ή για τη δημιουργία σχέσεων πινάκων. Για το λόγο αυτό, κατά την εισαγωγή από έναν πίνακα δεδομένων, μην συμπεριλάβετε το πρωτεύον κλειδί του. Τα πρωτεύοντα κλειδιά σε έναν πίνακα γεγονότων καταναλώνουν τεράστιες ποσότητες χώρου στο μοντέλο, αλλά δεν παρέχουν κανένα όφελος, καθώς δεν μπορούν να χρησιμοποιηθούν για τη δημιουργία σχέσεων.

Τρόπος εξαίρεσης περιττών στηλών

Τα αποτελεσματικά μοντέλα περιέχουν μόνο τις στήλες που θα χρειαστείτε στο βιβλίο εργασίας σας. Εάν θέλετε να ελέγξετε ποιες στήλες περιλαμβάνονται στο μοντέλο, θα πρέπει να χρησιμοποιήσετε τον Οδηγό εισαγωγής πίνακα στο πρόσθετο Power Pivot για να εισαγάγετε τα δεδομένα αντί για το παράθυρο διαλόγου "Εισαγωγή δεδομένων" στο Excel.

Όταν ξεκινάτε τον "Οδηγό εισαγωγής πίνακα", επιλέγετε τους πίνακες που θα εισαγάγετε.

Για κάθε πίνακα, μπορείτε να κάνετε κλικ στο κουμπί Προεπισκόπηση & φίλτρο και να επιλέξετε τα τμήματα του πίνακα που πραγματικά χρειάζεστε. Συνιστάται να καταργήσετε πρώτα την επιλογή όλων των στηλών και, στη συνέχεια, να προχωρήσετε στον έλεγχο των στηλών που θέλετε, αφού εξετάσετε εάν απαιτούνται για την ανάλυση.

Τροποποίηση στηλών ημερομηνίας/ώρας

Σε πολλές περιπτώσεις, οι στήλες Datetime καταλαμβάνουν πολύ χώρο. Ευτυχώς, υπάρχουν πολλοί τρόποι για να μειώσετε τις απαιτήσεις χώρου αποθήκευσης για αυτόν τον τύπο δεδομένων. Οι τεχνικές θα διαφέρουν ανάλογα με τον τρόπο που χρησιμοποιείτε τη στήλη και το επίπεδο άνεσης στη δημιουργία ερωτημάτων SQL.

Οι στήλες ημερομηνίας και ώρας περιλαμβάνουν ένα τμήμα ημερομηνίας και μια ώρα. Όταν αναρωτηθείτε εάν χρειάζεστε μια στήλη, κάντε την ίδια ερώτηση πολλές φορές για μια στήλη Datetime:

• Χρειάζομαι το μέρος του χρόνου;

• Χρειάζομαι το τμήμα χρόνου στο επίπεδο των ωρών; Λεπτά? Δευτερόλεπτα? Millisecond?

• Έχω πολλές στήλες datetime επειδή θέλω να υπολογίσω τη διαφορά μεταξύ τους ή απλώς για να συγκεντρώσω τα δεδομένα κατά έτος, μήνα, τρίμηνο και ούτω καθεξής.

Ο τρόπος με τον οποίο μπορείτε να απαντήσετε σε κάθε μία από αυτές τις ερωτήσεις καθορίζει τις επιλογές σας για την αντιμετώπιση της στήλης Datetime.

Όλες αυτές οι λύσεις απαιτούν τροποποίηση ενός ερωτήματος SQL. Για να διευκολύνετε την τροποποίηση του ερωτήματος, θα πρέπει να φιλτράρετε τουλάχιστον μία στήλη σε κάθε πίνακα. Φιλτράροντας μια στήλη, αλλάζετε την κατασκευή ενός ερωτήματος από συντομογραφία (SELECT *) σε μια πρόταση SELECT που περιλαμβάνει πλήρως προσδιορισμένων ονομάτων στηλών, τα οποία είναι πολύ πιο εύκολο να τροποποιηθούν.

Ας ρίξουμε μια ματιά στα ερωτήματα που έχουν δημιουργηθεί για εσάς. Από το παράθυρο διαλόγου Ιδιότητες πίνακα, μπορείτε να μεταβείτε στο Πρόγραμμα επεξεργασίας ερωτήματος και να δείτε το τρέχον ερώτημα SQL για κάθε πίνακα.

Από τις Ιδιότητες πίνακα, επιλέξτε πρόγραμμα επεξεργασίας Power Query.

Η πρόγραμμα επεξεργασίας Power Query εμφανίζει το ερώτημα SQL που χρησιμοποιείται για τη συμπλήρωση του πίνακα. Εάν έχετε φιλτράρει οποιαδήποτε στήλη κατά την εισαγωγή, το ερώτημά σας περιλαμβάνει πλήρως προσδιορισμένα ονόματα στηλών:

Τροποποίηση του ερωτήματος SQL

Τώρα που γνωρίζετε πώς μπορείτε να βρείτε το ερώτημα, μπορείτε να το τροποποιήσετε για να μειώσετε περαιτέρω το μέγεθος του μοντέλου σας.

1. Για στήλες που περιέχουν νομισματικές μονάδες ή δεκαδικά δεδομένα, εάν δεν χρειάζεστε τα δεκαδικά ψηφία, χρησιμοποιήστε αυτή τη σύνταξη για να καταργήσετε τα δεκαδικά ψηφία:

   "SELECT ROUND([Decimal_column_name],0)... .”

   Εάν χρειάζεστε τα σεντ αλλά όχι κλάσματα των λεπτών, αντικαταστήστε το 0 με το 2. Εάν χρησιμοποιείτε αρνητικούς αριθμούς, μπορείτε να τους στρογγυλοποιήσετε σε μονάδες, δεκάδες, εκατοντάδες κ.λπ.

2. Εάν έχετε μια στήλη Datetime με το όνομα dbo. Μεγαλόστομε. [Ημερομηνία ώρας] και δεν χρειάζεστε το Τμήμα ώρας, χρησιμοποιήστε τη σύνταξη για να απαλλαγείτε από την ώρα:

   "SELECT CAST (dbo. Μεγαλόστομε. [Ημερομηνία ώρα] ως ημερομηνία) AS [Ημερομηνία ώρα]) "

3. Εάν έχετε μια στήλη Datetime με το όνομα dbo. Μεγαλόστομε. [Ημερομηνία/Ώρα] και χρειάζεστε και τα δύο τμήματα Ημερομηνία και Ώρα, χρησιμοποιήστε πολλές στήλες στο ερώτημα SQL αντί για τη μεμονωμένη στήλη Datetime:

   "SELECT CAST (dbo. Μεγαλόστομε. [Ημερομηνία/Ώρα] ως ημερομηνία ) AS [Ημερομηνία/Ώρα],

   datepart(hh, dbo. Μεγαλόστομε. [Ημερομηνία/Ώρα]) ως [Ώρες ημερομηνίας/ώρας],

   datepart(mi, dbo. Μεγαλόστομε. [Ημερομηνία/Ώρα]) ως [Λεπτά ώρας ημερομηνίας],

   datepart(ss; dbo. Μεγαλόστομε. [Ημερομηνία/Ώρα]) ως [Δευτερόλεπτα ημερομηνίας/ώρας],

   datepart(ms, dbo. Μεγαλόστομε. [Ημερομηνία/Ώρα]) as [Χιλιοστά του δευτερολέπτου ημερομηνίας]"

   Χρησιμοποιήστε όσες στήλες χρειάζεστε για να αποθηκεύσετε κάθε τμήμα σε ξεχωριστές στήλες.

4. Εάν χρειάζεστε ώρες και λεπτά και τα προτιμάτε μαζί ως μία στήλη χρόνου, μπορείτε να χρησιμοποιήσετε τη σύνταξη:

   Timefromparts(datepart(hh, dbo. Μεγαλόστομε. [Ημερομηνία ώρα]), datepart(mm; dbo. Μεγαλόστομε. [Ημερομηνία/Ώρα])) as [Date Time HourMinute]

5. Εάν έχετε δύο στήλες ημερομηνίας/ώρας, όπως [Ώρα έναρξης] και [Ώρα λήξης], και αυτό που πραγματικά χρειάζεστε είναι η χρονική διαφορά μεταξύ τους σε δευτερόλεπτα ως στήλη που ονομάζεται [Διάρκεια], καταργήστε και τις δύο στήλες από τη λίστα και προσθέστε:

   "datediff(ss;[Ημερομηνία έναρξης];[Ημερομηνία λήξης]) ως [Διάρκεια]"

   Εάν χρησιμοποιήσετε τη λέξη-κλειδί ms αντί για ss, θα λάβετε τη διάρκεια σε χιλιοστά του δευτερολέπτου

Ποιες 2 στήλες πρέπει να διατηρήσετε;

Στο παραπάνω παράδειγμα, διατηρήστε την Ποσότητα και την Τιμή μονάδας. Αυτές οι δύο τιμές έχουν λιγότερες τιμές από το σύνολο. Για να υπολογίσετε το σύνολο, προσθέστε μια υπολογισμένη μέτρηση ως εξής:

"Συνολικές πωλήσεις:=sumx('Πίνακας πωλήσεων';'Πίνακας πωλήσεων'[Τιμή μονάδας]*'Πίνακας πωλήσεων'[Ποσότητα])"

Οι υπολογιζόμενες στήλες είναι σαν κανονικές στήλες στο ότι και οι δύο καταλαμβάνουν χώρο στο μοντέλο. Αντίθετα, οι υπολογισμένες μετρήσεις υπολογίζονται στη στιγμή και δεν καταλαμβάνουν χώρο.