Datu modeļa izveide ar efektīvu atmiņas izmantošanu, Excel pievienojumprogrammu Power Pivot un pievienojumprogrammu

Divi kolonnu piemēri, kas vienmēr ir jāizslēdz

Pirmais piemērs attiecas uz datiem, kas iegūti no datu noliktavas. Datu noliktavā bieži ir atrast ETL procesu artefaktus, kas ielādē un atsvaidzina datus noliktavā. Ielādējot datus, tiek izveidotas kolonnas, piemēram, "izveides datums", "atjaunināšanas datums" un "ETL palaišana". Modelī neviena no šīm kolonnām nav nepieciešama, un datu importēšanas laikā tā ir jāatlasa.

Otrajā piemērā tiek izlaista primārās atslēgas kolonna, importējot faktu tabulu.

Daudzās tabulās, tostarp faktu tabulās, ir primārās atslēgas. Lielākajai daļai tabulu, piemēram, tabulām, kurās ir klientu, darbinieku vai pārdošanas dati, ir nepieciešama tabulas primārā atslēga, lai to varētu izmantot relāciju veidojiet modelī.

Faktu tabulas ir atšķirīgas. Faktu tabulā primārā atslēga tiek izmantota, lai unikāli identificētu katru rindu. Kaut arī normalizēšanas nolūkiem tā ir mazāk noderīga datu modelī, ja vēlaties izmantot tikai tās kolonnas, ko izmanto analīzei vai tabulu relāciju metodēm. Šī iemesla dēļ, importējot no faktu tabulas, neie iekļaut primāro atslēgu. Primārās atslēgas faktu tabulā patērē ļoti daudz vietas modelī, taču tām netiek sniegta priekšrocība, jo tās nevar izmantot relāciju veidojiet.

Kā izslēgt nevajadzīgas kolonnas

Efektīva modeļos ir tikai tās kolonnas, kas darbgrāmatā faktiski būs vajadzīgas. Ja vēlaties kontrolēt, kuras kolonnas ir iekļautas modelī, izmantojiet pievienojumprogrammas Power Pivot tabulu importēšanas vedni, lai importētu datus, nevis dialoglodziņu "Datu importēšana", kas atrodas Excel.

Kad startējat tabulu importēšanas vedni, atlasiet importēsamās tabulas.

Katrā tabulā varat noklikšķināt uz pogas & filtrēt un atlasīt tās tabulas daļas, kas jums ir vajadzīgas. Ieteicams vispirms noņemt atzīmi visām kolonnām un pēc tam pēc tam pārbaudīt nepieciešamās kolonnas, kad ir apsveris, vai tās ir nepieciešamas analīzei.

Datetime kolonnu modificēšana

Daudzos gadījumos datetime kolonnās ir daudz brīvas vietas. Par laimi, pastāv vairāki veidi, kā samazināt datu tipa krātuves prasības. Metodes būs atkarīgas no kolonnas izmantošanas un jūsu ērtības līmeņa, veidojot valoda SQL vaicājumus.

Datuma/laika kolonnās ir iekļauta datuma daļa un laiks. Ja jautājiet sev, vai jums ir nepieciešama kolonna, uzdodiet vienu un to pašu jautājumu vairākas reizes datuma laika kolonnai:

• Vai ir nepieciešama laika daļa?

• Vai ir nepieciešama laika daļa stundu līmenī? , minūtes? , Sekundes? , milisekundēs?

• Vai man ir vairākas datuma/laika kolonnas, jo vēlos aprēķināt starpību starp tām vai vienkārši apkopot datus pēc gada, mēneša, ceturkšņa utt.

Atbildēšana uz katru no šiem jautājumiem nosaka jūsu iespējas darbs ar kolonnu Datetime.

Lai varētu izmantot visus šos risinājumus, ir nepieciešama valoda SQL vaicājums. Lai atvieglotu vaicājumu modificēšanu, katrā tabulā ir jāfiltrē vismaz viena kolonna. Filtrējot kolonnu, tiek mainīta vaicājuma izveide no saīsināta formāta (SELECT *) uz priekšrakstu SELECT, kurā iekļauti pilnībā kvalificēti kolonnu nosaukumi, ko ir daudz vieglāk modificēt.

Apskatīsim jums izveidotos vaicājumus. Dialoglodziņā Tabulas rekvizīti varat pārslēgties uz vaicājumu redaktoru un skatīt katras valoda SQL pašreizējo vaicājumu.

Sadaļā Tabulas rekvizīti atlasiet Vaicājumu redaktors.

Vaicājumu redaktors parāda valoda SQL vaicājumu, kas tiek izmantots tabulas aizpildīšanai. Ja importēšanas laikā filtrējat kādu kolonnu, vaicājumā tiek iekļauti pilnībā kvalificēti kolonnu nosaukumi.

Modifying the valoda SQL query

Tagad, kad zināt, kā atrast vaicājumu, varat to modificēt, lai vēl vairāk samazinātu modeļa lielumu.

1. Kolonnām, kurās ir valūtas vai decimālskaitļu dati, ja decimālskaitļi nav nepieciešami, lietojiet šo sintaksi, lai atbrīvotos no decimāldaļām:

   "SELECT ROUND([Decimal_column_name],0)... .”

   Ja ir nepieciešami centi, bet ne centi, aizstājiet 0 ar 2. Ja izmantojat negatīvus skaitļus, varat noapaļot līdz vienībām, desmitiem, simtiem utt.

2. Ja jums ir kolonna Datetime ar nosaukumu dbo. Bigtable. [Datuma laiks] un nav nepieciešama daļa Laiks, izmantojiet sintaksi, lai atbrīvotos no laika:

   "SELECT CAST (dbo. Bigtable. [Date time] as date) AS [Date time]) "

3. Ja jums ir kolonna Datetime ar nosaukumu dbo. Bigtable. [Datuma laiks] un jums ir nepieciešamas gan datuma, gan laika daļas, vienā datuma un laika valoda SQL izmantojiet vairākas kolonnas vaicājumā:

   "SELECT CAST (dbo. Bigtable. [Date Time] as date ) AS [Date Time],

   datepart(hh, dbo. Bigtable. [Datuma laiks]) kā [Datuma laika stundas],

   datepart(mi, dbo. Bigtable. [Datuma laiks]) kā [Datuma laika minūtes],

   datepart(ss, dbo. Bigtable. [Datuma laiks]) kā [Datuma laika sekundes],

   datepart(ms, dbo. Bigtable. [Datuma laiks]) kā [Datuma laiks milisekundēs]"

   Izmantojiet tik daudz kolonnu, cik nepieciešams, lai katru daļu glabātu atsevišķās kolonnās.

4. Ja nepieciešamas stundas un minūtes un vēlaties tās izmantot kopā kā vienu laika kolonnu, varat izmantot sintaksi:

   Timefromparts(datepart(hh, dbo. Bigtable. [Date Time]), datepart(mm, dbo. Bigtable. [Datums laiks])) kā [Date Time HourMinute]

5. Ja jums ir divas datuma/laika kolonnas, piemēram, [Sākuma laiks] un [Beigu laiks], un jums ir vajadzīga laika starpība starp tām sekundēs kā kolonnu ar nosaukumu [Ilgums], noņemiet abas kolonnas no saraksta un pievienojiet:

   "datediff(ss,[Start Date],[End Date]) as [Duration]"

   Ja izmantojat atslēgvārdu ms, nevis s, jūs iegūstat ilgumu milisekundēs

Kuras 2 kolonnas ir jāsaglabā?

Iepriekš minētajā piemērā paturiet saglabāt daudzumu un vienības cenu. Šiem diviem ir mazāk vērtību nekā kopsummai. Lai aprēķinātu kopsummu, pievienojiet aprēķinātu mērvienību, piemēram:

"TotalSales:=sumx('Sales Table','Sales Table'[Unit Price]*'Sales Table'[Quantity])"

Aprēķinātās kolonnas ir kā parastas kolonnas, kas abas aizņem vietu modelī. Savukārt aprēķinātie mēra aprēķini tiek aprēķināti lidojuma laikā un aizņem vietu.