7 askelta tietovaraston rakentamiseen vuonna 2023 (2023)

Sisällysluettelo

Lähestymistapoja DWH:n rakentamiseen

Vaiheittainen suunnitelma

Vaaditut taidot

Hankintamallit

DWH ohjelmisto

Kustannus

Tietovaraston rakentaminen: Yhteenveto

Tietovaraston rakentamisen vaiheet:

Tavoitteiden saavuttaminen
Käsitteellistäminen ja alustan valinta
Business case ja projektin tiekartta
Järjestelmäanalyysi ja tietovarastoarkkitehtuurin suunnittelu
Kehitys ja lanseeraus.

Projektin aika:3-12 kuukautta.
Kustannus:Alkaa 70 000 dollarista.
Tiimi:Projektipäällikkö, yritysanalyytikko, tietovarastojärjestelmäanalyytikko, tietovarastoratkaisuarkkitehti, tietoinsinööri, laadunvarmistusinsinööri, DevOps-insinööri.

Tietovaraston rakentaminen varmistaa:

Automatisoidut tiedonhallintamenettelyt (tiedonkeruu, muunnos, puhdistus, strukturointi jne.) parantavat tiedon laatua ja luotettavuutta.
Yhtenäinen lähestymistapa tietoturvaan.
Alusta valmiinaedistynyt analytiikkaaloitteita.
Tietopohjainen kulttuuri koko yrityksessä jne.

Lähestymistapoja tietovaraston rakentamiseen

Tyypillinen tietovarastoratkaisun arkkitehtuuri sisältää seuraavat kerrokset:

Tietolähdekerros

– sisäiset ja ulkoiset tietolähteet.

Pysäköintialue

– tilapäinen alue, jossa datamuunnoksia tapahtuu. Poissa, jos datamuunnoksia suoritetaan tietojen tallennuskerroksessa.

Tietojen tallennuskerros

– isännät atietovarasto tietokanta(keskustietokantayrityksen tietojen tallentamiseen) jadatamarkkinat(tietovaraston osajoukot tietyn liiketoimintalinjan tietojen tallentamiseen – rahoitus, markkinointi, HR jne.).

Tietovarastotietokannassa ja datamarkkinoissa olevia tietoja voidaan sitten kysellä OLAP-työkalujen, tiedonlouhintatyökalujen, raportointi- ja visualisointityökalujen kautta.

Erilaiset lähestymistavat tietovaraston rakentamiseen keskittyvät tiedon tallennuskerrokseen:

Inmonin lähestymistapa– Suunnittele ensin keskitetty tallennus ja sitten luomme datamarkkinoita yhteenvetotietovaraston tiedoista ja metatiedoista.

Kimballin lähestymistapa– Luodaan ensin datamarkkinoita ja sitten kehitetään tietovarastotietokanta asteittain itsenäisistä datamarkkinoista.

Inmonin lähestymistapa

Kimballin lähestymistapa

Edut

Haittoja

Vankka perusta koko yrityksellebisnesvaistoja tietojen johdonmukaisuus datamarkkinoilla.

Korkeat alkukustannukset ja huomattava rakennusaika.

Nopea oivallusten saaminen, helpotettu analytiikka ja raportointi yksittäisille liiketoimintalinjoille/tiimeille.

Redundanttien tietojen mahdollisuus ja tietojen johdonmukaisuuden puute datamarkkinoissa, koska niitä kehitetään itsenäisesti.

Harkitse nyt tapaustasi

Vastaa joihinkin DWH-tarpeitasi koskeviin kysymyksiin verkossa ja hanki tapauksellesi räätälöity paketti:

DWH:n toteutussuunnitelma.
Projektin kustannukset.
DWH-arkkitehtuuri.
Ehdotettu tekniikkapino.

alkaa

Tietovaraston käyttötapaukset

Strateginen päätöksenteko

Strategiset raportit ja hallintapaneelit ylimmälle johdolle.
Taloudellisen suorituskyvyn tietojen seuranta ja benchmarking.
Taloudellinen ennakointi ja strateginen investointisuunnittelu.
Asiakkaiden ja tuotteiden kannattavuusanalyysi.
Strateginen hankinta.
Työntekijöiden ja osastojen suorituskyvyn arviointi ja suunnittelu.

Tietolähteet:

Liiketoiminnan hallintajärjestelmät (ERP, CRM, CMS, EAM, PIM jne.).
Ulkoiset tiedot (benchmarking-tiedot, tutkimukset, julkiset tiedot jne.).

7 askelta tietovaraston rakentamiseen tyhjästä

Ehdotettu suunnitelma perustuu ScienceSoftin 18 vuoden kokemukseen tietovarastointipalveluista ja sisältää tavanomaisen menettelyn, jota noudatamme DWH:n toteutuksessa. Huomaa, että projektin aikataulut ovat likimääräisiä, koska tietovaraston kehitysprosessin kesto riippuu useista tekijöistä, kuten lähdejärjestelmien datan monimutkaisuudesta ja laadusta, tietoturvavaatimuksista, data-analytiikan tavoitteista jne.

Vaihe 1.

Tavoitteiden saavuttaminen

Kesto: 3-20 päivää

Yritystavoitteiden (taktisten ja strategisten) selvittäminen tietovaraston kehitysprojektissa.
Yrityksen, osastojen, yrityskäyttäjien odotusten ja tarpeiden tunnistaminen ja priorisointi projektista.
Katsaus yrityksen nykyiseen teknologiseen arkkitehtuuriin, käytössä oleviin sovelluksiin jne.
Alustavan tietolähteen analyysin tekeminen (tiedon tyyppi ja rakenne, määrä, herkkyys jne.).
Tietovaraston laajuus ja korkean tason järjestelmävaatimukset, mukaan lukien turvallisuus- ja vaatimustenmukaisuusvaatimukset:GDPR(EU), PDPL (Saudi-Arabia),HIPAA(terveydenhuoltoalalle) jne.

ScienceSoft

Vaihe 2.

Käsitteellistäminen ja alustan valinta

Kesto: 2-15 päivää

Halutun tietovarastoratkaisun ominaisuusjoukon määrittäminen.
Optimaalisen käyttöönottovaihtoehdon valitseminen (paikan päällä/pilvessä/hybridi).
Optimaalisen arkkitehtonisen suunnittelutavan valinta tietovaraston rakentamiseen.
Tietovarastotekniikoiden valinta (DWH-tietokanta, ETL/ELT-työkalut, tiedon mallinnustyökalut jne.) huomioiden:
- Tietovarastoon ladattavien tietolähteiden lukumäärä ja tietomäärä.
- Toteutettavat tietovirrat.
- Tietoturvavaatimukset.

Yrityskäyttäjien tiivis yhteistyö BA:n ja ratkaisuarkkitehdin kanssa samalla kun määritellään tulevan ratkaisun ydin- ja edistykselliset toiminnallisuudet, auttaa välttämään tietovaraston arkkitehtuurin liiallista monimutkaisuutta ja valitsemaan kustannustehokkaimman teknologiapinon.

ScienceSoft

Vaihe 3.

Business case ja projektin tiekartta

Kesto: 2-15 päivää

Tärkeimpiä aktiviteetteja ovat:

Tietovaraston kehitysprojektin laajuuden, budjetin suunnittelun, aikajanan jne. määrittäminen.
DWH-suunnittelu-, kehitys- ja testaustoimintojen ajoittaminen.
Tietovaraston projektin laajuusasiakirjan laatiminen, tietovarastoratkaisun arkkitehtuurivisiodokumentti, tietovaraston käyttöönottostrategia, testausstrategia, projektin toteutussuunnitelma.
Riskienhallintasuunnitelman laatiminen.
Arvioimme tietovaraston kehitysprojektin ponnisteluja, TCO ja ROI.

Tietovaraston kehitysprojektin tiukka suunnittelu auttaa vähentämään jopa 30 % projektin ajasta ja budjetista, joten ScienceSoftin tiimi laatii huolellisesti edellisten vaiheiden havainnot.

ScienceSoft

Vaihe 4.

Järjestelmäanalyysi ja tietovarastoarkkitehtuurin suunnittelu

Kesto: alkaen 15 päivää

Yksityiskohtainen analyysi jokaisesta tietolähteestä:
- Tietotyyppi ja -rakenne (tietomallit, jos sellaisia on).
- Päivittäin luotu tietomäärä.
- Tietojen herkkyysaste ja sovellettu tietojen käyttötapa.
- Tiedon laatu, puuttuva/heikko data, mahdollisuus suorittaa tietojen puhdistus tietolähdejärjestelmässä.
- Tunnistaminen, jos tiedot puuttuvat tai ovat riittävän laadukkaita tukemaan liiketoiminnan vaatimuksia.
- Tietojen päivitystiheys.
- Suhde muihin tietolähteisiin.
Tietojen puhdistuskäytäntöjen suunnittelu.
Tietoturvakäytäntöjen luominen (laillisiin rajoituksiin ja tietoturvasääntöihin perustuvat tiedonsaantikäytännöt, tietojen salauskäytännöt, tietojen käytön valvonnan ja tietojen noudattamisen käytännöt, tietojen varmuuskopiointistrategia jne.)
Tietomallien suunnittelu tietovarastoon ja datamarkkinoihin.
Tietoobjektien tunnistaminen entiteeteiksi tai attribuuteiksi; yksilöiden välisten suhteiden tunnistaminen.
Tietoobjektien yhdistäminen tietovarastoon.
ETL/ELT-prosessien suunnittelu tiedon integrointiin ja tietovirran ohjaukseen.

Luodakseen tietoekosysteemin suunnitelman, joka on täysin räätälöity asiakkaan erityisiin liiketoimintatarpeisiin, ScienceSoft työllistää korkean tason järjestelmäanalyytikot, joilla on huomattava kokemus vastaavalta toimialalta.

ScienceSoft

Vaihe 5.

Kehitys ja vakauttaminen

Kesto: alkaen 2 kuukautta

Tietovaraston alustan räätälöinti.
Tietoturvaohjelmiston konfigurointi ja tietoturvakäytäntöjen käyttöönotto (tietoturvakäytäntöjen soveltaminen tietoihin rivi-, sarake- jne. tasolla, mukautettujen suojausmenettelyjen kehittäminen ja paljon muuta).
ETL/ELT-putkien kehittäminen ja ETL/ELT-testaus.
Tietovaraston suorituskyvyn testaus.

Varmistaakseen julkaisujen nopeuden ja tiheyden tinkimättä ratkaisun laadusta ScienceSoft noudattaa DevOps-lähtöistä iteratiivista kehitystapaa.

ScienceSoft

Vaihe 6.

Tuoda markkinoille

Kesto: alkaen 2 päivää

Tietojen siirto, tietojen laadun arviointi.
Tietovaraston esittely yrityskäyttäjille.
Käyttäjien hyväksyntätestien tekeminen.
Käyttäjien koulutustilaisuuksien ja työpajojen järjestäminen.

ScienceSoft

Vaihe 7.

Käynnistyksen jälkeinen tuki

Kesto: tarpeen mukaan

ETL/ELT suorituskyvyn viritys.
Tietovaraston suorituskyvyn ja saatavuuden säätäminen jne.
Loppukäyttäjien tukeminen.

ScienceSoft

Harkitse asiantuntijapalveluita tietovarastojen kehittämiseen

Vuodesta 2005 lähtien ScienceSoft on tarjonnut täyden valikoiman tietovaraston konsultointi- ja kehityspalveluita auttaakseen yrityksiä rakentamaan kustannustehokkaan ja skaalautuvan tietovarastoratkaisun vastaamaan tiedonhallinta- ja analytiikkatarpeisiinsa.

Tietovaraston konsultointi

Tietovaraston vaatimusten suunnittelu.
Business casen luominen, suositukset tietovaraston hintojen optimointiin.
Tietovaraston konseptointi ja ohjelmistojen valinta.
Tietovarastoratkaisun arkkitehtuurin suunnittelu.
Tiedonhallinnan suunnittelu.
Tietovarastojärjestelmän analyysi.
Tietojen mallinnus ja ETL/ELT-suunnittelu.

Tarkista tarjouksemme

Tietovaraston kehittäminen

Tietovaraston vaatimusten suunnittelu.
Tietovarastoratkaisujen konseptointi ja alustan valinta.
Tietovarastoratkaisun arkkitehtuurin suunnittelu.
Tietovarastojärjestelmän analyysi.
Tietojen mallinnus ja ETL/ELT-suunnittelu.
Tietovarastoratkaisujen kehittäminen.
Tietovaraston laadunvarmistus ja lanseeraus.
Tietovaraston julkaisun jälkeinen tuki.

Mene kehitykseen

ScienceSoft luotettuna DWH-kumppanina

Kun otimme ensimmäisen kerran yhteyttä ScienceSoftiin, tarvitsimme asiantuntija-apua keskitetyn analyyttisen ratkaisun luomiseen yrityksen laajuisen läpinäkyvän analytiikan ja raportoinnin saavuttamiseksi. Useiden haastattelujen jälkeen ScienceSoftin konsultit analysoivat työmäärämme, dokumentaatiomme ja olemassa olevan infrastruktuurimme ja toimittivat meille selkeän projektin tiekartan.
He pitivät meihin päivittäin yhteyttä, minkä ansiosta pystyimme sovittamaan töiden laajuutta ripeästi ja toteuttamaan uusia vaatimuksia lennossa. Lisäksi tiimi toimitti demoja joka toinen viikko, jotta voimme olla varmoja, että järjestelmä vastaa liiketoimintatarpeitamme.

Heather Owen Nigl, talousjohtaja, Alta Resources

Lue alkuperäinen

Tietovaraston rakentamiseen vaaditaan kykyjä

Projektipäällikkö

Tietovaraston kehitysprojektin laajuuden ja tavoitteiden hahmottaminen, tulosten määrittäminen jokaiselle projektin vaiheelle ja niiden toimituksen varmistaminen.
Arvioiden antaminen tietovaraston kehitystyölle ja resurssien hallintaan.
Tietovaraston kehitysprojektien aikataulutus, projektipäivitysten toimittaminen sidosryhmille.
Projektin suorituskyvyn mittaaminen ja parannuskohteiden tunnistaminen.

Liiketoiminnan analyytikko

Toiminnallisten ja ei-toiminnallisten tietovarastovaatimusten määrittely, tietovaraston rajoitukset.
Tietovarastoratkaisun laajuuden, sen osatekijöiden dokumentointi, integrointi olemassa olevaan analytiikkaympäristöön (jos sellainen on).

Tietovarastojärjestelmän analyytikko

Tietolähteiden ja data-analytiikkaohjelmiston (jos sellainen on) analysointi.
Tietovaraston järjestelmävaatimusmäärittely tietomallien luomista varten, ETL/ELT-prosessien suunnittelu.
Tietovarastoon ladattujen tietojen laadun tarkastaminen.

Tietovarastoratkaisun arkkitehti

Tietovarastoratkaisuarkkitehtuurin suunnittelu.
Tietojen hallintastrategian, käytäntöjen ja standardien luominen.
Suositellaan tietovarastoteknologiapinoa.

Tietojen insinööri

Tietomallien ja niiden rakenteiden kehittäminen.
Tietoputken kehittäminen ja ylläpito lähdetietojen reitittämiseksi tietovarastoon.
ETL/ELT-prosessin rakentaminen.

Laadunvarmistusinsinööri

Tietovarastotekniikan suunnitteluasiakirjojen tarkistaminen.
Testistrategian suunnittelu.
Testien suunnittelu, kehittäminen ja ylläpito kehitetyn tietovarastoratkaisun arvioimiseksi.

DevOps-insinööri

Tietovaraston ohjelmistokehitysinfrastruktuurin perustaminen.
Jatkuvan integroinnin/jatkuvan käyttöönoton (CI/CD) putkilinjojen käyttöönotto tietovaraston kehitysprosessien automatisoimiseksi ja virtaviivaistamiseksi.

Mallien hankinta

Oma varastokehitys Käytännön tietokontekstin tuntemus.Kertaluonteinen työ, joka vaatii useita tiimirooleja.Projektin viivästymisen riski, jos tiimin jäsen eroaa.ScienceSoft voi olla kehitystiimisi konsulttikumppani, joka auttaa tietovaraston suunnittelussa.Keskustele meille

Sisäinen hallinta ja ulkoistettu kehitysProjektin nopea säätäminen mahdollisten sisäisten liiketoimintojen muutosten varalta.Vakaa kehitysprosessi.Etä- ja usein monikielinen yhteistyö projektinhallinnan ja kehitystiimin välillä.ScienceSoft voi tarjota kokeneita tietovarastojen kehittäjiä.Puhu meille

Ulkoistettu varastokehitys Tuntipalkka ja tulosperusteinen maksu kiinteän palkan sijaan.Vaihtuva tiimikapasiteetti projektien tarpeiden mukaan.Mahdollisesti laajempi kokemus DWH-alustoista.Ulkoinen pääsy yritystietoihin.ScienceSoft voi koota täyden tiimin varastokehitykseen.Keskustele meille

ScienceSoftin kattavat DWH-palvelut

Tiimimme auttaa sinua suunnittelemaan ja rakentamaan skaalautuvan ja tehokkaan tietovaraston, joka on täysin linjassa tietojen tallennus- ja analysointitarpeisiisi optimoidun projektiajan ja budjetin puitteissa.

Tutustu lisää: DWH-palvelut

Tietovarastoohjelmisto on huomion arvoinen

Jos etsit alan parhaita tietovarastointialustoja, tutustu luetteloomme parhaista projekteissamme käyttämistämme analytiikan tiedonhallintaratkaisuista. Jokainen tässä esitellyistä tietovarastopalveluista on johtavien joukossaForrester WavejaGartner Magic Quadrantraportteja ja tarjoaa alustan modernin, tehokkaan tietovaraston rakentamiseen.

Amazon Redshift

Paras: iso tietovarasto

KUVAUS

Integraatiot AWS-ekosysteemiin (Amazon S3, Amazon Athena, Amazon SageMaker, Amazon EMR jne.)
Integrointi kolmannen osapuolen ETL/ELT-, BI-, tietomallinnus- jne. työkaluihin (Power BI, Tableau, Informatica, Qlik, Talend Cloud ja paljon muuta).
Nopea kyselynkäsittely AQUA (Advanced Query Accelerator), tietojen pakkaus, materialisoituneet näkymät ja tulosten välimuisti.
ML-optimoitu suorituskyky vaihtelevissa työkuormissa.
Automatisoitu infrastruktuurin hallinta, taulukoiden suunnittelu, varmuuskopiointi ja klusterin kunnon seuranta.
SQL-tietojen kysely (mukaan lukien big data).
Tietojen salaus siirrossa ja lepotilassa.
Hienostunut kulunvalvonta.
HIPAA-kelpoinen.
Laskennan ja tallennustilan erillinen skaalaus.

Hinnoittelu

Tilaushinnoittelu: 0,25 dollaria/tunti (dc2.large) -13,04 $/tunti (ra3. 16xlarge).
Varatun esiintymän hinnoittelu voi säästää jopa 75 %on-demand-option yli (3 vuoden aikana).
Tietovarasto(RA3-solmutyypit):0,024 dollaria/GB/kk.

Lisätietoja: Amazon Redshift

Azure Synapse Analytics

Paras: edistynyt tiedonhallinta

KUVAUS

Strukturoitujen, puolirakenteisten, jäsentämättömien tietotyyppien SQL-kysely.
Monikielinen tuki (T-SQL, Python, Scala, Spark SQL, .Net).
Natiiviintegraatiot Apache Sparkin, Power BI:n, Azure ML:n, Azure Stream Analyticsin, Azure Cognitive Servicesin, Azure Cosmos DB:n jne. kanssa.
Integrointi kolmannen osapuolen BI-työkaluihin, kuten Tableau, SAS, Qlik jne.
Tulosjoukkovälimuisti, työkuorman eristäminen ja klusteroidut saraketallennusindeksit.
Automaattiset palautuspisteet ja varmuuskopiot.
Päästä päähän -tietojen salaus, dynaaminen tietojen maskaus, rakeinen pääsynhallinta.
HIPAA-kelpoinen.
Erillinen laskenta- ja tallennusresurssien skaalaus.

Hinnoittelu

Laske on-demand-hinnoittelu:1,20 dollaria/tunti (DW100c)-360 dollaria/tunti (DW30000c).
Laske varatun esiintymän hinnoittelu voi säästää jopa 65 %on-demand-option yli (3 vuoden aikana).
Tietovarasto: 122,88 dollaria/TB/kk.

Lisätietoja: Azure Synapse Analytics

Oracle Autonomous Data Warehouse

Paras: hybridi DWH

Kuvaus

Strukturoidun, puolistrukturoidun, strukturoimattoman datan SQL-kysely.
Natiivi integraatio Oracle Cloud Infrastructure Object Storagen ja Oracle Analytics Desktopin kanssa.
Integrointi Azure Blob Storagen, Amazon S3:n kanssa.
Yhteys mukautettuihin sovelluksiin ja kolmannen osapuolen tuotteisiin SQL*Netin, JDBC:n ja ODBC:n kautta.
Käyttöönoton joustavuus (Oraclen julkinen pilvi (jaettu/omistettu infrastruktuuri) tai asiakkaan datakeskus).
Automaattinen skaalaus, korjaus ja päivitykset, varmuuskopiointi ja palautus.
Korkea kyselynkäsittely jatkuvalla kyselyn optimoinnilla, taulukon indeksoinnilla, tietojen yhteenvedoilla ja automaattisella virityksellä.
Tietojen salaus lepotilassa ja siirron aikana.
Monitekijäinen todennus.
HIPAA-kelpoinen.
Erillinen tallennus- ja laskentaresurssien skaalaus.

Hinnoittelu

Laske: 1,3441 dollaria/CPU/tunti.
Tietojen tallennus: 118,40 dollaria/TB/kk (julkisessa pilvessä).

Lisätietoja: Oracle Autonomous Data Warehouse

Hanki kaikki tiedot, joita tarvitset valitaksesi optimaalisen tietovarastotekniikan projektiisiilmainen oppaamme.

Tietovaraston kehittämiskustannusarvio

Tärkeimmät tietovaraston kehitysprojektin kustannuksiin vaikuttavat tekijät ovat:

Tietolähteiden määrä (ERP, CRM, SCM jne.)
Tietojen erot eri lähteiden välillä (esimerkiksi erot tietorakenteessa, -muodossa ja arvojen käytössä).
Tietolähteen monimutkaisuus (esimerkiksi big data, suoratoistodata).
Käsiteltävä ja tallennettava tietomäärä.
Tietojen herkkyys ja tietoturvavaatimukset.
Tietovirtojen määrä ja tietovarastoon integroitavien entiteettien ("asiakkaat", "palkka", "tapahtumat" jne.) määrä.
Tietovaraston suorituskykyvaatimukset (nopeus, skaalautuvuus jne.).

Tietovaraston kehitysprojektin lopullinen hinta voi vaihdella seuraavasti:

70 000 – 200 000 $*

200-500 työntekijän yrityksille.

200 000 – 400 000 $*

500-1000 työntekijän yrityksille.

400 000 – 1 000 000 $*

Yrityksille, joissa on yli 1000 työntekijää.

Hanki selkeä kuva DWH-budjetistasi!Paranna projektisuunnittelua tunnistamalla, kuinka paljon DWH-kehitysprojektisi voi maksaa.Hae tarjoukseni

*Kuukausittaiset ohjelmistolisenssimaksut ja muut tavanomaiset maksut EIVÄT sisälly.

Tietoja ScienceSoftista

ScienceSoft on maailmanlaajuinen IT-konsultointi- ja ohjelmistokehitysyritys, jonka pääkonttori sijaitsee McKinneyssä, TX, Yhdysvalloissa. Vuodesta 2005 lähtien olemme tarjonneettietovarastointipalvelutauttaa yrityksiä kehittämään täysimittaisia tietovarastoratkaisuja ja neuvomaan, kuinka varmistetaan tietovaraston kehitysprosessin onnistuminen.ISO 9001jaISO 27001-sertifioituna, luotamme kypsään laatujärjestelmään ja takaamme, että yhteistyö kanssamme ei aiheuta riskejä asiakkaidemme tietoturvalle.

Lisää ScienceSoftilta

Palvelut

Tietovaraston konsultointi

Oppaat

Tietovaraston suunnittelu

Ratkaisut

Terveydenhuollon tietovarasto

Ohjelmiston yleiskatsaus

Tietovarastoohjelmisto

Cloud Data Warehouse