R Bevegelig Gjennomsnitt Forutsigelse

Flytte gjennomsnittlig prognose Innledning. Som du kanskje tror vi ser på noen av de mest primitive tilnærmingene til prognoser. Men forhåpentligvis er disse minst en verdig innføring i noen av databehandlingsproblemene knyttet til implementering av prognoser i regneark. I denne veinen vil vi fortsette med å starte i begynnelsen og begynne å jobbe med Moving Average prognoser. Flytte gjennomsnittlige prognoser. Alle er kjent med å flytte gjennomsnittlige prognoser, uansett om de tror de er. Alle studenter gjør dem hele tiden. Tenk på testresultatene dine i et kurs der du skal ha fire tester i løpet av semesteret. La oss anta at du fikk en 85 på din første test. Hva vil du forutsi for din andre testscore Hva tror du at læreren din ville forutse din neste testscore Hva tror du dine venner kan forutsi for neste testresultat Hva tror du at foreldrene dine kan forutsi for neste testresultat uansett alt det du kan gjøre med dine venner og foreldre, de og din lærer er veldig sannsynlig å forvente deg å få noe i området av 85 du nettopp har fått. Vel, nå kan vi anta at til tross for selvforfremmelse til vennene dine, overestimerer du deg selv og figurerer du kan studere mindre for den andre testen, og så får du en 73. Nå er det alle de bekymrede og ubekymrede går til Forvent deg at du kommer på den tredje testen. Det er to svært sannsynlige tilnærminger for dem å utvikle et estimat, uansett om de vil dele det med deg. De kan si til seg selv, at denne fyren alltid blåser røyk om hans smarts. Hes kommer til å få en annen 73 hvis han er heldig. Kanskje foreldrene vil prøve å være mer støttende og si, quote, så langt har du fått en 85 og en 73, så kanskje du burde finne på å få en (85 73) 2 79. Jeg vet ikke, kanskje hvis du gjorde mindre fest og werent vevet vasselen over alt, og hvis du begynte å gjøre mye mer å studere, kan du få en høyere score. quot Begge disse estimatene flytter faktisk gjennomsnittlige prognoser. Den første bruker bare din siste poengsum for å prognose din fremtidige ytelse. Dette kalles en flytende gjennomsnittlig prognose ved hjelp av en periode med data. Den andre er også en flytende gjennomsnittlig prognose, men bruker to perioder med data. La oss anta at alle disse menneskene bråser på ditt store sinn, har slags pisset deg av og du bestemmer deg for å gjøre det bra på den tredje testen av dine egne grunner og for å sette en høyere poengsum foran din quotalliesquot. Du tar testen og poengsummen din er faktisk en 89 Alle, inkludert deg selv, er imponert. Så nå har du den endelige testen av semesteret som kommer opp, og som vanlig føler du behovet for å få alle til å gjøre sine spådommer om hvordan du skal gjøre på den siste testen. Vel, forhåpentligvis ser du mønsteret. Nå, forhåpentligvis kan du se mønsteret. Hvilke tror du er den mest nøyaktige fløyten mens vi jobber. Nå går vi tilbake til vårt nye rengjøringsfirma som startes av din fremmedgjorte halv søster, kalt Whistle While We Work. Du har noen tidligere salgsdata som er representert av følgende del fra et regneark. Vi presenterer først dataene for en tre-års glidende gjennomsnittlig prognose. Oppføringen for celle C6 skal være Nå kan du kopiere denne celleformelen ned til de andre cellene C7 til C11. Legg merke til hvordan gjennomsnittet beveger seg over de nyeste historiske dataene, men bruker nøyaktig de tre siste perioder som er tilgjengelige for hver prediksjon. Du bør også legge merke til at vi ikke virkelig trenger å gjøre spådommene for de siste perioder for å utvikle vår siste prediksjon. Dette er definitivt forskjellig fra eksponentiell utjevningsmodell. Ive inkluderte quotpast predictionsquot fordi vi vil bruke dem på neste nettside for å måle prediksjonsgyldigheten. Nå vil jeg presentere de analoge resultatene for en to-års glidende gjennomsnittlig prognose. Oppføringen for celle C5 skal være Nå kan du kopiere denne celleformelen ned til de andre cellene C6 til C11. Legg merke til hvordan nå bare de to siste stykkene av historiske data blir brukt for hver prediksjon. Igjen har jeg tatt med quotpast predictionsquot for illustrative formål og for senere bruk i prognose validering. Noen andre ting som er viktig å legge merke til. For en m-periode som beveger gjennomsnittlig prognose, brukes bare de nyeste dataverdiene for å gjøre prognosen. Ingenting annet er nødvendig. For en m-periode som beveger gjennomsnittlig prognose, legger du merke til at den første prediksjonen forekommer i periode m 1. Begge disse problemene vil være svært viktige når vi utvikler koden vår. Utvikle den bevegelige gjennomsnittsfunksjonen. Nå må vi utvikle koden for den bevegelige gjennomsnittlige prognosen som kan brukes mer fleksibelt. Koden følger. Legg merke til at inngangene er for antall perioder du vil bruke i prognosen og rekke historiske verdier. Du kan lagre den i hvilken arbeidsbok du vil ha. Funksjon MovingAverage (Historical, NumberOfPeriods) Som Single Deklarering og Initialisering av variabler Dim Item Som Variant Dim Counter Som Integer Dim Akkumulering Som Single Dim HistoricalSize Som Integer Initialiserende variabler Teller 1 Akkumulering 0 Bestemme størrelsen på Historical array HistoricalSize Historical. Count For Counter 1 To NumberOfPeriods Akkumulere riktig antall siste tidligere observerte verdier Akkumulasjonsakkumulering Historisk (HistoricalSize - NumberOfPeriods Counter) MovingAverage AkkumuleringsnummerOfPeriods Koden vil bli forklart i klassen. Du vil plassere funksjonen på regnearket slik at resultatet av beregningen vises der det skal like følgende. Legg til en trend eller flytte gjennomsnittlig linje til et diagram Gjelder for: Excel 2016 Word 2016 PowerPoint 2016 Excel 2013 Word 2013 Outlook 2013 PowerPoint 2013 Mer. Mindre Hvis du vil vise datatrender eller flytte gjennomsnitt i et diagram du opprettet. Du kan legge til en trendlinje. Du kan også utvide en trendlinje utover de faktiske dataene dine for å bidra til å forutsi fremtidige verdier. For eksempel prognoser følgende lineære trendlinje to kvartaler fremover og viser tydelig en oppadgående trend som ser lovende ut på fremtidig salg. Du kan legge til en trendlinje på et 2-D-diagram som ikke er stablet, inkludert område, strekk, kolonne, linje, lager, scatter og boble. Du kan ikke legge til en trendlinje på en stablet, 3-D, radar-, kake-, overflate - eller doughnutdiagram. Legg til en trendlinje På diagrammet ditt, klikk på dataserien som du vil legge til en trendlinje eller glidende gjennomsnitt. Treningslinjen starter på det første datapunktet i dataserien du velger. Sjekk Trendline-boksen. For å velge en annen type trendlinje, klikk på pilen ved siden av Trendline. og klikk deretter Eksponentiell. Linjær prognose. eller to perioder som går i gjennomsnitt. For flere trendlinjer, klikk på Flere alternativer. Hvis du velger Flere alternativer. Klikk på alternativet du vil ha i Format Trendline-ruten under Trendline Options. Hvis du velger Polynomial. skriv inn den høyeste effekten for den uavhengige variabelen i bestillingsboksen. Hvis du velger Flytende gjennomsnitt. skriv inn antall perioder som skal brukes til å beregne det bevegelige gjennomsnittet i Period-boksen. Tips: En trendlinje er mest nøyaktig når den R-kvadrert verdien (et tall fra 0 til 1 som viser hvor tett de estimerte verdiene for trendlinjen tilsvarer dine faktiske data) er på eller nær 1. Når du legger til en trendlinje for dataene dine , Excel beregner automatisk sin R-kvadrert verdi. Du kan vise denne verdien på diagrammet ditt ved å merke verdien for Vis R-kvadrat i kartboksen (Format Trendline-panel, Trendlinjealternativer). Du kan lære mer om alle trendlinjealternativene i seksjonene nedenfor. Linjær trendlinje Bruk denne typen trendlinje til å skape en rettstrekningslinje for enkle lineære datasett. Dine data er lineære hvis mønsteret i datapunktene ser ut som en linje. En lineær trendlinje viser vanligvis at noe øker eller avtar med jevn hastighet. En lineær trendlinje bruker denne ligningen til å beregne de minste firkantene som passer for en linje: hvor m er skråningen og b er avskjæringen. Følgende lineære trendlinje viser at kjølesalg har økt konsekvent over en 8-års periode. Legg merke til at R-kvadratverdien (et tall fra 0 til 1 som viser hvor tett de estimerte verdiene for trendlinjen tilsvarer dine faktiske data) er 0.9792, som passer godt til linjen til dataene. Viser en best egnet buet linje, denne trendlinjen er nyttig når frekvensen av endring i dataene øker eller senker raskt og deretter ut. En logaritmisk trendlinje kan bruke negative og positive verdier. En logaritmisk trendlinje bruker denne ligningen til å beregne de minste firkantene som passer gjennom punkter: hvor c og b er konstanter og ln er den naturlige logaritmen-funksjonen. Følgende logaritmiske trendlinje viser forventet populasjonsvekst hos dyr i et fast romområde, hvor befolkningen utjevnet som plass for dyrene, ble redusert. Vær oppmerksom på at R-kvadratverdien er 0.933, som er en relativt god passform til linjen til dataene. Denne trendlinjen er nyttig når dataene dine svinger. For eksempel, når du analyserer gevinster og tap over et stort datasett. Ordren til polynomet kan bestemmes av antall svingninger i dataene eller av hvor mange svinger (bakker og daler) dukker opp i kurven. Typisk har en Order 2 polynomisk trendlinje bare en bakke eller dal, en Ordre 3 har en eller to åser eller daler, og en ordre 4 har opptil tre åser eller daler. En polynom eller krøllete trendlinje bruker denne ligningen til å beregne de minste firkantene som passer gjennom punkter: hvor b og er konstanter. Følgende Order 2 polynomiske trendlinje (en bakke) viser forholdet mellom kjørehastighet og drivstofforbruk. Legg merke til at R-kvadratverdien er 0.979, som ligger nær 1 slik at linjene passer godt til dataene. Viser en buet linje, denne trendlinjen er nyttig for datasett som sammenligner målinger som øker med en bestemt hastighet. For eksempel, akselerasjonen av en racerbil med intervaller på 1 sekund. Du kan ikke opprette en strømtrendelinje hvis dataene inneholder null eller negative verdier. En kraft trendlinje bruker denne ligningen til å beregne de minste firkantene som passer gjennom punkter: hvor c og b er konstanter. Merk: Dette alternativet er ikke tilgjengelig når dataene dine inneholder negative eller nullverdier. Følgende avstandsmålingsdiagram viser avstanden i meter etter sekunder. Strømtendenslinjen viser tydelig den økende akselerasjonen. Merk at R-kvadratverdien er 0.986, som er en nesten perfekt passform av linjen til dataene. Viser en buet linje, denne trendlinjen er nyttig når dataverdiene stiger eller faller ved stadig økende priser. Du kan ikke opprette en eksponentiell trendlinje hvis dataene inneholder null eller negative verdier. En eksponentiell trendlinje bruker denne ligningen til å beregne de minste firkantene som passer gjennom punkter: hvor c og b er konstanter og e er grunnlaget for den naturlige logaritmen. Følgende eksponensielle trendlinje viser den reduserende mengden av karbon 14 i en gjenstand som den aldrer. Vær oppmerksom på at R-kvadratverdien er 0.990, noe som betyr at linjen passer perfekt til dataene. Flytte Gjennomsnittlig trendlinje Denne trendlinjen utgjør svingninger i data for å vise et mønster eller en trend tydeligere. Et glidende gjennomsnitt bruker et bestemt antall datapunkter (angitt av Period-alternativet), gjennomsnitt dem, og bruker gjennomsnittsverdien som et punkt i linjen. For eksempel, hvis Perioden er satt til 2, brukes gjennomsnittet av de to første datapunktene som det første punktet i den bevegelige gjennomsnittlige trendlinjen. Gjennomsnittet av det andre og det tredje datapunktet benyttes som det andre punktet i trenden, etc. En glidende gjennomsnittlig trendlinje bruker denne ligningen: Antall poeng i en glidende gjennomsnittlig trendlinje er det totale antall poeng i serien minus nummer du angir for perioden. I et scatterdiagram er trendlinjen basert på rekkefølgen av x-verdiene i diagrammet. For et bedre resultat, sorter x-verdiene før du legger til et bevegelige gjennomsnitt. Følgende glidende gjennomsnittlig trendlinje viser et mønster i antall boliger solgt over en 26-ukers periode. I praksis vil det glidende gjennomsnittet gi et godt estimat av gjennomsnittet av tidsserien hvis gjennomsnittet er konstant eller sakte endring. Ved konstant gjennomsnitt vil den største verdien av m gi de beste estimatene for det underliggende gjennomsnittet. En lengre observasjonsperiode vil gjennomsnittlig utvirke virkningen av variabilitet. Formålet med å gi en mindre m er å la prognosen svare på en endring i den underliggende prosessen. For å illustrere foreslår vi et datasett som inkorporerer endringer i det underliggende gjennomsnittet av tidsseriene. Figuren viser tidsseriene som brukes til illustrasjon sammen med den gjennomsnittlige etterspørselen fra hvilken serien ble generert. Middelet begynner som en konstant ved 10. Begynner på tid 21, øker den med en enhet i hver periode til den når verdien av 20 ved tid 30. Da blir det konstant igjen. Dataene blir simulert ved å legge til i gjennomsnitt, en tilfeldig støy fra en Normal-fordeling med null-middel og standardavvik 3. Resultatene av simuleringen avrundes til nærmeste heltall. Tabellen viser de simulerte observasjonene som brukes til eksempelet. Når vi bruker bordet, må vi huske at det til enhver tid bare er kjent med tidligere data. Estimatene til modellparameteren, for tre forskjellige verdier av m, vises sammen med gjennomsnittet av tidsseriene i figuren under. Figuren viser gjennomsnittlig glidende gjennomsnittlig beregning av gjennomsnittet hver gang og ikke prognosen. Prognosene ville skifte de bevegelige gjennomsnittskurver til høyre etter perioder. En konklusjon er umiddelbart tydelig fra figuren. For alle tre estimatene ligger det glidende gjennomsnittet bak den lineære trenden, idet laget øker med m. Laget er avstanden mellom modellen og estimatet i tidsdimensjonen. På grunn av lavet undervurderer det bevegelige gjennomsnittet observasjonene ettersom gjennomsnittet øker. Forskjellerens forspenning er forskjellen på en bestemt tid i middelverdien av modellen og middelverdien forutsatt av det bevegelige gjennomsnittet. Forspenningen når gjennomsnittet øker er negativt. For et avtagende middel er forspenningen positiv. Forsinkelsen i tid og bias innført i estimatet er funksjoner av m. Jo større verdien av m. jo større størrelsen på lag og forspenning. For en kontinuerlig økende serie med trend a. verdiene av lag og forspenning av estimatoren av middelet er gitt i ligningene nedenfor. Eksempelkurverne stemmer ikke overens med disse ligningene, fordi eksempelmodellen ikke øker kontinuerlig, men det begynner som en konstant, endrer seg til en trend og blir konstant igjen. Også eksempelkurvene påvirkes av støyen. Den bevegelige gjennomsnittlige prognosen for perioder inn i fremtiden er representert ved å flytte kurvene til høyre. Forsinkelsen og forspenningen øker proporsjonalt. Ligningene nedenfor angir lag og forspenning av prognoseperioder i fremtiden sammenlignet med modellparametrene. Igjen, disse formlene er for en tidsserie med en konstant lineær trend. Vi bør ikke bli overrasket over dette resultatet. Den bevegelige gjennomsnittlige estimatoren er basert på antagelsen om konstant gjennomsnitt, og eksemplet har en lineær trend i gjennomsnittet i en del av studieperioden. Siden sanntidsserier sjelden vil adlyde forutsetningene til en hvilken som helst modell, bør vi være forberedt på slike resultater. Vi kan også konkludere fra figuren at variasjonen av støyen har størst effekt for mindre m. Estimatet er mye mer flyktig for det bevegelige gjennomsnittet på 5 enn det bevegelige gjennomsnittet på 20. Vi har de motstridende ønskene om å øke m for å redusere effekten av variabilitet på grunn av støyen, og å redusere m for å gjøre prognosen mer lydhør for endringer i gjennomsnitt. Feilen er forskjellen mellom de faktiske dataene og den forventede verdien. Hvis tidsseriene er virkelig en konstant verdi, er den forventede verdien av feilen null og variansen av feilen består av et begrep som er en funksjon av og et andre begrep som er variansen av støyen. Første term er variansen av gjennomsnittet estimert med en prøve av m observasjoner, forutsatt at data kommer fra en befolkning med konstant gjennomsnitt. Denne termen er minimert ved å gjøre m så stor som mulig. Et stort m gjør prognosen uansvarlig for en endring i den underliggende tidsserien. For å gjøre prognosen lydhør for endringer, ønsker vi m så liten som mulig (1), men dette øker feilvariasjonen. Praktisk prognose krever en mellomverdi. Forecasting with Excel Forecasting-tillegget implementerer de bevegelige gjennomsnittlige formlene. Eksempelet nedenfor viser analysen som ble levert av tillegget for prøvedataene i kolonne B. De første 10 observasjonene er indeksert -9 til 0. Sammenlignet med tabellen over, forskyves periodindeksene med -10. De første ti observasjonene gir oppstartsverdiene for estimatet og brukes til å beregne det bevegelige gjennomsnittet for perioden 0. MA (10) kolonnen (C) viser de beregnede bevegelige gjennomsnittene. Den bevegelige gjennomsnittsparameteren m er i celle C3. Fore (1) kolonne (D) viser en prognose for en periode inn i fremtiden. Forespørselsintervallet er i celle D3. Når prognoseperioden endres til et større tall, blir tallene i Fore-kolonnen flyttet ned. Err-kolonnen (E) viser forskjellen mellom observasjonen og prognosen. For eksempel er observasjonen ved tidspunkt 1 6. Den prognostiserte verdien fra det bevegelige gjennomsnittet ved tid 0 er 11,1. Feilen er da -5,1. Standardavviket og gjennomsnittlig avvik (MAD) beregnes i henholdsvis celler E6 og E7. Bruke R for Time Series Analysis Time Series Analysis Dette heftet forteller deg hvordan du bruker R statistisk programvare for å utføre enkle analyser som er vanlige ved analyse tidsseriedata. Dette heftet antar at leseren har noen grunnleggende kunnskaper om tidsserieanalyse, og hovedfokuset i heftet er ikke å forklare tidsserieanalyse, men heller å forklare hvordan man utfører disse analysene ved hjelp av R. Hvis du er ny i tidsserier analyse, og ønsker å lære mer om noen av konseptene som presenteres her, vil jeg anbefale Open University-boken 8220Time series8221 (produktkode M24902), tilgjengelig fra Open University Shop. I dette heftet bruker jeg tidsseriedatasett som har blitt gjort tilgjengelig av Rob Hyndman i hans tidsserier databibliotek på robjhyndmanTSDL. Hvis du liker dette hefte, kan du også sjekke ut brosjyren min ved å bruke R for biomedisinsk statistikk, litt-book-of-r-for-biomedical-statistics. readthedocs. org. og min hefte på å bruke R for multivariate analyse, little-book-of-r-for-multivariate-analysis. readthedocs. org. Les tidsseriedata Det første du vil gjøre for å analysere tidsseriedataene dine, er å lese det inn i R, og å plotte tidsserien. Du kan lese data inn i R ved hjelp av skanningsfunksjonen (), som forutsetter at dataene dine for suksessive tidspunkter er i en enkel tekstfil med en kolonne. For eksempel inneholder filen robjhyndmantsdldatamisckings. dat data om dødsårsaken til suksessive konger i England, som begynner med William the Conqueror (original kilde: Hipel og Mcleod, 1994). Datasettet ser slik ut: Bare de første linjene i filen har blitt vist. De tre første linjene inneholder noen kommentarer til dataene, og vi vil ignorere dette når vi leser dataene inn i R. Vi kan bruke dette ved å bruke 8220skip8221-parameteren i skanningsfunksjonen (), som angir hvor mange linjer øverst på filen å ignorere. For å lese filen til R, ignorerer de tre første linjene, skriver vi: I dette tilfellet er dødsaldoen til 42 påfølgende konger i England blitt lest inn i variabelen 8216kings8217. Når du har lest tidsseriedataene i R, er neste trinn å lagre dataene i en tidsserieobjekt i R, slik at du kan bruke R8217s mange funksjoner for å analysere tidsseriedata. For å lagre dataene i en tidsserieobjekt, bruker vi ts () - funksjonen i R. For eksempel, for å lagre dataene i variabelen 8216kings8217 som en tidsserieobjekt i R, skriver vi: Noen ganger angir du dataserierdataene du kan ha blitt samlet inn med jevne mellomrom som var mindre enn ett år, for eksempel månedlig eller kvartalsvis. I dette tilfellet kan du angi antall ganger dataene ble samlet inn per år ved å bruke 8216frequency8217-parameteren i ts () - funksjonen. For månedlige tidsseriedata angir du frekvens12, mens du for kvartalsvise tidsseriedata, stiller du frekvens4. Du kan også angi det første året som dataene ble samlet inn, og det første intervallet i det året ved å bruke parameteren 8216start8217 i ts () - funksjonen. For eksempel, hvis det første datapunktet tilsvarer andre kvartal 1986, ville du sette startc (1986,2). Et eksempel er et datasett av antall fødsler per måned i New York City, fra januar 1946 til desember 1959 (opprinnelig innsamlet av Newton). Disse dataene er tilgjengelige i filen robjhyndmantsdldatadatanybirths. dat Vi kan lese dataene i R, og lagre den som en tidsserieobjekt ved å skrive: På samme måte inneholder filen robjhyndmantsdldatadatafancy. dat månedlig salg til en suvenirbutikk på en strandby i Queensland, Australia, for januar 1987-desember 1993 (originale data fra Wheelwright og Hyndman, 1998). Vi kan lese dataene inn i R ved å skrive: Plotting Time Series Når du har lest en tidsserie i R, er det neste trinnet vanligvis å lage et plott av tidsseriedataene, som du kan gjøre med plot. ts () - funksjonen i R. For eksempel, for å plotte tidsserier av dødsaldoen til 42 påfølgende konger i England, skriver vi: Vi kan se fra tidsplanen at denne tidsseriene nok kunne beskrives ved hjelp av en additivmodell, siden tilfeldige svingninger i dataene er omtrent konstant i størrelse over tid. På samme måte, for å plotte tidsserier av antall fødsler per måned i New York City, skriver vi: Vi kan se fra denne tidsserien at det ser ut til å være sesongvariasjon i antall fødsler per måned: det er en topp hver sommer , og en trough hver vinter. Igjen ser det ut til at denne tidsserien trolig kunne beskrives ved hjelp av en additiv modell, da sesongmessige svingninger er omtrent konstant i størrelse over tid og synes ikke å avhenge av tidsserien, og tilfeldige svingninger synes også å være omtrent konstant i størrelse over tid. På samme måte, for å plotte tidsserien til det månedlige salget til souvenirbutikken på en strandbyby i Queensland, Australia, skriver vi: I dette tilfellet ser det ut til at en additivmodell ikke passer for å beskrive denne tidsserien, siden størrelsen av sesongmessige svingninger og tilfeldige svingninger synes å øke med nivået av tidsseriene. Dermed må vi kanskje forandre tidsserien for å få en transformert tidsserie som kan beskrives ved hjelp av en additivmodell. For eksempel kan vi forandre tidsserien ved å beregne den naturlige loggen til de opprinnelige dataene: Her ser vi at størrelsen på sesongmessige svingninger og tilfeldige svingninger i de loggformede tidsseriene ser ut til å være omtrent konstant over tid og gjøre ikke avhengig av tidsserienivået. Dermed kan de log-transformerte tidsseriene trolig bli beskrevet ved hjelp av en additivmodell. Dekomponeringstidsserie Avkomponering av en tidsserie betyr å skille den inn i komponentene, som vanligvis er en trendkomponent og en uregelmessig komponent, og hvis det er en sesongmessig tidsserie, en sesongbestemt komponent. Dekomponering av ikke-sesongdata En ikke-sesongmessig tidsserie består av en trendkomponent og en uregelmessig komponent. Nedbrytning av tidsseriene innebærer å prøve å skille tidsseriene inn i disse komponentene, det vil si estimering av trendkomponenten og den uregelmessige komponenten. For å estimere trendkomponenten i en sesongmessig tidsserie som kan beskrives ved hjelp av en additivmodell, er det vanlig å bruke en utjevningsmetode, for eksempel å beregne det enkle glidende gjennomsnittet av tidsseriene. SMA () - funksjonen i 8220TTR8221 R-pakken kan brukes til å glatte tidsseriedata med et enkelt bevegelige gjennomsnitt. For å bruke denne funksjonen må vi først installere 8220TTR8221 R-pakken (for instruksjoner om hvordan du installerer en R-pakke, se Hvordan installere en R-pakke). Når du har installert 8220TTR8221 R-pakken, kan du laste inn 8220TTR8221 R-pakken ved å skrive: Du kan da bruke 8220SMA () 8221-funksjonen til å glatte tidsseriedataene. For å bruke SMA () - funksjonen må du angi rekkefølgen (span) for det enkle glidende gjennomsnittet, ved hjelp av parameteren 8220n8221. For eksempel, for å beregne et enkelt bevegelige gjennomsnitt av rekkefølge 5, setter vi n5 i SMA () - funksjonen. For eksempel, som omtalt ovenfor, vises tidsserien til dødsaldoen til 42 påfølgende konger i England, ikke-sesongmessig, og kan sannsynligvis beskrives ved hjelp av en additivmodell, siden tilfeldige svingninger i dataene er omtrent konstant i størrelse over tid: Således kan vi prøve å estimere trendkomponenten i denne tidsserien ved å utjevne ved hjelp av et enkelt bevegelige gjennomsnitt. For å glatte tidsseriene ved å bruke et enkelt glidende gjennomsnitt av rekkefølge 3, og plotte de glatte tidsseriedataene, skriver vi: Det ser fortsatt ut til å være ganske mange tilfeldige svingninger i tidssjiktene glattet ved hjelp av et enkelt glidende gjennomsnitt på rekkefølge 3. For å estimere trendkomponenten mer nøyaktig, vil vi kanskje prøve å utjevne dataene med et enkelt glidende gjennomsnitt av en høyere rekkefølge. Dette tar litt av prøve-og-feil, for å finne riktig mengde utjevning. For eksempel kan vi prøve å bruke et enkelt glidende gjennomsnitt av rekkefølge 8: Dataene jevnet med et enkelt glidende gjennomsnitt av rekkefølge 8 gir et tydeligere bilde av trendkomponenten, og vi kan se at de engelske kongers dødsår ser ut til å har gått ned fra om lag 55 år til rundt 38 år under regjering av de første 20 kongene, og deretter økt etter det til rundt 73 år ved slutten av regjeringen til den 40. konge i tidsseriene. Dekomponerende sesongdata En sesongbasert tidsserie består av en trendkomponent, en sesongkomponent og en uregelmessig komponent. Nedbrytning av tidsserien betyr å skille tidsseriene i disse tre komponentene: det vil si estimering av disse tre komponentene. For å estimere trendkomponenten og sesongbestanddelen av en sesongmessig tidsserie som kan beskrives ved hjelp av en additivmodell, kan vi bruke 8220decompose () 8221-funksjonen i R. Denne funksjonen anslår trend, sesongmessige og uregelmessige komponenter i en tidsserie som kan beskrives ved hjelp av en additiv modell. Funksjonen 8220decompose () 8221 returnerer et listobjekt som resultat der estimatene for sesongkomponenten, trendkomponenten og uregelmessig komponent lagres i navngitte elementer i listemodene, henholdsvis 8220seasonal8221, 8220trend8221 og 8220random8221. For eksempel, som omtalt ovenfor, er tidsserien av antall fødsler per måned i New York City sesongmessig med en topp hver sommer og gjennom hver vinter, og kan sannsynligvis beskrives ved hjelp av en additiv modell siden sesongmessige og tilfeldige svingninger synes å For å estimere trenden, sesongmessige og uregelmessige komponenter i denne tidsserien skriver vi: De estimerte verdiene for sesong-, trend - og uregelmessige komponenter lagres nå i variabler birthstimeseriescomponentsseasonal, birthstimeseriescomponentstrend og birthstimeseriescomponentsrandom. For eksempel kan vi skrive ut estimerte verdier av sesongkomponenten ved å skrive: De estimerte sesongfaktorene er gitt for månedene januar til desember, og er de samme for hvert år. Den største sesongfaktoren er for juli (ca. 1,46), og den laveste er for februar (ca. -2.08), noe som tyder på at det synes å være en topp i fødselene i juli og et trough i fødselen i februar hvert år. Vi kan plotte den estimerte trenden, sesongmessige og uregelmessige komponenter i tidsseriene ved å bruke 8220plot () 8221-funksjonen, for eksempel: Plottet ovenfor viser den opprinnelige tidsserien (topp), den estimerte trendkomponenten (andre fra toppen), Anslått sesongkomponent (tredje fra toppen), og estimert uregelmessig komponent (bunn). Vi ser at den estimerte trendkomponenten viser en liten nedgang fra ca 24 i 1947 til ca 22 i 1948, etterfulgt av en jevn økning fra da til til rundt 27 i 1959. Sesongjustering Hvis du har en sesongmessig tidsserie som kan beskrives ved bruk En tilleggsmodell, kan du sesongjustere tidsseriene ved å estimere sesongkomponenten, og trekke den estimerte sesongkomponenten fra de opprinnelige tidsseriene. Vi kan gjøre dette ved å anslå sesongkomponenten beregnet av 8220decompose () 8221-funksjonen. For eksempel å justere sesongjusteringen av antall fødsler per måned i New York City, kan vi estimere sesongkomponenten ved å bruke 8220decompose () 8221, og deretter trekke sesongkomponenten fra den opprinnelige tidsserien: Vi kan da plotte sesongjusterte tidsserier som bruker 8220plot () 8221-funksjonen ved å skrive: Du kan se at sesongvariasjonen er fjernet fra sesongjusterte tidsserier. Den sesongjusterte tidsserien inneholder nå bare trendkomponenten og en uregelmessig komponent. Prognoser som bruker eksponensiell utjevning Eksponensiell utjevning kan brukes til å lage kortsiktige prognoser for tidsseriedata. Enkel eksponensiell utjevning Hvis du har en tidsserie som kan beskrives ved hjelp av en additiv modell med konstant nivå og ingen sesongmessighet, kan du bruke enkel eksponensiell utjevning for å gjøre kortsiktige prognoser. Den enkle eksponensielle utjevningsmetoden gir en måte å estimere nivået på nåværende tidspunkt. Utjevning styres av parameteren alfa for estimering av nivået på det nåværende tidspunktet. Verdien av alfa ligger mellom 0 og 1. Verdier av alfa som er nær 0 betyr at liten vekt er plassert på de siste observasjonene når du lager prognoser for fremtidige verdier. For eksempel inneholder filen robjhyndmantsdldatahurstprecip1.dat totalt årlig nedbør i tommer for London, fra 1813-1912 (originale data fra Hipel og McLeod, 1994). Vi kan lese dataene inn i R og plotte den ved å skrive: Du kan se fra plottet at det er omtrent konstant nivå (gjennomsnittet forblir konstant på omtrent 25 tommer). De tilfeldige svingninger i tidsseriene ser ut til å være omtrent konstant i størrelse over tid, så det er sannsynligvis hensiktsmessig å beskrive dataene ved hjelp av en additivmodell. Dermed kan vi lage prognoser ved hjelp av enkel eksponensiell utjevning. For å lage prognoser ved hjelp av enkel eksponensiell utjevning i R, kan vi passe på en enkel eksponensiell utjevningsforutsigbar modell ved å bruke 8220HoltWinters () 8221-funksjonen i R. For å bruke HoltWinters () for enkel eksponensiell utjevning, må vi sette parameterne betaFALSE og gammaFALSE i HoltWinters () - funksjonen (beta - og gamma-parametrene brukes til Holt8217s eksponensiell utjevning, eller Holt-Winters eksponensiell utjevning, som beskrevet nedenfor). Funksjonen HoltWinters () returnerer en listevariabel, som inneholder flere navngitte elementer. For eksempel, for å bruke enkel eksponensiell utjevning for å lage prognoser for tidsserien av årlig nedbør i London, skriver vi: Utgangen fra HoltWinters () forteller oss at den estimerte verdien av alfa-parameteren er ca. 0,024. Dette er svært nær null, og forteller oss at prognosene er basert på både nyere og mindre nyere observasjoner (selv om det legges noe mer vekt på de siste observasjonene). Som standard gjør HoltWinters () bare prognoser for samme tidsperiode som dekkes av våre originale tidsserier. I dette tilfellet inkluderte vår originale tidsserie nedbør for London fra 1813-1912, så prognosene er også for 1813-1912. I eksemplet ovenfor har vi lagret utdataene fra HoltWinters () - funksjonen i listevariabelen 8220rainseriesforecasts22221. Prognosene laget av HoltWinters () lagres i et navngitt element i denne listevariabelen, kalt 8220fitted8221, slik at vi kan få sine verdier ved å skrive: Vi kan plotte de opprinnelige tidsserien mot prognosene ved å skrive: Plottet viser de opprinnelige tidsseriene i svart, og prognosene som en rød linje. Tidsserien av prognoser er mye jevnere enn tidsseriene til de opprinnelige dataene her. Som et mål på nøyaktigheten av prognosene, kan vi beregne summen av kvadratfeil for prognosefeilene, det vil si prognosefeilene for tidsperioden dekket av vår opprinnelige tidsserie. Sum-of-squared-feilene lagres i et navngitt element i listevariabelen 8220rainseriesforecasts8221 kalt 8220SSE8221, slik at vi kan få verdien ved å skrive: Det er her sum-of-squared-feilene er 1828.855. Det er vanlig i enkel eksponensiell utjevning å bruke den første verdien i tidsseriene som den opprinnelige verdien for nivået. For eksempel i tidsseriene for nedbør i London er den første verdien 23,56 (tommer) for nedbør i 1813. Du kan angi startverdien for nivået i HoltWinters () - funksjonen ved å bruke parameteren 8220l. start8221. For eksempel, for å lage prognoser med den opprinnelige verdien av nivået satt til 23,56, skriver vi: Som forklart ovenfor, utgjør HoltWinters () bare prognoser for tidsperioden dekket av de opprinnelige dataene, som er 1813-1912 for nedbør tidsserier. Vi kan lage prognoser for ytterligere tidspunkter ved å bruke 8220forecast. HoltWinters () 8221-funksjonen i R 8220forecast8221-pakken. For å bruke forecast. HoltWinters () - funksjonen må vi først installere 8220forecast8221 R-pakken (for instruksjoner om hvordan du installerer en R-pakke, se Hvordan installere en R-pakke). Når du har installert 8220forecast8221 R-pakken, kan du laste inn 8220forecast8221 R-pakken ved å skrive: Når du bruker forecast. HoltWinters () - funksjonen, sender du den forutsigbare modellen som du allerede har montert ved hjelp av HoltWinters () - funksjonen. For eksempel, i tilfelle av nedbørstidsserien lagret vi den prediktive modellen laget ved hjelp av HoltWinters () i variabelen 8220rainseriesforecasts22221. Du angir hvor mange flere tidspunkter du vil lage prognoser for ved å bruke 8220h8221 parameteren i forecast. HoltWinters (). For eksempel, for å lage en prognose for nedbør for årene 1814-1820 (8 flere år) ved bruk av forecast. HoltWinters (), skriver vi: The forecast. HoltWinters () - funksjonen gir deg prognosen for et år, et 80 prediksjonsintervall for prognosen, og et 95 prognoseintervall for prognosen. For eksempel er prognosen nedbør for 1920 omtrent 24,68 tommer, med et 95 prediksjonsintervall på (16,24, 33,11). For å plotte prognosene som er gjort av forecast. HoltWinters (), kan vi bruke 8220plot. forecast () 8221 funksjonen: Her prognosene for 1913-1920 er plottet som en blå linje, det 80 prediksjonsintervallet som et oransje skyggelagt område, og 95 prediksjonsintervall som et gult skyggelagt område. 8216-forhåndsmeldingsfeilene8217 beregnes som de observerte verdiene minus predikte verdier, for hvert tidspunkt. Vi kan bare beregne prognosefeilene for tidsperioden dekket av vår opprinnelige tidsserie, som er 1813-1912 for nedbørsdataene. Som nevnt ovenfor er et mål på nøyaktigheten av den prediktive modellen sum-of-squared-feilene (SSE) for prognosefeilene. Feilsøkingsfeilene i prøven lagres i det navngitte elementet 8220residuals8221 i listevariabelen returnert av forecast. HoltWinters (). Hvis den prediktive modellen ikke kan forbedres, bør det ikke være noen sammenheng mellom prognosefeil for etterfølgende spådommer. Med andre ord, hvis det er sammenhenger mellom prognosefeil for suksessive prognoser, er det sannsynlig at de enkle eksponensielle utjevningsprognosene kan forbedres ved hjelp av en annen prognostiseringsteknikk. For å finne ut om dette er tilfelle, kan vi få et korrelogram av prognoseproblemene for lags 1-20. Vi kan beregne et korrelogram av prognosefeilene ved å bruke 8220acf () 8221-funksjonen i R. For å angi maksimal lagring som vi vil se på, bruker vi parameteren 8220lag. max8221 i acf (). For eksempel, for å beregne et korrelogram av prognosefeilene for Londons nedbørsdata for lags 1-20, skriver vi: Du kan se fra prøvekorrelogrammet at autokorrelasjonen ved lag 3 bare berører signifikansgrensene. For å teste om det er signifikant bevis for ikke-null korrelasjoner ved lag 1-20, kan vi utføre en Ljung-Box-test. Dette kan gjøres i R ved hjelp av 8220Box. test () 8221, funksjonen. Maksimal lagring som vi vil se på, er spesifisert ved hjelp av parameteren 8220lag8221 i Box. test () - funksjonen. For eksempel, for å teste om det ikke er null-autokorrelasjoner på lags 1-20, for prognosefeilene for London nedbørsdata, skriver vi: Her er Ljung-Box-teststatistikken 17,4, og p-verdien er 0,6 , så det er lite bevis på ikke-null autokorrelasjoner i prognoseproblemene ved lags 1-20. For å være sikker på at den prediktive modellen ikke kan forbedres, er det også en god ide å sjekke om prognosefeilene normalt fordeles med gjennomsnittlig null og konstant varians. To check whether the forecast errors have constant variance, we can make a time plot of the in-sample forecast errors: The plot shows that the in-sample forecast errors seem to have roughly constant variance over time, although the size of the fluctuations in the start of the time series (1820-1830) may be slightly less than that at later dates (eg. 1840-1850). To check whether the forecast errors are normally distributed with mean zero, we can plot a histogram of the forecast errors, with an overlaid normal curve that has mean zero and the same standard deviation as the distribution of forecast errors. To do this, we can define an R function 8220plotForecastErrors()8221, below: You will have to copy the function above into R in order to use it. You can then use plotForecastErrors() to plot a histogram (with overlaid normal curve) of the forecast errors for the rainfall predictions: The plot shows that the distribution of forecast errors is roughly centred on zero, and is more or less normally distributed, although it seems to be slightly skewed to the right compared to a normal curve. However, the right skew is relatively small, and so it is plausible that the forecast errors are normally distributed with mean zero. The Ljung-Box test showed that there is little evidence of non-zero autocorrelations in the in-sample forecast errors, and the distribution of forecast errors seems to be normally distributed with mean zero. This suggests that the simple exponential smoothing method provides an adequate predictive model for London rainfall, which probably cannot be improved upon. Furthermore, the assumptions that the 80 and 95 predictions intervals were based upon (that there are no autocorrelations in the forecast errors, and the forecast errors are normally distributed with mean zero and constant variance) are probably valid. Holt8217s Exponential Smoothing If you have a time series that can be described using an additive model with increasing or decreasing trend and no seasonality, you can use Holt8217s exponential smoothing to make short-term forecasts. Holt8217s exponential smoothing estimates the level and slope at the current time point. Smoothing is controlled by two parameters, alpha, for the estimate of the level at the current time point, and beta for the estimate of the slope b of the trend component at the current time point. As with simple exponential smoothing, the paramters alpha and beta have values between 0 and 1, and values that are close to 0 mean that little weight is placed on the most recent observations when making forecasts of future values. An example of a time series that can probably be described using an additive model with a trend and no seasonality is the time series of the annual diameter of women8217s skirts at the hem, from 1866 to 1911. The data is available in the file robjhyndmantsdldatarobertsskirts. dat (original data from Hipel and McLeod, 1994). We can read in and plot the data in R by typing: We can see from the plot that there was an increase in hem diameter from about 600 in 1866 to about 1050 in 1880, and that afterwards the hem diameter decreased to about 520 in 1911. To make forecasts, we can fit a predictive model using the HoltWinters() function in R. To use HoltWinters() for Holt8217s exponential smoothing, we need to set the parameter gammaFALSE (the gamma parameter is used for Holt-Winters exponential smoothing, as described below). For example, to use Holt8217s exponential smoothing to fit a predictive model for skirt hem diameter, we type: The estimated value of alpha is 0.84, and of beta is 1.00. These are both high, telling us that both the estimate of the current value of the level, and of the slope b of the trend component, are based mostly upon very recent observations in the time series. This makes good intuitive sense, since the level and the slope of the time series both change quite a lot over time. The value of the sum-of-squared-errors for the in-sample forecast errors is 16954. We can plot the original time series as a black line, with the forecasted values as a red line on top of that, by typing: We can see from the picture that the in-sample forecasts agree pretty well with the observed values, although they tend to lag behind the observed values a little bit. If you wish, you can specify the initial values of the level and the slope b of the trend component by using the 8220l. start8221 and 8220b. start8221 arguments for the HoltWinters() function. It is common to set the initial value of the level to the first value in the time series (608 for the skirts data), and the initial value of the slope to the second value minus the first value (9 for the skirts data). For example, to fit a predictive model to the skirt hem data using Holt8217s exponential smoothing, with initial values of 608 for the level and 9 for the slope b of the trend component, we type: As for simple exponential smoothing, we can make forecasts for future times not covered by the original time series by using the forecast. HoltWinters() function in the 8220forecast8221 package. For example, our time series data for skirt hems was for 1866 to 1911, so we can make predictions for 1912 to 1930 (19 more data points), and plot them, by typing: The forecasts are shown as a blue line, with the 80 prediction intervals as an orange shaded area, and the 95 prediction intervals as a yellow shaded area. As for simple exponential smoothing, we can check whether the predictive model could be improved upon by checking whether the in-sample forecast errors show non-zero autocorrelations at lags 1-20. For example, for the skirt hem data, we can make a correlogram, and carry out the Ljung-Box test, by typing: Here the correlogram shows that the sample autocorrelation for the in-sample forecast errors at lag 5 exceeds the significance bounds. However, we would expect one in 20 of the autocorrelations for the first twenty lags to exceed the 95 significance bounds by chance alone. Indeed, when we carry out the Ljung-Box test, the p-value is 0.47, indicating that there is little evidence of non-zero autocorrelations in the in-sample forecast errors at lags 1-20. As for simple exponential smoothing, we should also check that the forecast errors have constant variance over time, and are normally distributed with mean zero. We can do this by making a time plot of forecast errors, and a histogram of the distribution of forecast errors with an overlaid normal curve: The time plot of forecast errors shows that the forecast errors have roughly constant variance over time. The histogram of forecast errors show that it is plausible that the forecast errors are normally distributed with mean zero and constant variance. Thus, the Ljung-Box test shows that there is little evidence of autocorrelations in the forecast errors, while the time plot and histogram of forecast errors show that it is plausible that the forecast errors are normally distributed with mean zero and constant variance. Therefore, we can conclude that Holt8217s exponential smoothing provides an adequate predictive model for skirt hem diameters, which probably cannot be improved upon. In addition, it means that the assumptions that the 80 and 95 predictions intervals were based upon are probably valid. Holt-Winters Exponential Smoothing If you have a time series that can be described using an additive model with increasing or decreasing trend and seasonality, you can use Holt-Winters exponential smoothing to make short-term forecasts. Holt-Winters exponential smoothing estimates the level, slope and seasonal component at the current time point. Smoothing is controlled by three parameters: alpha, beta, and gamma, for the estimates of the level, slope b of the trend component, and the seasonal component, respectively, at the current time point. The parameters alpha, beta and gamma all have values between 0 and 1, and values that are close to 0 mean that relatively little weight is placed on the most recent observations when making forecasts of future values. An example of a time series that can probably be described using an additive model with a trend and seasonality is the time series of the log of monthly sales for the souvenir shop at a beach resort town in Queensland, Australia (discussed above): To make forecasts, we can fit a predictive model using the HoltWinters() function. For example, to fit a predictive model for the log of the monthly sales in the souvenir shop, we type: The estimated values of alpha, beta and gamma are 0.41, 0.00, and 0.96, respectively. The value of alpha (0.41) is relatively low, indicating that the estimate of the level at the current time point is based upon both recent observations and some observations in the more distant past. The value of beta is 0.00, indicating that the estimate of the slope b of the trend component is not updated over the time series, and instead is set equal to its initial value. This makes good intuitive sense, as the level changes quite a bit over the time series, but the slope b of the trend component remains roughly the same. In contrast, the value of gamma (0.96) is high, indicating that the estimate of the seasonal component at the current time point is just based upon very recent observations. As for simple exponential smoothing and Holt8217s exponential smoothing, we can plot the original time series as a black line, with the forecasted values as a red line on top of that: We see from the plot that the Holt-Winters exponential method is very successful in predicting the seasonal peaks, which occur roughly in November every year. To make forecasts for future times not included in the original time series, we use the 8220forecast. HoltWinters()8221 function in the 8220forecast8221 package. For example, the original data for the souvenir sales is from January 1987 to December 1993. If we wanted to make forecasts for January 1994 to December 1998 (48 more months), and plot the forecasts, we would type: The forecasts are shown as a blue line, and the orange and yellow shaded areas show 80 and 95 prediction intervals, respectively. We can investigate whether the predictive model can be improved upon by checking whether the in-sample forecast errors show non-zero autocorrelations at lags 1-20, by making a correlogram and carrying out the Ljung-Box test: The correlogram shows that the autocorrelations for the in-sample forecast errors do not exceed the significance bounds for lags 1-20. Furthermore, the p-value for Ljung-Box test is 0.6, indicating that there is little evidence of non-zero autocorrelations at lags 1-20. We can check whether the forecast errors have constant variance over time, and are normally distributed with mean zero, by making a time plot of the forecast errors and a histogram (with overlaid normal curve): From the time plot, it appears plausible that the forecast errors have constant variance over time. From the histogram of forecast errors, it seems plausible that the forecast errors are normally distributed with mean zero. Thus, there is little evidence of autocorrelation at lags 1-20 for the forecast errors, and the forecast errors appear to be normally distributed with mean zero and constant variance over time. This suggests that Holt-Winters exponential smoothing provides an adequate predictive model of the log of sales at the souvenir shop, which probably cannot be improved upon. Furthermore, the assumptions upon which the prediction intervals were based are probably valid. ARIMA Models Exponential smoothing methods are useful for making forecasts, and make no assumptions about the correlations between successive values of the time series. However, if you want to make prediction intervals for forecasts made using exponential smoothing methods, the prediction intervals require that the forecast errors are uncorrelated and are normally distributed with mean zero and constant variance. While exponential smoothing methods do not make any assumptions about correlations between successive values of the time series, in some cases you can make a better predictive model by taking correlations in the data into account. Autoregressive Integrated Moving Average (ARIMA) models include an explicit statistical model for the irregular component of a time series, that allows for non-zero autocorrelations in the irregular component. Differencing a Time Series ARIMA models are defined for stationary time series. Therefore, if you start off with a non-stationary time series, you will first need to 8216difference8217 the time series until you obtain a stationary time series. If you have to difference the time series d times to obtain a stationary series, then you have an ARIMA(p, d,q) model, where d is the order of differencing used. You can difference a time series using the 8220diff()8221 function in R. For example, the time series of the annual diameter of women8217s skirts at the hem, from 1866 to 1911 is not stationary in mean, as the level changes a lot over time: We can difference the time series (which we stored in 8220skirtsseries8221, see above) once, and plot the differenced series, by typing: The resulting time series of first differences (above) does not appear to be stationary in mean. Therefore, we can difference the time series twice, to see if that gives us a stationary time series: Formal tests for stationarity Formal tests for stationarity called 8220unit root tests8221 are available in the fUnitRoots package, available on CRAN, but will not be discussed here. The time series of second differences (above) does appear to be stationary in mean and variance, as the level of the series stays roughly constant over time, and the variance of the series appears roughly constant over time. Thus, it appears that we need to difference the time series of the diameter of skirts twice in order to achieve a stationary series. If you need to difference your original time series data d times in order to obtain a stationary time series, this means that you can use an ARIMA(p, d,q) model for your time series, where d is the order of differencing used. For example, for the time series of the diameter of women8217s skirts, we had to difference the time series twice, and so the order of differencing (d) is 2. This means that you can use an ARIMA(p,2,q) model for your time series. The next step is to figure out the values of p and q for the ARIMA model. Another example is the time series of the age of death of the successive kings of England (see above): From the time plot (above), we can see that the time series is not stationary in mean. To calculate the time series of first differences, and plot it, we type: The time series of first differences appears to be stationary in mean and variance, and so an ARIMA(p,1,q) model is probably appropriate for the time series of the age of death of the kings of England. By taking the time series of first differences, we have removed the trend component of the time series of the ages at death of the kings, and are left with an irregular component. We can now examine whether there are correlations between successive terms of this irregular component if so, this could help us to make a predictive model for the ages at death of the kings. Selecting a Candidate ARIMA Model If your time series is stationary, or if you have transformed it to a stationary time series by differencing d times, the next step is to select the appropriate ARIMA model, which means finding the values of most appropriate values of p and q for an ARIMA(p, d,q) model. To do this, you usually need to examine the correlogram and partial correlogram of the stationary time series. To plot a correlogram and partial correlogram, we can use the 8220acf()8221 and 8220pacf()8221 functions in R, respectively. To get the actual values of the autocorrelations and partial autocorrelations, we set 8220plotFALSE8221 in the 8220acf()8221 and 8220pacf()8221 functions. Example of the Ages at Death of the Kings of England For example, to plot the correlogram for lags 1-20 of the once differenced time series of the ages at death of the kings of England, and to get the values of the autocorrelations, we type: We see from the correlogram that the autocorrelation at lag 1 (-0.360) exceeds the significance bounds, but all other autocorrelations between lags 1-20 do not exceed the significance bounds. To plot the partial correlogram for lags 1-20 for the once differenced time series of the ages at death of the English kings, and get the values of the partial autocorrelations, we use the 8220pacf()8221 function, by typing: The partial correlogram shows that the partial autocorrelations at lags 1, 2 and 3 exceed the significance bounds, are negative, and are slowly decreasing in magnitude with increasing lag (lag 1: -0.360, lag 2: -0.335, lag 3:-0.321). The partial autocorrelations tail off to zero after lag 3. Since the correlogram is zero after lag 1, and the partial correlogram tails off to zero after lag 3, this means that the following ARMA (autoregressive moving average) models are possible for the time series of first differences: an ARMA(3,0) model, that is, an autoregressive model of order p3, since the partial autocorrelogram is zero after lag 3, and the autocorrelogram tails off to zero (although perhaps too abruptly for this model to be appropriate) an ARMA(0,1) model, that is, a moving average model of order q1, since the autocorrelogram is zero after lag 1 and the partial autocorrelogram tails off to zero an ARMA(p, q) model, that is, a mixed model with p and q greater than 0, since the autocorrelogram and partial correlogram tail off to zero (although the correlogram probably tails off to zero too abruptly for this model to be appropriate) We use the principle of parsimony to decide which model is best: that is, we assum e that the model with the fewest parameters is best. The ARMA(3,0) model has 3 parameters, the ARMA(0,1) model has 1 parameter, and the ARMA(p, q) model has at least 2 parameters. Therefore, the ARMA(0,1) model is taken as the best model. An ARMA(0,1) model is a moving average model of order 1, or MA(1) model. This model can be written as: Xt - mu Zt - (theta Zt-1), where Xt is the stationary time series we are studying (the first differenced series of ages at death of English kings), mu is the mean of time series Xt, Zt is white noise with mean zero and constant variance, and theta is a parameter that can be estimated. A MA (moving average) model is usually used to model a time series that shows short-term dependencies between successive observations. Intuitively, it makes good sense that a MA model can be used to describe the irregular component in the time series of ages at death of English kings, as we might expect the age at death of a particular English king to have some effect on the ages at death of the next king or two, but not much effect on the ages at death of kings that reign much longer after that. Shortcut: the auto. arima() function The auto. arima() function can be used to find the appropriate ARIMA model, eg. type 8220library(forecast)8221, then 8220auto. arima(kings)8221. The output says an appropriate model is ARIMA(0,1,1). Since an ARMA(0,1) model (with p0, q1) is taken to be the best candidate model for the time series of first differences of the ages at death of English kings, then the original time series of the ages of death can be modelled using an ARIMA(0,1,1) model (with p0, d1, q1, where d is the order of differencing required). Example of the Volcanic Dust Veil in the Northern Hemisphere Let8217s take another example of selecting an appropriate ARIMA model. The file file robjhyndmantsdldataannualdvi. dat contains data on the volcanic dust veil index in the northern hemisphere, from 1500-1969 (original data from Hipel and Mcleod, 1994). This is a measure of the impact of volcanic eruptions8217 release of dust and aerosols into the environment. We can read it into R and make a time plot by typing: From the time plot, it appears that the random fluctuations in the time series are roughly constant in size over time, so an additive model is probably appropriate for describing this time series. Furthermore, the time series appears to be stationary in mean and variance, as its level and variance appear to be roughly constant over time. Therefore, we do not need to difference this series in order to fit an ARIMA model, but can fit an ARIMA model to the original series (the order of differencing required, d, is zero here). We can now plot a correlogram and partial correlogram for lags 1-20 to investigate what ARIMA model to use: We see from the correlogram that the autocorrelations for lags 1, 2 and 3 exceed the significance bounds, and that the autocorrelations tail off to zero after lag 3. The autocorrelations for lags 1, 2, 3 are positive, and decrease in magnitude with increasing lag (lag 1: 0.666, lag 2: 0.374, lag 3: 0.162). The autocorrelation for lags 19 and 20 exceed the significance bounds too, but it is likely that this is due to chance, since they just exceed the significance bounds (especially for lag 19), the autocorrelations for lags 4-18 do not exceed the signifiance bounds, and we would expect 1 in 20 lags to exceed the 95 significance bounds by chance alone. From the partial autocorrelogram, we see that the partial autocorrelation at lag 1 is positive and exceeds the significance bounds (0.666), while the partial autocorrelation at lag 2 is negative and also exceeds the significance bounds (-0.126). The partial autocorrelations tail off to zero after lag 2. Since the correlogram tails off to zero after lag 3, and the partial correlogram is zero after lag 2, the following ARMA models are possible for the time series: an ARMA(2,0) model, since the partial autocorrelogram is zero after lag 2, and the correlogram tails off to zero after lag 3, and the partial correlogram is zero after lag 2 an ARMA(0,3) model, since the autocorrelogram is zero after lag 3, and the partial correlogram tails off to zero (although perhaps too abruptly for this model to be appropriate) an ARMA(p, q) mixed model, since the correlogram and partial correlogram tail off to zero (although the partial correlogram perhaps tails off too abruptly for this model to be appropriate) Shortcut: the auto. arima() function Again, we can use auto. arima() to find an appropriate model, by typing 8220auto. arima(volcanodust)8221, which gives us ARIMA(1,0,2), which has 3 parameters. However, different criteria can be used to select a model (see auto. arima() help page). If we use the 8220bic8221 criterion, which penalises the number of parameters, we get ARIMA(2,0,0), which is ARMA(2,0): 8220auto. arima(volcanodust, ic8221bic8221)8221. The ARMA(2,0) model has 2 parameters, the ARMA(0,3) model has 3 parameters, and the ARMA(p, q) model has at least 2 parameters. Therefore, using the principle of parsimony, the ARMA(2,0) model and ARMA(p, q) model are equally good candidate models. An ARMA(2,0) model is an autoregressive model of order 2, or AR(2) model. This model can be written as: Xt - mu (Beta1 (Xt-1 - mu)) (Beta2 (Xt-2 - mu)) Zt, where Xt is the stationary time series we are studying (the time series of volcanic dust veil index), mu is the mean of time series Xt, Beta1 and Beta2 are parameters to be estimated, and Zt is white noise with mean zero and constant variance. An AR (autoregressive) model is usually used to model a time series which shows longer term dependencies between successive observations. Intuitively, it makes sense that an AR model could be used to describe the time series of volcanic dust veil index, as we would expect volcanic dust and aerosol levels in one year to affect those in much later years, since the dust and aerosols are unlikely to disappear quickly. If an ARMA(2,0) model (with p2, q0) is used to model the time series of volcanic dust veil index, it would mean that an ARIMA(2,0,0) model can be used (with p2, d0, q0, where d is the order of differencing required). Similarly, if an ARMA(p, q) mixed model is used, where p and q are both greater than zero, than an ARIMA(p,0,q) model can be used. Forecasting Using an ARIMA Model Once you have selected the best candidate ARIMA(p, d,q) model for your time series data, you can estimate the parameters of that ARIMA model, and use that as a predictive model for making forecasts for future values of your time series. You can estimate the parameters of an ARIMA(p, d,q) model using the 8220arima()8221 function in R. Example of the Ages at Death of the Kings of England For example, we discussed above that an ARIMA(0,1,1) model seems a plausible model for the ages at deaths of the kings of England. You can specify the values of p, d and q in the ARIMA model by using the 8220order8221 argument of the 8220arima()8221 function in R. To fit an ARIMA(p, d,q) model to this time series (which we stored in the variable 8220kingstimeseries8221, see above), we type: As mentioned above, if we are fitting an ARIMA(0,1,1) model to our time series, it means we are fitting an an ARMA(0,1) model to the time series of first differences. An ARMA(0,1) model can be written Xt - mu Zt - (theta Zt-1), where theta is a parameter to be estimated. From the output of the 8220arima()8221 R function (above), the estimated value of theta (given as 8216ma18217 in the R output) is -0.7218 in the case of the ARIMA(0,1,1) model fitted to the time series of ages at death of kings. Specifying the confidence level for prediction intervals You can specify the confidence level for prediction intervals in forecast. Arima() by using the 8220level8221 argument. For example, to get a 99.5 prediction interval, we would type 8220forecast. Arima(kingstimeseriesarima, h5, levelc(99.5))8221. We can then use the ARIMA model to make forecasts for future values of the time series, using the 8220forecast. Arima()8221 function in the 8220forecast8221 R package. For example, to forecast the ages at death of the next five English kings, we type: The original time series for the English kings includes the ages at death of 42 English kings. The forecast. Arima() function gives us a forecast of the age of death of the next five English kings (kings 43-47), as well as 80 and 95 prediction intervals for those predictions. The age of death of the 42nd English king was 56 years (the last observed value in our time series), and the ARIMA model gives the forecasted age at death of the next five kings as 67.8 years. We can plot the observed ages of death for the first 42 kings, as well as the ages that would be predicted for these 42 kings and for the next 5 kings using our ARIMA(0,1,1) model, by typing: As in the case of exponential smoothing models, it is a good idea to investigate whether the forecast errors of an ARIMA model are normally distributed with mean zero and constant variance, and whether the are correlations between successive forecast errors. For example, we can make a correlogram of the forecast errors for our ARIMA(0,1,1) model for the ages at death of kings, and perform the Ljung-Box test for lags 1-20, by typing: Since the correlogram shows that none of the sample autocorrelations for lags 1-20 exceed the significance bounds, and the p-value for the Ljung-Box test is 0.9, we can conclude that there is very little evidence for non-zero autocorrelations in the forecast errors at lags 1-20. To investigate whether the forecast errors are normally distributed with mean zero and constant variance, we can make a time plot and histogram (with overlaid normal curve) of the forecast errors: The time plot of the in-sample forecast errors shows that the variance of the forecast errors seems to be roughly constant over time (though perhaps there is slightly higher variance for the second half of the time series). The histogram of the time series shows that the forecast errors are roughly normally distributed and the mean seems to be close to zero. Therefore, it is plausible that the forecast errors are normally distributed with mean zero and constant variance. Since successive forecast errors do not seem to be correlated, and the forecast errors seem to be normally distributed with mean zero and constant variance, the ARIMA(0,1,1) does seem to provide an adequate predictive model for the ages at death of English kings. Example of the Volcanic Dust Veil in the Northern Hemisphere We discussed above that an appropriate ARIMA model for the time series of volcanic dust veil index may be an ARIMA(2,0,0) model. To fit an ARIMA(2,0,0) model to this time series, we can type: As mentioned above, an ARIMA(2,0,0) model can be written as: written as: Xt - mu (Beta1 (Xt-1 - mu)) (Beta2 (Xt-2 - mu)) Zt, where Beta1 and Beta2 are parameters to be estimated. The output of the arima() function tells us that Beta1 and Beta2 are estimated as 0.7533 and -0.1268 here (given as ar1 and ar2 in the output of arima()). Now we have fitted the ARIMA(2,0,0) model, we can use the 8220forecast. ARIMA()8221 model to predict future values of the volcanic dust veil index. The original data includes the years 1500-1969. To make predictions for the years 1970-2000 (31 more years), we type: We can plot the original time series, and the forecasted values, by typing: One worrying thing is that the model has predicted negative values for the volcanic dust veil index, but this variable can only have positive values The reason is that the arima() and forecast. Arima() functions don8217t know that the variable can only take positive values. Clearly, this is not a very desirable feature of our current predictive model. Again, we should investigate whether the forecast errors seem to be correlated, and whether they are normally distributed with mean zero and constant variance. To check for correlations between successive forecast errors, we can make a correlogram and use the Ljung-Box test: The correlogram shows that the sample autocorrelation at lag 20 exceeds the significance bounds. However, this is probably due to chance, since we would expect one out of 20 sample autocorrelations to exceed the 95 significance bounds. Furthermore, the p-value for the Ljung-Box test is 0.2, indicating that there is little evidence for non-zero autocorrelations in the forecast errors for lags 1-20. To check whether the forecast errors are normally distributed with mean zero and constant variance, we make a time plot of the forecast errors, and a histogram: The time plot of forecast errors shows that the forecast errors seem to have roughly constant variance over time. However, the time series of forecast errors seems to have a negative mean, rather than a zero mean. We can confirm this by calculating the mean forecast error, which turns out to be about -0.22: The histogram of forecast errors (above) shows that although the mean value of the forecast errors is negative, the distribution of forecast errors is skewed to the right compared to a normal curve. Therefore, it seems that we cannot comfortably conclude that the forecast errors are normally distributed with mean zero and constant variance Thus, it is likely that our ARIMA(2,0,0) model for the time series of volcanic dust veil index is not the best model that we could make, and could almost definitely be improved upon Links and Further Reading Here are some links for further reading. For a more in-depth introduction to R, a good online tutorial is available on the 8220Kickstarting R8221 website, cran. r-project. orgdoccontribLemon-kickstart . There is another nice (slightly more in-depth) tutorial to R available on the 8220Introduction to R8221 website, cran. r-project. orgdocmanualsR-intro. html . You can find a list of R packages for analysing time series data on the CRAN Time Series Task View webpage . To learn about time series analysis, I would highly recommend the book 8220Time series8221 (product code M24902) by the Open University, available from the Open University Shop . There are two books available in the 8220Use R8221 series on using R for time series analyses, the first is Introductory Time Series with R by Cowpertwait and Metcalfe, and the second is Analysis of Integrated and Cointegrated Time Series with R by Pfaff. Acknowledgements I am grateful to Professor Rob Hyndman. for kindly allowing me to use the time series data sets from his Time Series Data Library (TSDL) in the examples in this booklet. Many of the examples in this booklet are inspired by examples in the excellent Open University book, 8220Time series8221 (product code M24902), available from the Open University Shop . Thank you to Ravi Aranke for bringing auto. arima() to my attention, and Maurice Omane-Adjepong for bringing unit root tests to my attention, and Christian Seubert for noticing a small bug in plotForecastErrors(). Thank you for other comments to Antoine Binard and Bill Johnston. I will be grateful if you will send me (Avril Coghlan) corrections or suggestions for improvements to my email address alc 64 sanger 46 ac 46 uk