Veid Bevegelig Gjennomsnitt Har Standardavvik

Hei Jeg har samlet inn noen prosessdata i 3 år, og jeg vil etterligne en EWMA-prospektiv analyse for å se om jeg har oppdaget alle de viktige endringene (uten for mange falske alarmer). Det virker som de fleste lærebøker og litteratur som jeg har sett som bruker en gjennomsnittlig og standardavvik for å beregne kontrollgrensene. Dette er vanligvis i-kontrollmiddel - og standardavviket fra noen historiske data, eller gjennomsnittet og sd av befolkningen som prøverne trekkes fra. Jeg har ikke noen informasjon. Er det en annen måte å beregne kontrollgrensene på Er det en variant av EWMA-diagrammet som ikke bruker gjennomsnittlig og standardavvik. Eventuelle kreative ideer Takk på forhånd For å være sikker på at jeg forstår dette: kan du beregne EWMA-metoden og variansen, men du Jeg har ikke en grunnlinje for å sammenligne dem. Det lyder for meg som om du har en overvåket teknikk (som forutsetter at du kan definere hva det ser ut som det ser ut), men du vil ha en ikke-overvåket teknikk (som bare ser etter forskjeller uten å ringe en statlig kvote og en annen quotbadquot). For uovervåket teknikk kommer clustering til tankene, men det må endres for å søke om timeseries. Hva med generell sannsynlighetsforhold (GLR) ndash Jim Pivarski 25 juni 14 kl 2:49 Hvis vi henviser til en. wikipedia. orgwikiEWMAchart. Jeg kan beregne Zi for min givne lambda, men når det gjelder kontrollgrensene, har jeg ikke historiske data til å beregne T og S. Takk skal jeg se på GLR og også legge inn på Cross Validated. ndash user3295481 Jun 25 14 at 2:54 Ja, T og S er gjennomsnittlig og standardavviket for en baselinefordeling, som enten er gitt a priori eller bestemt fra et treningsdatasett. Opplæringsdatasettet representerer hva datasentralen ser ut, derfor er dette en overvåket teknikk, og du vil ha en ikke-overvåket teknikk. GLR er ikke eksponentielt vektet, men det finner dynamisk en pause i dataene mellom to forskjellige distribusjoner og kombinerer data på hver side av pause for å få mer robuste resultater. Det kan være det du vil. ndash Jim Pivarski 25 juni 14 kl 03:00 Fra et praktisk operasjonsperspektiv er bruk av statistisk analyse av historiske data alene, sjelden. Ja, det gir noen veiledning om hvordan prosessen (og dens kontrollsystem) utfører, men det viktigste er langt å ha en god forståelse og kunnskap om grenseverdiene. Jeg refererer til operasjonelle grenser, som bestemmes av spesifikasjonene og ytelsesegenskapene til de forskjellige utstyrsdelene. Dette gjør det mulig for en å utvikle en god forståelse av hvordan prosessen skal oppføre seg (når det gjelder optimal driftspunkt og øvre grensekontrollgrenser) og hvor områdene med størst avvik fra optimal er. Dette har svært lite å gjøre med statistisk analyse av historiske data, og mye å gjøre med prosess engineeringmetallurgy - avhengig av hvilken type prosess du har å gjøre med. Kontrollgrensene bestemmes i siste instans av hva Process Manager Process Engineer WANTS, som vanligvis (men ikke alltid) innenfor utstyrets navneplaterkapasitet. Hvis du jobber innenfor operasjonelle grenser, og du er innenfor prosessoptimalisering, så ja, statistisk analyse blir mer brukt og kan gi god innsikt. Avhengig av variasjonen i prosessen din, hvor godt ditt kontrollsystem settes opp, og homogeniteten til ditt matvareprodukt, vil de øvre øvre kontrollgrensene som er valgt, variere. Et godt utgangspunkt er det optimale driftspunktet (for eksempel 100 m3hr), bruk deretter en fornuftig mengde historiske data for å beregne et standardavvik, og gjør din øvre grense 100 1 standard dev, og din nedre grense 100-1 standard dev. Dette er på ingen måte en hard og rask regel, men det er et fornuftig utgangspunkt. besvart 7. februar kl 12: 12. Nå kan du se min C-metode for å beregne Bollinger Bands for hvert punkt (flytte gjennomsnitt, oppbånd, nedbånd). Som du kan se, bruker denne metoden 2 for sløyfer for å beregne den bevegelige standardavviket ved hjelp av glidende gjennomsnitt. Det pleide å inneholde en ekstra sløyfe for å beregne det bevegelige gjennomsnittet i løpet av de siste n periodene. Denne jeg kunne fjerne ved å legge til den nye poengverdien til totalverdien ved begynnelsen av løkken og fjerne i-n-punktverdien på slutten av løkken. Spørsmålet mitt nå er i utgangspunktet: Kan jeg fjerne gjenværende indre sløyfe på samme måte som jeg klarte med det bevegelige gjennomsnittet spurte Jan 31 13 kl 21:45 Svaret er ja, det kan du. På midten av 80-tallet utviklet jeg bare en slik algoritme (sannsynligvis ikke original) i FORTRAN for en prosessovervåking og kontrollapplikasjon. Dessverre var det over 25 år siden, og jeg husker ikke de eksakte formlene, men teknikken var en forlengelse av den for flytte gjennomsnitt, med andre ordreberegninger i stedet for bare lineære. Etter å ha sett på koden din, tror jeg at jeg kan se hvordan jeg gjorde det igjen da. Legg merke til hvordan din indre sløyfe gjør en sum av kvadrater: på samme måte som gjennomsnittet ditt må ha opprinnelig hatt en sum av verdier. De eneste to forskjellene er ordren (dens kraft 2 i stedet for 1) og at du trekker gjennomsnittet hver verdi før du kvitterer den. Nå som kan se uatskillelig, men faktisk kan de skilles: Nå er første termen bare en Sum of Squares, du håndterer det på samme måte som du gjør summen av Verdier for gjennomsnittet. Siste termen (k2n) er bare den gjennomsnittlige kvadrertiden perioden. Siden du deler opp resultatet i løpet av perioden, kan du bare legge til den nye gjennomsnittskvadrat uten ekstra sløyfe. Til slutt, i andre termen (SUM (-2vi) k), siden SUM (vi) totalt kn kan du da endre det til dette: eller bare -2k2n. som er -2 ganger gjennomsnittet kvadratet, når perioden (n) er delt ut igjen. Så den endelige kombinasjonsformelen er: (Vær sikker på å sjekke gyldigheten av dette, siden jeg henter det fra toppen av hodet mitt). Og innlemme i koden din bør se slik ut: Takk for dette. Jeg brukte det som grunnlag for en implementering i C for CLR. Jeg oppdaget at i praksis kan du oppdatere slik at newVar er et veldig lite negativt tall, og sqrt mislykkes. Jeg introduserte en hvis å begrense verdien til null for denne saken. Ikke ide, men stabil. Dette skjedde da alle verdier i mitt vindu hadde samme verdi (jeg brukte en vindusstørrelse på 20 og verdien i spørsmålet var 0,5, hvis noen vil prøve og reprodusere dette.) Ndash Drew Noakes Jul 26 13 kl 15:25 Ive brukt commons-math (og bidratt til det biblioteket) for noe som ligner på dette. Den åpne kilden, porten til C, burde være lett som butikkkjøp (har du prøvd å lage en kake fra grunnen av). Sjekk det ut: commons. apache. orgmathapi-3.1.1index. html. De har en StandardDeviation-klasse. Gå til byen svarte Jan 31 13 kl 21:48 Du er veldig velkommen Beklager, jeg hadde ikke svaret du leter etter. Jeg mener absolutt ikke å foreslå å portere hele biblioteket. Bare den minste nødvendige koden, som skal være noen få hundre linjer eller så. Legg merke til at jeg ikke har noen anelse om hvilke juridiske rettighetsbegrensninger apache har på den koden, så du må sjekke det ut. I tilfelle du forfølger det, her er lenken. Så Variansen FastMath ndash Jason Jan 31 13 kl 22:36 Viktigste opplysninger er allerede gitt ovenfor --- men kanskje dette er fortsatt av generell interesse. Et lite Java-bibliotek for å beregne glidende gjennomsnitt og standardavvik er tilgjengelig her: githubtools4jmeanvar Implementeringen er basert på en variant av Welfords-metoden som er nevnt ovenfor. Metoder for å fjerne og erstatte verdier er avledet som kan brukes til å flytte verdifall. Eksplosjon Den eksponentielt vektede Flytende Gjennomsnittlig volatilitet er det vanligste risikobilledet, men det kommer i flere smaker. I en tidligere artikkel viste vi hvordan du kan beregne enkel historisk volatilitet. (For å lese denne artikkelen, se Bruke volatilitet for å måle fremtidig risiko.) Vi brukte Googles faktiske aksjekursdata for å beregne den daglige volatiliteten basert på 30 dagers lagerdata. I denne artikkelen vil vi forbedre den enkle volatiliteten og diskutere eksponentielt vektet glidende gjennomsnitt (EWMA). Historisk Vs. Implisitt volatilitet Først kan vi sette denne metriske inn i litt perspektiv. Det er to brede tilnærminger: historisk og underforstått (eller implisitt) volatilitet. Den historiske tilnærmingen antar at fortid er prolog, vi måler historie i håp om at det er forutsigbart. Implisitt volatilitet, derimot, ignorerer historien den løser for volatiliteten underforstått av markedsprisene. Det håper at markedet vet best, og at markedsprisen inneholder, selv om det implisitt er, et konsensusoverslag over volatiliteten. Hvis du fokuserer på bare de tre historiske tilnærmingene (til venstre over), har de to trinn til felles: Beregn serien av periodisk avkastning Bruk en vektingsplan Først må vi beregne periodisk avkastning. Det er vanligvis en serie av daglige avkastninger der hver retur er uttrykt i kontinuerlig sammensatte vilkår. For hver dag tar vi den naturlige loggen av forholdet mellom aksjekursene (det vil si prisen i dag fordelt på pris i går, og så videre). Dette gir en rekke daglige avkastninger, fra deg til deg i-m. avhengig av hvor mange dager (m dager) vi måler. Det får oss til det andre trinnet: Det er her de tre tilnærmingene er forskjellige. I den forrige artikkelen (Bruk av volatilitet for å måle fremtidig risiko) viste vi at det med noen akseptable forenklinger er den enkle variansen gjennomsnittet av kvadreret retur: Legg merke til at dette beløper hver periodisk avkastning, og deler deretter den totale av antall dager eller observasjoner (m). Så, det er egentlig bare et gjennomsnitt av den kvadratiske periodiske avkastningen. Sett på en annen måte, hver kvadret retur blir gitt like vekt. Så hvis alfa (a) er en vektningsfaktor (spesifikt en 1m), ser en enkel varians slik ut: EWMA forbedrer seg på enkel variasjon Svakheten i denne tilnærmingen er at alle avkastningene tjener samme vekt. Yesterdays (veldig nylig) avkastning har ingen større innflytelse på variansen enn de siste månedene tilbake. Dette problemet er løst ved å bruke det eksponentielt vektede glidende gjennomsnittet (EWMA), der nyere avkastning har større vekt på variansen. Det eksponentielt vektede glidende gjennomsnittet (EWMA) introduserer lambda. som kalles utjevningsparameteren. Lambda må være mindre enn en. Under denne betingelsen, i stedet for likevekter, vektlegges hver kvadret retur med en multiplikator på følgende måte: RiskMetrics TM, et finansiell risikostyringsfirma, har en tendens til å bruke en lambda på 0,94 eller 94. I dette tilfellet er den første ( siste) kvadratiske periodiske avkastningen er vektet av (1-0.94) (.94) 0 6. Den neste kvadrerade retur er bare et lambda-flertall av den tidligere vekten i dette tilfellet 6 multiplisert med 94 5,64. Og den tredje forrige dagens vekt er lik (1-0,94) (0,94) 2 5,30. Det er betydningen av eksponensiell i EWMA: hver vekt er en konstant multiplikator (dvs. lambda, som må være mindre enn en) av den tidligere dagens vekt. Dette sikrer en variasjon som er vektet eller forspent mot nyere data. (For å lære mer, sjekk ut Excel-regnearket for Googles volatilitet.) Forskjellen mellom bare volatilitet og EWMA for Google er vist nedenfor. Enkel volatilitet veier effektivt hver periodisk avkastning med 0,196 som vist i kolonne O (vi hadde to års daglig aksjekursdata. Det er 509 daglige avkastninger og 1509 0,196). Men merk at kolonne P tildeler en vekt på 6, deretter 5,64, deretter 5,3 og så videre. Det er den eneste forskjellen mellom enkel varians og EWMA. Husk: Etter at vi summerer hele serien (i kolonne Q) har vi variansen, som er kvadratet av standardavviket. Hvis vi vil ha volatilitet, må vi huske å ta kvadratroten av den variansen. Hva er forskjellen i den daglige volatiliteten mellom variansen og EWMA i Googles tilfelle. Det er signifikant: Den enkle variansen ga oss en daglig volatilitet på 2,4, men EWMA ga en daglig volatilitet på bare 1,4 (se regnearket for detaljer). Tilsynelatende avviklet Googles volatilitet mer nylig, derfor kan en enkel varianse være kunstig høy. Dagens variasjon er en funksjon av Pior Days Variance Du vil legge merke til at vi trengte å beregne en lang rekke eksponentielt avtagende vekter. Vi vil ikke gjøre matematikken her, men en av EWMAs beste egenskaper er at hele serien reduserer til en rekursiv formel: Rekursiv betyr at dagens variansreferanser (dvs. er en funksjon av tidligere dager varians). Du kan også finne denne formelen i regnearket, og det gir nøyaktig samme resultat som longhandberegningen. Det står: Dagens varians (under EWMA) er lik ydersidens varians (veid av lambda) pluss yderdagskvadret retur (veid av en minus lambda). Legg merke til hvordan vi bare legger til to begreper sammen: Yesterdays weighted variance og yesterdays weighted, squared return. Likevel er lambda vår utjevningsparameter. En høyere lambda (for eksempel som RiskMetrics 94) indikerer tregere forfall i serien - relativt sett vil vi ha flere datapunkter i serien, og de kommer til å falle av sakte. På den annen side, hvis vi reduserer lambda, indikerer vi høyere forfall: vikene faller av raskere, og som et direkte resultat av det raske forfallet blir færre datapunkter benyttet. (I regnearket er lambda en inngang, slik at du kan eksperimentere med følsomheten). Sammendrag Volatilitet er den øyeblikkelige standardavviket for en aksje og den vanligste risikometrisk. Det er også kvadratroten av variansen. Vi kan måle variansen historisk eller implisitt (implisitt volatilitet). Når man måler historisk, er den enkleste metoden enkel varians. Men svakheten med enkel varians er alle returene får samme vekt. Så vi står overfor en klassisk avvei: vi vil alltid ha mer data, men jo flere data vi har jo mer vår beregning er fortynnet av fjernt (mindre relevante) data. Det eksponentielt vektede glidende gjennomsnittet (EWMA) forbedres på enkel varians ved å tildele vekt til periodisk retur. Ved å gjøre dette kan vi begge bruke en stor utvalgsstørrelse, men gi også større vekt til nyere avkastninger. (For å se en filmopplæring om dette emnet, besøk Bionic Turtle.) En type skatt belastet kapitalgevinster pådratt av enkeltpersoner og selskaper. Kapitalgevinst er fortjenesten som en investor. En ordre om å kjøpe en sikkerhet til eller under en spesifisert pris. En kjøpsgrenseordre tillater handelsmenn og investorer å spesifisere. En IRS-regelen (Internal Revenue Service) som tillater straffefri uttak fra en IRA-konto. Regelen krever det. Det første salg av aksjer av et privat selskap til publikum. IPO er ofte utstedt av mindre, yngre selskaper som søker. Gjeldsgrad er gjeldsgrad som brukes til å måle selskapets økonomiske innflytelse eller en gjeldsgrad som brukes til å måle en person. En type kompensasjonsstruktur som hedgefondsledere vanligvis bruker i hvilken del av kompensasjonen som er ytelsesbasert. Whuber - Dette er feil, som du mistenkte. Det er riktig hvis vekten selv er frekvenser. Men selv om frekvenser går inn i beregning av prosentsatsene i dette tilfellet, er vektene, selv om de er uspesifiserte, ikke forekommende frekvenser, men noe annet å gjøre med quotdata volumequot. Så dette er feil svar. ndash Rex Kerr 8 september 15 kl 17:50 Formlene er tilgjengelige på forskjellige steder, inkludert Wikipedia. Nøkkelen er å legge merke til at det avhenger av hva vektene betyr. Spesielt vil du få forskjellige svar hvis vektene er frekvenser (det vil si at du bare prøver å unngå å legge opp hele summen), hvis vektene faktisk er variansen til hver måling, eller hvis de bare inneholder noen eksterne verdier du pålegger dine data. I ditt tilfelle ser det overfladisk ut som vekter er frekvenser, men de er ikke. Du genererer dataene dine fra frekvenser, men det er ikke et enkelt spørsmål om å ha 45 poster med 3 og 15 poster på 4 i datasettet. I stedet må du bruke den siste metoden. (Egentlig er alt dette søppel - du trenger virkelig å bruke en mer sofistikert modell av prosessen som genererer disse tallene. Du har tilsynelatende ikke noe som spretter ut. Normalt distribuerte tall, som kjennetegner systemet med standardavviket, er ikke den riktige tingen å gjøre.) I alle fall er variansen for formel (hvorfra du beregner standardavviket på vanlig måte) med pålitelighetsvekt, hvor x sum wi xi sum wi er det vektede gjennomsnittet. Du har ikke et estimat for vektene, som jeg antar at du vil ta for å være proporsjonal med påliteligheten. Tar prosentandeler som du er, kommer til å gjøre analyse vanskelig, selv om de er generert av en Bernoulli-prosess, fordi hvis du får en score på 20 og 0, har du uendelig prosentandel. Vekting av invers av SEM er en vanlig og noen ganger optimal ting å gjøre. Du bør kanskje bruke et Bayesian estimat eller Wilson scoreintervall. besvart 8 september 15 kl 17:48 1. Diskusjonen om de forskjellige betydningene av vekter var det jeg lette etter i denne tråden hele tiden. Det er et viktig bidrag til alle disse områdets spørsmål om vektet statistikk. (Jeg er litt bekymret for de parentetiske kommentarene om normale fordelinger og standardavvik, men fordi de feilaktig antyder at SD ikke har bruk utenfor en modell basert på normalitet.) Ndash whuber 9830 8 september 15 kl 18:23 whuber - Vel, sentralt grense teorem til redning, selvfølgelig, men for hva OP gjorde, synes det å være spesielt uheldig å prøve å karakterisere det settet med tall med en gjennomsnittlig og standardavvik. Og generelt, for mange bruksområder slutter standardavviket å lokke en til en falsk følelse av forståelse. For eksempel, hvis distribusjonen er noe annet enn normalt (eller en god tilnærming derav), vil det være en dårlig ide om formen på halerne når du er avhengig av standardavviket, når det er akkurat de haler som du sannsynligvis mest bryr deg om i statistiske testing. ndash Rex Kerr 8. september kl. 19:44 RexKerr Vi kan nesten ikke klandre standardavvik hvis folk legger tolkninger på det som er ufortjent. Men la oss bevege seg bort fra normalitet og vurdere den mye bredere klassen av kontinuerlige, symmetriske unimodale fordelinger med endelig varians (for eksempel). Deretter ligger mellom 89 og 100 prosent av fordelingen innen to standardavvik. Det er ofte ganske nyttig å vite (og 95 ligger ganske mye i midten, så det er aldri mer enn ca. 7 av) med mange vanlige distribusjoner, endrer synkroniseringsaspektet seg ikke mye (for eksempel se på eksponensialet, for eksempel). ctd ndash Glenb 9830 okt 1 15 kl 23:57