Du bist nicht eingeloggt! Möglicherweise kannst du deswegen nicht alles sehen.
  (Noch kein mods.de-Account? / Passwort vergessen?)
Zur Übersichtsseite
Hallo anonymer User.
Bitte logge dich ein
oder registriere dich!
 Moderiert von: Irdorath, statixx, Teh Wizard of Aiz


 Thema: pOT-lnformatik, Mathematik, Physik XXIV
« erste « vorherige 1 ... 12 13 14 15 [16] 17 nächste » letzte »
erste ungelesene Seite | letzter Beitrag 
Strahlung-Alpha

AUP Strahlung-Alpha 19.09.2014
Die meisten hier kennen bestimmt Alan Beckers Video Animation vs Maths



Er hat knapp zwei Wochen ein neues Video rausgebracht: Animation vs Physics



e: ein würdiger Post für eine neue Seite.
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von Strahlung-Alpha am 23.12.2023 2:22]
23.12.2023 2:19:58  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Wraith of Seth

wraith_of_seth
böse gucken
Boah, ey, die Stringpropaganda am Ende nervt ja mal.

And when their eloquence escapes me/ Their logic ties me up and rapes me
23.12.2023 3:37:20  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
General][Custer

AUP General][Custer 09.01.2010
 
Zitat von Wraith of Seth

Boah, ey, die Stringpropaganda am Ende nervt ja mal.

And when their eloquence escapes me/ Their logic ties me up and rapes me



Meinten Sie String Emil?
23.12.2023 9:19:10  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Strahlung-Alpha

AUP Strahlung-Alpha 19.09.2014
Ich hatte eine derartige Reaktion erwartet Breites Grinsen.
23.12.2023 11:18:25  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
Ich finde das Video dahingehend beeindruckend, dass es zeigt, wie viel shit wir lernen und ausrechnen mussten. Und es berührt ja nichtmal alle Themen.

Bin schon etwas stolz.
23.12.2023 21:41:07  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
horscht(i)

AUP horscht(i) 14.09.2014
Und ich würde den Kram jederzeit wieder studieren.
Hätte es gerne zum Beruf gemacht...
24.12.2023 3:11:22  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Lord-McViper

X-Mas Leet
OK, können wir uns bitte auf diese Szene mit der praktisch reibungsfreien Oberfläche, dem Seil und der Masse konzentrieren? I call bullshit, weil Impulserhaltung. Diskutiert!
[Dieser Beitrag wurde 2 mal editiert; zum letzten Mal von Lord-McViper am 24.12.2023 9:57]
24.12.2023 9:17:02  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
horscht(i)

AUP horscht(i) 14.09.2014
OK, ich entblöße mich:
Der Ball hat am gestreckten Seil Impuls 0 und daher bewegt sich die Figur nun mit diesem Impuls nach rechts???
24.12.2023 12:50:23  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Xerxes-3.0

AUP Xerxes-3.0 07.09.2008
 
Zitat von horscht(i)

Und ich würde den Kram jederzeit wieder studieren.
Hätte es gerne zum Beruf gemacht...


Dito. Naja. Es anderen beibringen ist auch toll.
24.12.2023 12:59:06  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
Noch ein paar Tarifrunden und ich geh zurück an die Uni.
24.12.2023 13:01:19  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
SwissBushIndian

AUP SwissBushIndian 07.11.2011
Nicht für Geld.
24.12.2023 15:51:47  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Strahlung-Alpha

AUP Strahlung-Alpha 19.09.2014
Und dann noch gleich einen Youtube-Link da lassen. Offenbar hat Randall von xkcd eine Kanal gestartet und postet dort Videos zu what-if. Ich bin gespannt wie viel Videos kommen werden:
28.12.2023 23:12:00  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
-rantanplan-

-rantanplan-
...
 
Zitat von Strahlung-Alpha

Und dann noch gleich einen Youtube-Link da lassen. Offenbar hat Randall von xkcd eine Kanal gestartet und postet dort Videos zu what-if. Ich bin gespannt wie viel Videos kommen werden:
https://www.youtube.com/watch?v=2LSyizrk8-0


Voll geil!

Der Junge hilft einem einfach generell dabei, unter allen widrigen Zuständen in der Welt die Vernunft zu bewahren.
29.12.2023 0:11:01  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
-=Charon=-

Japaner BF
Auf Empfehlung Swots hier auch noch mal gecrosspostet... Breites Grinsen
(Eigentlich wollte ich eh in diesen Thread hier, habe mich aber vertan...)

 
Zitat von -=Charon=-

Frage zum JPG-Algorithmus:

Ich habe ein Ausgangsbild (Farbbild, um die 20 Megapixel), das ich in Photoshop einmal regulär als 24-Bit-JPG abspeichere.

Wenn ich das Originalbild jedoch in der Farbtiefe reduziere, indem ich die Farbpalette auf 16 Farben beschränke, und dann wieder (mit derselben Kompressionsqualität) abspeichere, ist diese Datei deutlich größer (12 MB) als die 24-Bit-Version (5 MB). (Irfanview zeigt bei beiden Dateien 24 Bit pro Pixel an, aber wohl auch einfach nur, weil JPG Farbbilder grundsätzlich in 24-Bit-"Container" stopft, ne?)

Meine Frage also: Wieso braucht eine Datei mit weniger Farben bzw. einer geringeren Farbtiefe mehr Platz als eine mit einem deutlich größeren Farbraum?

Ist der JPG-Algorithmus bei Farbtiefen unter 24 Bit ineffizienter? Und zwar möglicherweise so ineffizient, dass die Datei sogar größer wird (statt maximal gleich groß zu bleiben)?

Wenn man das Gleiche mit PNG versucht (16 Bit vs. 8 Bit) ist es so, wie man es erwarten würde (geringere Farbtiefe erzeugt deutlich geringere Dateigröße).

19.02.2024 20:48:38  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
-=Charon=-

Japaner BF
Ah, homer is alive hat mir schon super geholfen!
19.02.2024 21:00:04  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
homer is alive

AUP homer is alive 14.03.2022
Hallo, Statistikfrage:

Ich habe eine Zeitreihe mit Ausfällen von einem bestimmten Bauteil, z.B. einem Motor. Jetzt weiß ich aber, dass in meiner Zeitreihe nicht die Daten für einen Motor liegen, sondern die Daten für n (baugleich, unabhängig voneinander) Motoren, die ich anhand der vorliegenden Daten nicht mehr deterministisch trennen kann.

Wenn ich jetzt die Ausfallwahrscheinlichkeiten für einen Motor ausrechnen möchte, kann ich einfach diese Zeitreihe zufällig in n Zeitreihen aufsplitten und dann daraus die Wahrscheinlichkeiten ableiten? Oder was wäre hier der saubere Prozess?

Letztendlich brauche ich pro Jahr sowas wie eine erwartete Anzahl von Ausfällen. Ich könnte daher auch die Ausfälle für diese n Motoren im Ganzen nehmen, eine Verteilung fitten und dann über die Zukunft Monte-Carlo-simulieren und das Ergebnis pro Jahr am Schluss durch n teilen. Sollte man das lieber so machen?

Oder gibt es direkt irgendwas gutes, um solche Mixture-Modelle zu fitten?
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von homer is alive am 15.03.2024 11:55]
15.03.2024 11:52:50  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Irdorath

AUP Irdorath 08.12.2020
Wenn die Motoren eh identisch sind und sich nicht gegenseitig beeinflussen, dann ist es doch egal, ob du sie trennen kannst oder nicht?
So wie ich das verstehe, hast du fuer n Motoren eine Zeitreihe bestehend aus m<=n Ausfallzeitpunkten T_1, ... T_m.
Warum nicht einfach annehmen, dass die Lebensdauer dieser Sorte Motor eine Zufallsvariable X ist, und deine Spruenge T_i sind Realisierungen von X (ggf. noch immer laufende Motoren nicht vergessen falls m<n). Darauf basierend dann die Verteilung von X fitten.
[Dieser Beitrag wurde 2 mal editiert; zum letzten Mal von Irdorath am 15.03.2024 12:06]
15.03.2024 12:03:05  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
Abstände zwischen allen Events ermitteln und auftragen, Normalverteilung dran fitten, und den Mittelwert*n nehmen würde ich sagen.
15.03.2024 12:49:29  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Irdorath

AUP Irdorath 08.12.2020
 
Zitat von Oli

Abstände zwischen allen Events ermitteln und auftragen, Normalverteilung dran fitten, und den Mittelwert*n nehmen würde ich sagen.



Und darauf dann am Besten noch ne Regression fitten oder was, ich glaub ich spinne! Ich waere von homer persoenlich enttaeuscht, wenn er das nicht mittels Bayes-Statistik aufzieht und seine Prior (einer Exponentialverteilung denn wir rechnen das per Hand aus) mit den gegebenen Observationen der Lebenszeiten aktualisiert.
15.03.2024 13:01:14  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
homer is alive

AUP homer is alive 14.03.2022
Ich glaube, ich habe das nicht ganz akkurat beschreiben.

Hier mal ein Beispieldatensatz. Den ersten Plot beobachte ich, d.h. ich sehe viele AUsfälle, die sich eigentlich auf verschiedene Motoren zurückführen lassen, was ich in den Daten aber so nicht sehe. Die letzten 3 sind Beispiele, wie die Daten aussehen könnten.



Ich habe also bspw. 2 Motoren in einer Zeitreihe vermischt, aber ich möchte letztendlich die Ausfälle für nur einen einzelnen Motor modellieren. Könnte ich einfach die beobachteten Daten nehmen und x2 nehmen? Oder würde man das so angehen wie in meinem letzten Post beschrieben?

Anwendungsfall ist, dass ich die Modellierung dann auf ein anderes Asset übertragen möchte, bei dem sich die Anzahl der Motoren unterscheidet. Bzw. dass ich auch Ausfallwahrscheinlichkeiten händisch bzw. auf Expertenwissen basierend aufbauen kann.
[Dieser Beitrag wurde 5 mal editiert; zum letzten Mal von homer is alive am 15.03.2024 15:04]
15.03.2024 14:54:57  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Irdorath

AUP Irdorath 08.12.2020
Mein Bauchgefühl: Du kannst die Beobachtung als TeX: \sum_{i=1}^n X_i modellieren, wenn die X_i unabhängig und identisch sind wird sich das in vielen Rechnungen wie "nX" verhalten.
16.03.2024 10:23:23  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
B0rG*

Gordon
Hier, ich hab auch eine Meinung!
Ich würde wohl sagen die TeX: X_i (also Ausfälle über die Zeit von Motor i) sind Poisson-Prozesse, und du beobachtest eben die Summe mehrerer unabhängiger Prozesse. Kann man bestimmt tolle Statistik drüber ausrechnen.
16.03.2024 11:31:19  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
B0rG*

Gordon
Ich mag aber auch Olis Cowboy-Statistik.
16.03.2024 11:33:02  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Irdorath

AUP Irdorath 08.12.2020
 
Zitat von B0rG*

Hier, ich hab auch eine Meinung!
Ich würde wohl sagen die TeX: X_i (also Ausfälle über die Zeit von Motor i) sind Poisson-Prozesse, und du beobachtest eben die Summe mehrerer unabhängiger Prozesse. Kann man bestimmt tolle Statistik drüber ausrechnen.


Wenn die Motoren mehrmals ausfallen koennen ist dis de way. Was aus homers zweitem Beispiel ja auch hervorgeht, da hab ich aber nur mit Bauchgefuehl draufgeguckt!
16.03.2024 12:10:05  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
homer is alive

AUP homer is alive 14.03.2022
Danke! Als Modellierung von so Ausfallzeiten nimmt man irgendwie am ehesten eine Weibull-Verteilung, aber viele Verteilungen lassen sich gut fitten, unter anderem Exponential- und Poisson-Verteilung.

Aber danke für die Rückmeldung. Ich bin hier nur als Architekt dabei, der angesetzte Data Scientist kennt sich mit statistischer Modellierung nur noch schlechter als ich aus. Breites Grinsen

Letztendlich würde man einfach die Summe der Verteilungen modellieren. Sowas ist für mich auch heute immer noch nicht ersichtlich, obwohl es so sein sollte.
[Dieser Beitrag wurde 2 mal editiert; zum letzten Mal von homer is alive am 16.03.2024 13:33]
16.03.2024 13:16:33  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
B0rG*

Gordon
 
Zitat von homer is alive

Danke! Als Modellierung von so Ausfallzeiten nimmt man irgendwie am ehesten eine Weibull-Verteilung, aber viele Verteilungen lassen sich gut fitten, unter anderem Exponential- und Poisson-Verteilung.



Fancy, wieder was neues gelernt .
16.03.2024 13:30:05  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
-rantanplan-

-rantanplan-
unglaeubig gucken
Neuer Effekt klebt Gewebe an Metall - dauerhaft und nur mit etwas Strom, vorübergehend angelegt.
19.03.2024 20:16:32  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Irdorath

AUP Irdorath 08.12.2020
 
Zitat von homer is alive

 
Zitat von Irdorath

Homie kannst du das als in sich geschlossene Frage, vong Verständnis her, formulieren?
/Also das ist gar nicht als Schikane gemeint, ich weiß nur nicht was du jetzt gemacht hast und woran es nun scheitert



Sicher, ich bin nicht davon ausgegangen, dass du weißt, was jetzt das Problem ist Breites Grinsen

Recap:
Ich beobachte Reparaturzeitpunkte von Maschinenbauteilen, die - so die Annahme - einer Weibullverteilung folgen. Die Wahl kann man auch hinterfragen, aber erstmal ist das eine gute Verteilung, um die Abstände zwischen Events zu modellieren.

Das Problem:
Wenn an einer Maschine dasselbe Teil mehrfach verbaut ist, tauchen diese in derselben Zeitreihe auf. Bei nur einem Teil wäre es trivial, die Abstände zu ermitteln, da man einfach die Differenz der Zeitstempel als Abstände zwischen den Events nehmen kann. Bei n > 1 habe ich jetzt aber z.B. folgendes Phänomen:
 
Code:
import numpy as np
from numpy import array

abstaende_a = array([5.58225947, 5.71750378, 5.46726565, 6.16505153, 5.89227875])
abstaende_b = array([6.43286122, 6.43245154, 5.56700896, 5.74331599, 6.71651993])
timestamps_a = time_between_a.cumsum()
timestamps_b = time_between_b.cumsum()
observed_timestamps = sorted(np.hstack([timestamps_a, timestamps_b]))
[5.582259471633394,
 6.432861224828292,
 11.299763247243284,
 12.865312769438884,
 16.76702889850799,
 18.432321726027176,
 22.932080431609485,
 24.175637712946084,
 28.824359177717852,
 30.892157643722044]
diffs = pd.Series(observed_timestamps).diff().fillna(observed_timestamps[0]).values
array([5.58225947, 0.85060175, 4.86690202, 1.56554952, 3.90171613,
       1.66529283, 4.49975871, 1.24355728, 4.64872146, 2.06779847])


Wie man sieht, sind die Abstände zwischendurch extrem gering und darauf lässt sich auch nichts Weibull-mäßiges fitten. Wenn ich das Ganze als Counts interpretiere, dann kann ich einfach ein Poisson-Modell fitten und durch die Anzahl von Bauteilen dividieren.

Jetzt die Frage: Wie heißt das beobachtete Phänomen, diese Überlagerung, aus statistischer Sicht? Ist das dennoch einfach nur die Summe der Zufallsvariablen? Und wie lässt sich das jetzt lösen, dass ich auf die beobachteten Daten und mit dem Wissen, dass es n gleich parametrisierte Weibull-Verteilungen sind, die Verteilungen fitten kann?

Ist aber auch okay, wenn du keine Zeit hast, aber ein Hinweis, nach was ich überhaupt googeln muss, wäre super.

Ansonsten gehen wir ggf. aber einfach mit dem Poisson-Modell.

e/ jetzt habe ich schön viel geschrieben, manches davon hast du ja auch schon aufgenommen. gg no re




Ich weiss nicht, ob dieser 'Ueberlagerungseffekt' einen Namen hat. Letztendlich beobachtest du mehrere (identische) Sprungprozesse TeX: X_i(t) gleichzeitig und kannst sie nicht voneinander unterscheiden. Dein beobachteter Prozess TeX: Y(t) = X_1(t) + ... + X_n(t) ist also in der Tat die Summe der (unbeobachteten) Komponentenprozesse.


Ich hole mal ein bisschen aus und erklaere, warum Poisson-Prozesse fuer diese Konstruktion so praktisch sind, daraus wird dann hoffentlich klar, woran die Konstruktion mit Weibull-Verteilungen schwieriger ist.


Wir nennen die Wartezeiten zwischen der Spruengen von Prozess TeX: X_i seine Zwischenankunftszeiten und schreiben fuer diese Zufallsvariable TeX: Z_i. Wir gehen von homogenen Spruengen aus, also keine Veraenderung in der Ausfallwahrscheinlichkeit ueber die Zeit. Eigentlich koennten wir auch TeX: Z schreiben, da alle Komponentenprozesse identisch sind.

Wenn die Zwischenankunftszeiten exponentialverteilt sind, TeX: Z \sim Exp(\lambda), dann ist der resultierende Prozess TeX: X_i ein Poissonprozess und man kann zeigen, dass bspw. die Wahrscheinlichkeit, dass TeX: X_i auf einem Interval TeX: [s, t] einen Sprung hat, der Poisson-Verteilung TeX: Poi(\lambda(t-s)) folgt.

Die Verteilung der Wartezeit von Start bis zum TeX: k. Sprung von TeX: X_i(t) ist natuerlich gleich der Verteilung der Summe von TeX: k unabh. Exponentialverteilungen TeX: Z, was eine TeX: Gamma(k, \lambda) Verteilung ergibt.

Dank dieser Eigenschaften haben wir verschiedene Zugaenge zum akkumulierten Prozess TeX: Y.
Wenn wir den Prozess wie oben als Summe formulieren, dann erhalten wir unmittelbar wieder einen Poissonprozess. Das liegt u.a. daran, dass die Summe von zwei Poisson-verteilten Zufallsvariablen wieder Poisson-verteilt ist, TeX: \sum_{i=1}^n X_i(t) \sim Poi((\sum_{i=1}^n \lambda) t). Demzufolge koennen wir die bekannten Eigenschaften anwenden und erfahren, dass die Verteilung der Zwischenankunftszeiten jetzt TeX: Exp(n\lambda) ist. Damit koennen wir direkt aus diesen Zeiten die Parametrisierung von den Zwischenankunftszeiten der Komponentenprozesse, TeX: Z berechnen.


Wenn du die Zwischenankunftszeiten deiner Komponentenprozesse nun mit Weibull Verteilungen TeX: W modellierst, dann sind die Komponentenprozesse TeX: X_i meistens* nicht mehr Poisson-verteilt. Generell scheint der Zugang zu solchen Prozessen analytisch schwierig zu sein, in diesem Paper wird eine (nicht-analytische) Moeglichkeit skizziert.
In so einem Weibull-modulierten Sprungprozess folgt die Verteilung der Wartezeit auf den TeX: k. Sprung natuerlich wieder der Verteilung der Summe der ersten TeX: k Zwischenankunftszeiten. Das ergibt diesmal keine schoene Gammaverteilung, sondern irgendetwas anderes, wahrscheinlich wenig zugaengliches. Zumindest numerisch kann man damit aber noch arbeiten und alle relevanten Eigenschaften berechnen, nennen wir die Verteilung TeX: U = \sum_{i=1}^k W_i.
Das reicht aber leider nicht, denn die Summe dieser Weibull-modulierten Sprungprozesse ist jetzt vermutlich** selbst kein Weibull-modulierter Sprungprozess. Das heisst, wenn du dir die Wartezeit auf den TeX: k. Sprung von TeX: Y(t) anschaust, dann ist diese nicht zwangslaeufig in der gleichen Verteilungsfamilie wie TeX: U. Dementsprechend sind auch die Zwischenankunftszeiten von TeX: Y(t) nicht Weibull-verteilt, und deswegen konntest du da keine sinnvolle Weibull Verteilung fitten.

Im Poissonfall war es sehr einfach eine Transformation von den Beobachtungen zurueck zu den Parametern von TeX: Z zu finden, und genau das gestaltet sich jetzt auf den ersten Blick schwierig. Gut moeglich, dass es doch analytische Beziehungen gibt, die mir nicht bekannt sind (ich weiss von Weibull Verteilungen naemlich nahezu nichts), aber in Ermangelung dieser muesste man sowas machen wie beispielsweise die Ankunftszeiten kombinatorisch auf die Komponentenprozesse und ihre Wartezeiten herunterbrechen:
TeX: Y(t) hat TeX: k Spruenge wenn die Komponenten in Summe TeX: k Spruenge haben, das kann man realisieren mit TeX: k Spruenge in TeX: X_1 und 0 in den uebrigen, mit TeX: k-1 Spruenge in TeX: X_1 und 1 Sprung in einem der anderen, etc.
Analytisch habe ich an dieser Stelle schon alle Hoffnungen aus dem Fenster geworfen und auch numerisch wird das schnell viel zu aufwaendig.

Ein anderer Zugang waere komplett simulationsbasiert, letztendlich hast du ja nur zwei freie Parameter (die der Weibull Verteilung) in deinem Modell. Also einfach Monte Carlo Simulationen mit verschiedenen Parametern ausprobieren, bis es 'gut' zu deinen beobachteten Daten passt. Wann dein Modell jetzt gut passt ist natuerlich nicht einfach zu sagen. Welche Metrik du evaluierst haengt dann auch wieder von den verfuegbaren Daten ab, also wieviele du hast und wieviel diese beschreiben koennen.


Ich kenn mich jetzt explizit mit Weibull-Verteilungen nicht gut aus, aber aufgrund fehlender Berechenbarkeit ist man in vielen Faellen mit einem simpleren Modell besser bedient. Ich wuerde, falls du bei Weibull bleibst, in jedem Fall ein Vergleichsmodell mit Poisson aufbauen, das kostet ja weniger Zeit als jetzt bspw. mich dieser Text.



*Je nach Parametrisierung der Weibull Verteilungen, mit k=1 bist du natuerlich wieder im exponentialverteilten Fall.
**Mein Bauchgefuehl sagt, dass eine schoene Abgeschlossenheit unter Summierung, wie bei Poisson-Prozessen, durch die fehlende Gedaechtnislosigkeit der Zwischenankunftszeitverteilung verhindert wird.
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von Irdorath am 20.03.2024 12:01]
20.03.2024 11:54:45  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
homer is alive

AUP homer is alive 14.03.2022
Zu demselben Schluss bin ich mittlerweile auch gekommen und möchte hervorheben, dass dies ein äußerst hilfreicher und enorm gut verständlicher Post geworden ist. Ganz herzlichen Dank.

Der vielversprechendste Ansatz mit meinen generierten Fake-Daten war, dass ich aus der einen Zeitreihe n Zeitreihen mache, indem ich den jeweils n-ten Wert mit Offset i reinpacke und diese dann wieder hintereinanderpacke. Aber das ist mit Sicherheit absolute Guerilla-Statistik, die jeglicher Grundlage entbehrt und auf echten Daten sowieso nicht hinhaut.


Habe dazu noch einen Artikel gefunden:

https://inria.hal.science/inria-00072799/document
[Dieser Beitrag wurde 2 mal editiert; zum letzten Mal von homer is alive am 20.03.2024 14:22]
20.03.2024 13:14:01  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
Okay, ich brauche numpy wizards.

Ich habe ein hdf5 file, mit 4-D datasets. Blöd ist, dass die nicht als 4-D datasets gespeichert sind, sondern als 1-D array.

Ich lese also alles ein, dann mache ich numpy.reshape und arbeite mit dem 4-D array.

Nun brauche ich nicht immer alle Daten, und würde gerne nur den Teil aus dem file Laden, den ich brauche.

Also hätte ich gerne so eine Art numpy "Window" auf die Daten, das automatisch die 4 Indices in einen Index umrechnet; dabei sollte es aber auch mit ranges umgehen können.

Beispiel:

 
Code:
my_view = np.coolview(hdf5_dataset)
do_something(my_view[1:10, 2, 3:5, ::-1])  # Lädt die richtigen Daten aus dem hdf5 array


Es gibt ravel_multi_index, aber das kann nicht mit ranges umgehen. Ferner würde ich gerne noch Logik haben/einbauen, die entscheidet, wann es Sinn macht, doch einfach das ganze Array von der Platte zu laden, weil es zu viele i/o ops werden. Etwa nur jedes zweite Element aus dem File zu laden ist extrem ineffizient.

Wie gehe ich das am besten an, ohne sehr viel nervigen Index-schaufelnden Code zu schreiben?

/e: Man kann sowas natürlich vollständig selbst bauen, aber alle features von numpy abbilden ist natürlich auch schon eine Übung. Breites Grinsen
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von Oli am 02.04.2024 8:37]
02.04.2024 8:31:52  Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
 Thema: pOT-lnformatik, Mathematik, Physik XXIV
« erste « vorherige 1 ... 12 13 14 15 [16] 17 nächste » letzte »

mods.de - Forum » Public Offtopic » 

Hop to:  

Mod-Aktionen:
21.12.2021 11:20:27 Atomsk hat diesem Thread das ModTag 'pimp' angehängt.

| tech | impressum