|
|
|
|
|
|
|
| | Zitat von R
ja, mein Input ist nur die bisherige Folge.
In Zukunft kommen noch andere Parameter hinzu, ich will nur schauen, ob man vllt. so schon "mehr" rausholen kann als Persistence forecasting.
| |
Es scheint, als sei die Regularisierung bei RNN/LSTM noch ein eigenes Forschungsfeld. L2 und L1 klappen wohl wirklich nicht, da sie die Gradienten zu stark beeinflussen. Normales Dropout auch nicht, aber wenn du Lust hast, kannst du dir das hier mal anschauen:
https://arxiv.org/pdf/1409.2329.pdf
| | Unfortunately, dropout
Srivastava (2013), the most powerful regularization metho
d for feedforward neural networks, does
not work well with RNNs. As a result, practical applications
of RNNs often use models that are
too small because large RNNs tend to overfit. Existing regula
rization methods give relatively small
improvements for RNNs Graves (2013). In this work, we show th
at dropout, when correctly used,
greatly reduces overfitting in LSTMs, and evaluate it on thre
e different problems | |
| | The main contribution of this paper is a recipe for applying d
ropout to LSTMs in a way that success-
fully reduces overfitting. The main idea is to apply the dropo
ut operator only to the non-recurrent connections. | |
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von homer is alive am 12.04.2018 16:21]
|
|
|
|
|
|
|
|
|
| | Zitat von csde_rats
Ich lege mal für C vor (geht ganz ganz sicher kürzer)
main(n){for(n--;n++<100;printf("%d %s%s\n",n,n%5?"":"fizz",n%7?"":"buzz"));} (76 Bytes)
| |
n;main(){for(;n++<100;printf("%d %s%s\n",n,n%5?"":"fizz",n%7?"":"buzz"));} (74 Bytes)
|
|
|
|
|
|
|
|
|
|
Spoiler - markieren, um zu lesen:
curl pastebin.com/raw/EnHpFjRQ
Bash, 30 byte.
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von R
Ich habe eine Folge von binären Werten und würde gerne das jeweils nächste Folgenglied vorhersagen.
Mein "einfaches" neuronales Netz, bestehend aus jeweils zwei LSTM- und zwei gewöhnlichen RBM- Layern (plus Output-Layer = softmax), fittet das trainingset perfekt, aber generalisiert schlecht.
-> also sollte ich eine Art von Regularisierung anwenden.
Das Problem: Wenn ich Dropout-Layer benutze, performt mein NN nicht besser (aber auch nicht schlechter) als simples persistence forecasting.
Kennt jemand weitere Optionen? Afaik sollte man L1/L2-Reg. bei LSTMs nicht benutzen, da diese zu verschwindenden Gradienten führen (also auch jede andere Norm, wie bspw. Diamond Norm?).
| |
Zuerst die Trivialität: Im Allgemeinen ist natürlich jedes beliebige Neuronale Netz nicht besser als persistence forecasting oder zufällige Samples. Die zentrale Frage ist also weniger welche Regularisierung du verwenden solltest, sondenr mehr, was du über deine Zeitreihen weißt. Könntest du sie selbst vorhersagen? Haben sie denn eine rekurrente Struktur oder sind gegeben genügend Vergangenheit funktional vorhersagbar? Kommen Trainings- und Testset aus der selben Verteilung? Machen Neuronetze in deinem Kontext - der eher diskret scheint - überhaupt Sinn? Wie verhält sich das Validierungsset?
Ich bin kein Neuromensch, weiß aber, dass Kollegen die viel mit Zeitreihen machen eher weniger mit Regularisierung und eher mehr mit korrekten Netzarchitekturen (gegeben dem Vorwissen) arbeiten. Wäre das vielleicht ein gangbarer Weg? Anscheinend lernen deine Netze ja das Trainingsset auswendig, also sind die Modelle wohl zu mächtig.
|
|
|
|
|
|
|
|
|
|
Das ist wieder so typisch Software-Entwickler: Erst mal machen, der Rest kommt schon von alleine! 
Nach der Requirements-Analyse müssen natürlich erst einmal die User-Storys erstellt und vom Kunden abgenommen werden:
| |
| Code: |
Story:
Als Recruiter möchte ich ein Programm haben, das die Zahlen von 1-100, sowie Fizz und Buzz ausgibt, um die Basis-Eignung des Kandidaten feststellen zu können.
Abnahmekriterien:
- Es wird über die ganzen Zahlen 1 bis 100 (jeweils inklusive) iteriert
- statt einer durch 3 teilbaren Zahl wird Fizz ausgegeben
- statt einer durch 5 teilbaren Zahl wird Buzz ausgegeben
- statt einer sowohl durch 3 und 5 teilbaren Zahl wird FizzBuzz ausgegeben |
|
Da als nächstes der Planungspoker folgt, seid ihr jetzt dran.
|
|
|
|
|
|
|
|
|
|
|
|
csde_rats jetzt durchgefallen
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Ne, laut der Definition würde ich auch die Zahlen bei Fizz und Buzz nicht ausgeben.
Ha!
// Meine Güte, das ruft Erinnerungen aus der Arbeit hervor. "Ich wollte aber A", "das ist A", "nein, a", "was"
|
|
[Dieser Beitrag wurde 3 mal editiert; zum letzten Mal von derSenner am 12.04.2018 22:05]
|
|
|
|
|
|
|
|
|
Durch ein Meeting mit dem Kunden ist herausgekommen, dass das die besseren Version ist. Er hat schließlich diesen Abnahmekriterien zugestimmt. Bei weiteren Änderungen wird natürlich das gesamte Change-Management durchlaufen.
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von cms
Da als nächstes der Planungspoker folgt, seid ihr jetzt dran. | |
Ich habe eine ausführbare Konzeptarbeit von 63 Zeichen in einer pseudocodeartigen Programmiersprache, die natürlich nicht ernstzunehmend ist, weil sie kostenlos ist. Eine Zeitschätzung steht noch aus, es müssen aber noch Unit- und funktionale Tests geschrieben werden, Dokumentation, Qualitätssicherung, explorative Tests, Staging-Tests, Tests in Produktion, Übersetzung, Schulung, usw... nicht unter 2 Monaten Arbeit.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von Schalentier
| | Zitat von cms
Da als nächstes der Planungspoker folgt, seid ihr jetzt dran. | |
Ich habe eine ausführbare Konzeptarbeit von 63 Zeichen in einer pseudocodeartigen Programmiersprache, die natürlich nicht ernstzunehmend ist, weil sie kostenlos ist. Eine Zeitschätzung steht noch aus, es müssen aber noch Unit- und funktionale Tests geschrieben werden, Dokumentation, Qualitätssicherung, explorative Tests, Staging-Tests, Tests in Produktion, Übersetzung, Schulung, usw... nicht unter 2 Monaten Arbeit.
| |
Also ca. 100 Story-Punkte. Dann müssen wir die Story in Teilstorys unterteilen und daraus müsst ihr dann weitere Task erstellen. Wir können aber die bisherige Story behalten und als Epic betrachten.
/: Allerdings waren Dokumentation, Übersetzung und Schulung nicht Teil dieser Story. Sind natürlich Bestandteil des gesamten Auftrags, aber hier geht es nicht um den gesamten Auftrag. Von daher folgt jetzt die zweite Runde im Planungspoker.
Außerdem mache ich mir bei der Velocity dieses Teams hier große Sorgen, wenn die Story-Punkte mehr als 10 sind. 
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von cms am 12.04.2018 22:21]
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von cms
Wir können aber die bisherige Story behalten und als Epic betrachten. | |
Da, das ist eine gute Anfangsbasis. Vielleicht externe Consultants damit beauftragen, Teile abzuseparieren, vllt. nach Indien.
Dann natürlich die täglichen Standups, wöchentliche Status-Meetings mit den Product Ownern aus der Technik und dem Business und die Berichte an andere tangierte Abteilungen.
Wer plant die Roadmap und die Milestones?
Spoiler - markieren, um zu lesen:
for i in range(1,101)  rint("Fizz"[i%3*4:]+"Buzz"[i%5*4:] or i) |
|
|
|
|
|
|
|
|
|
Was, wo? (ich schau eigentlich seit Jahren täglich in den Funthread rein, bin nur auf die Idee gekommen seit langem, mir mal ein neues Passwort zusenden zu lassen  )
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von Schalentier
| | Zitat von cms
Wir können aber die bisherige Story behalten und als Epic betrachten. | |
Da, das ist eine gute Anfangsbasis. Vielleicht externe Consultants damit beauftragen, Teile abzuseparieren, vllt. nach Indien.
Dann natürlich die täglichen Standups, wöchentliche Status-Meetings mit den Product Ownern aus der Technik und dem Business und die Berichte an andere tangierte Abteilungen.
Wer plant die Roadmap und die Milestones?
| |
Roadmaps und Milestones gibt es nicht, aber das Backlog ist schon angelegt und muss nur noch gepflegt werden. Sprints haben vorerst eine Dauer 2 Wochen und fangen Dienstags an. Am Donnerstag folgt dann die Demo mit den Stakeholdern.
Weiteres:
- Die Übersetzung wird von einem Dienstleister in Vietnam erledigt
- Die Dokumentation erledigen zwei Werkstudenten, da der Technical Writer gekündigt hat
- Der Kunde besteht auf ein wöchentliches Burn-Down-Chart
- DevOps muss beachten, dass der Kunde 3 Staging-Server für Europa, Asien und Nord-Amerika zur Verfügung stellt.
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von cms am 12.04.2018 22:38]
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Ich würde ja gerne sagen, dass sei alles überspitzt. Würde ich gerne.
|
|
|
|
|
|
|
|
|
|
|
Ebenso. Ihr beschreibt ja fast noch einen idealen Ponyhof...
I've seen (and done) so many things...
|
|
|
|
|
|
|
|
|
|
|
|
Und wenn ich das lese, vergeht sofort wieder jede Lust aus der Uni zu gehen...
|
|
|
|
|
|
|
|
|
|
|
Mir vergeht/verging jede Lust wieder in der Uni zu arbeiten.
Aber so is das halt.
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von derSenner am 12.04.2018 23:27]
|
|
|
|
|
|
|
|
|
Gleichzeitig kann ich halt auch bestätigen, dass bei R&D so sinnlos Geld verballert wird, dass man leider NDAs unterzeichnen muss, damit das niemals an die Öffentlichkeit kommt. Hat alles zwei Seiten.
¤: Jo, das.
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von SwissBushIndian am 12.04.2018 23:27]
|
|
|
|
|
|
|
|
|
|
Oli, mach, dass der Newsthread wieder im potdroid gelesen werden kann - der kann gerade entweder nicht geladen werden oder killt die App...
|
|
|
|
|
|
|
|
|
|
|
[quote=216416,1247634170,"SwissBushIndian"]
Gleichzeitig kann ich halt auch bestätigen, dass bei R&D so sinnlos Geld verballert wird, dass man leider NDAs unterzeichnen muss, damit das niemals an die Öffentlichkeit kommt. Hat alles zwei Seiten.
¤: Jo, das.
Die Entwicklung bei den Bonner LHC-Softwareheinis wirkte immer recht entspannt und effizient...
...aber da Computer Teufelswerk sind, bin ich da schlecht geeignet, das wirklich zu beurteilen. Ich bin ja schon stolz, wenn Maple/TeX bei mir ein if enthält.
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von Wraith of Seth am 12.04.2018 23:36]
|
|
|
|
|
|
|
|
|
| | Zitat von Schalentier
Was, wo? (ich schau eigentlich seit Jahren täglich in den Funthread rein, bin nur auf die Idee gekommen seit langem, mir mal ein neues Passwort zusenden zu lassen )
| |
Du hast halt ewig nichts gepostet und ich war überrascht. 
|
|
|
|
|
|
|
|
|
|
Hi,
auf Empfehlung des Erklärbärs komme ich hierher.
Ich bin ne Matheniete und brauche eine lösbare aber komplex aussehende Gleichung, die ergibt X=6 und Y=14.
Da kann mir doch bestimmt einer weiterhelfen hier.
|
|
|
|
|
|
|
|
|
|
|
Für wen lösbar? Im Erklärbär hattest du "möglichst komplex" geschrieben.
/Wenn du nur klassische Operationen verwendetst, tippt man die ganze Sache halt bei Wolframalpha.com ein und ist fertig. Ich denke mit ein paar Integral- oder Summendarstellungen (wir hatten es ja neulich erst von Borwein Integralen hier) kann man das schnell zu kompliziert fürs direkte Eingeben machen, aber je nach Publikum ist das dann wohl auch nicht mehr "lösbar."
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von Irdorath am 13.04.2018 13:11]
|
|
|
|
|
|
|
|
|
Du meinst sowas wie
z = irgendeine Konstante
f(x,y) = z für x=6, y=14
f(6,y) != z für alle y != 14
f(x,14) != z für alle x != 6
also eine zweidimensionale funktion die nur in einem Punkt z erreicht (was auch immer z ist)?
Das wird ja entweder der Hoch/Tiefpunkt von irgendwas oder unstetig..
oder meinst du eher sowas wie "berechnen sie den Schnittpunkt dieser Gerade im dreidimensionalen Raum mit der Ebene z=42, wo dann (6,14,42) rauskommt?
Was genau hast du vor, wo möchtest du das einsetzen?
|
|
[Dieser Beitrag wurde 4 mal editiert; zum letzten Mal von Rootsquash am 13.04.2018 13:15]
|
|
|
|
|
|
|
|
|
e: Jetzt aber. Man sollte vielleicht sowas wie "positiv ganzzahlige Lösung" dazusagen, und wenn man eine eindeutig bestimmte Lösung hat, müsste man vielleicht nen entsprechendes Maß festlegen um eine kleinste Lösung zu definieren oder sowas.
|
|
[Dieser Beitrag wurde 3 mal editiert; zum letzten Mal von csde_rats am 13.04.2018 13:25]
|
|
|
|
|
|
| Thema: pOT-lnformatik, Mathematik, Physik XXI ( X-Ray-Edition ) |
![AUP [smith] 29.07.2010](./avatare/upload/U1066026--zeratul.png)
