|
|
|
|
|
|
|
Dange, euch. Bin stolz wie Bolle.
Auch wenn ich nach wie vor eher unteres Mittelmaß in Mathe bin [1], hat mir das Studium zumindest gebracht, dass ich mathematische Formulierungen nicht mehr als: "Das schreiben die doch extra so kompliziert, damit man es nicht versteht!1" interpretiere, sondern ein bisschen die Angst davor verloren habe. Jetzt ist es eher so: "Diese Zeichen habe jeweils eine Bedeutung. Finde Bedeutung dieser Zeichen raus, dann weißt du, was da steht." Das ist ganz schön. Ich bin damit zwar immer noch weit davon entfernt, mal eine schöne PDE für ein cooles Phänomen in der Welt selbst zu bauen, aber ich kann's zumindest halbwegs verstehen. Mathe ist wunderschön, wenn man nicht in der Kindheit damit so dermaßen traumatisiert wurde, dass man es für den Rest des Lebens nur noch mit der Kneifzange anfässt.
Coolstes kleines Gimmick: Newtonverfahren. Klein, einfach verständlich, kann man schnell irgendwo draufwerfen und macht coole Magie.
Scariest thing around: Faltungen (Stochastik). Hass.
Bringt mich immer noch zum tilten: Rekursion.
[1] Für Analysis und Stochastik hab ich mich während der Betriebsarbeitsphase früh halb 6 bis halb 9 in der Uni mit einem Mathedoktoranden getroffen, der mir Nachhilfe gegeben hat. Zwei bis drei Mal in der Woche. Und dann ist's auch eine 2, bzw. 3 geworden. Aber selbst die Disziplin aufbringen und sich das reinhauen? Nope. 
// Fak. Ich dachte, da war noch ein Post Platz.
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von Aminopeptid am 27.09.2020 15:26]
|
|
|
|
|
|
|
|
|
| | Zitat von Aminopeptid
Bin seit letzter Woche neben B. A. Philo auch B. Sc. Informatik.
| |
Grats!
| | Zitat von Aminopeptid
Ich bin damit zwar immer noch weit davon entfernt, mal eine schöne PDE für ein cooles Phänomen in der Welt selbst zu bauen | |
Eww.
| | Zitat von Aminopeptid
Scariest thing around: Faltungen (Stochastik). Hass.
| |
Wo braucht man denn in der Stochastik Faltungen, also ausser fuer die obligatorische "Dichte der Summer zweier unabhaengiger Zufallsvariablen" Uebungsaufgabe in der ersten Vorlesung? 
/TIL: https://de.wikipedia.org/wiki/Faltung_(Stochastik)
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von Irdorath am 27.09.2020 15:39]
|
|
|
|
|
|
|
|
|
| | Zitat von Irdorath
Wo braucht man denn in der Stochastik Faltungen, also ausser fuer die obligatorische "Dichte der Summer zweier unabhaengiger Zufallsvariablen" Uebungsaufgabe in der ersten Vorlesung?
| |
Frag mich nicht. Ich habe mir in den Mathevorlesungen abgewöhnt, zu fragen, wozu man Dinge lernt. Unser Prof fand die offenbar so geil, dass wir in der Stochastikklausur lieber zwei ellenlange Faltungen machen mussten und dafür keine einzige Aufgabe zu Normalverteilungen und deren Abhängseln dran kam. Rate mal, wofür alle am meisten gelernt hatten. Ja. 5 von 30 Leuten haben die Klausur bestanden.
// Du schreibst "Übungsaufgabe in der ersten Vorlesung": Bei uns kam das relativ weit "hinten" im Stoff und mir kommt es auch nicht wie Stoff einer Einführungsvorlesung vor. Aber du hast auch reine Mathe an der Uni gemacht, oder?
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von Aminopeptid am 27.09.2020 15:43]
|
|
|
|
|
|
|
|
|
| | Zitat von Aminopeptid
Frag mich nicht. Ich habe mir in den Mathevorlesungen abgewöhnt, zu fragen, wozu man Dinge lernt.
| |
Protipp: Nicht "wozu ist das gut", sondern "wieso ist das interessant" fragen. Also ausser du willst Mathematiker triggern. Die Antwort auf die zweite Frage wird allerdings auch meistens unbefriedigend sein.
|
|
|
|
|
|
|
|
|
|
|
Kriege gerade Flashbacks zu "diskrete Mathematik", wo der Schnitt 3.9 oder so war 
e: Der Prof war aber auch seeehr sympathisch. In der letzten VL zur Klausurvorbereitung ging das ungefähr so: "Aufgabe 1 ist Kombinatorik, da werden Sie schon ein paar Punkte kriegen. Aufgabe 2 ist Rekursionen, die überblättern Sie einfach, Aufgabe 3 was zu Graphen, nochmal ein paar Punkte und Aufgabe 4 ist Algebra, da werden Sie ja wohl 1-2 Aufgaben schon irgendwie schaffen. Und dann haben Sie im Grunde bestanden!"
Und dabei hatte ich die Chance die Veranstaltung beim legendären Marcel Erne zu machen. Easily die dümmste Entscheidung von mir im Studium das "später zu machen".
|
|
[Dieser Beitrag wurde 2 mal editiert; zum letzten Mal von csde_rats am 27.09.2020 15:47]
|
|
|
|
|
|
|
|
|
Zwei meiner Lieblingsmomente sind, wenn man vor einem Problem steht und sich erinnert "oh, das habe ich mal gelernt, hier kann man xy anwenden"
und
wenn ich sehr lange über die Lösung eines Problems nachgedacht/recherchiert habe, rausfinde es ist xy, davon begeistert einem Freund und Kommilitonen berichte und er sagt "Äh, ja? Haben wir in Analysis gelernt? Hast du da nicht aufgepasst?"
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von csde_rats
[b]
Kriege gerade Flashbacks zu ...
| |
| | Zitat von csde_rats
[b]
...Rekursionen, die überblättern Sie einfach
| |
Da bekomm ich auch halbseitiges Zucken. Wir hatten theoretische Info bei einem Theoretischen Atrophysiker. Der hat mit seinem Kollegen, der bei uns Numerik gemacht hat, ein fucking 1200-Seiten-Buch über Mathematica geschrieben.
Uns hat er sechs Vorlesungen oder so mit dem Master-Theorem fertig gemacht. Erst mal eine lockere Erzählung, was man damit so machen kann. Alle nicken interessiert. Ist ja auch cool. Er vollführt die ersten drei logischen Schritte eines einfachen Beweises mit dieser Methode an der Tafel. Wirklich _jeder_ bei uns hat geschaut, als wenn er gegen eine Wand gelaufen wäre. Wir haben uns kollektiv für die dümmsten Menschen dieser Hochschule gehalten.
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von Aminopeptid
Dange, euch. Bin stolz wie Bolle.
Auch wenn ich nach wie vor eher unteres Mittelmaß in Mathe bin [1], hat mir das Studium zumindest gebracht, dass ich mathematische Formulierungen nicht mehr als: "Das schreiben die doch extra so kompliziert, damit man es nicht versteht!1" interpretiere, sondern ein bisschen die Angst davor verloren habe. Jetzt ist es eher so: "Diese Zeichen habe jeweils eine Bedeutung. Finde Bedeutung dieser Zeichen raus, dann weißt du, was da steht." Das ist ganz schön. Ich bin damit zwar immer noch weit davon entfernt, mal eine schöne PDE für ein cooles Phänomen in der Welt selbst zu bauen, aber ich kann's zumindest halbwegs verstehen. Mathe ist wunderschön, wenn man nicht in der Kindheit damit so dermaßen traumatisiert wurde, dass man es für den Rest des Lebens nur noch mit der Kneifzange anfässt.
Coolstes kleines Gimmick: Newtonverfahren. Klein, einfach verständlich, kann man schnell irgendwo draufwerfen und macht coole Magie.
Scariest thing around: Faltungen (Stochastik). Hass.
Bringt mich immer noch zum tilten: Rekursion.
[1] Für Analysis und Stochastik hab ich mich während der Betriebsarbeitsphase früh halb 6 bis halb 9 in der Uni mit einem Mathedoktoranden getroffen, der mir Nachhilfe gegeben hat. Zwei bis drei Mal in der Woche. Und dann ist's auch eine 2, bzw. 3 geworden. Aber selbst die Disziplin aufbringen und sich das reinhauen? Nope.
// Fak. Ich dachte, da war noch ein Post Platz.
| |
Das wirft für mich die Frage auf: Warum wird in ML meistens gradient descent verwendet und nicht das Newtonverfahren?
https://stats.stackexchange.com/questions/253632/why-is-newtons-method-not-widely-used-in-machine-learning
Ich bin auch kein Freund von Rekursion, lieber iterativ.
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von Aminopeptid
Du schreibst "Übungsaufgabe in der ersten Vorlesung": Bei uns kam das relativ weit "hinten" im Stoff und mir kommt es auch nicht wie Stoff einer Einführungsvorlesung vor. Aber du hast auch reine Mathe an der Uni gemacht, oder?
| |
Ja, ist typischer Stoff fuer eine Einfuehrungsvorlesung Wahrscheinlichkeitstheorie.
So etwa sah meine Vorlesung damals auch aus, plus ein paar Stunden zu Bayesscher Statistik. Einfuehrung W'theo hat ja keine grossen Beweise, da kommt man ziemlich schnell durchs Material, je nachdem wieviele Beispiele man macht. Zentraler Grenzwertsatz und Gesetz der grossen Zahlen wurde uns damals nur vorgestellt ohne Beweis, weil die Masstheorie an der Stelle einfuehren zu viel waere. Wird dann haeufig in einer weiterfuehrenden Vorlesung zusammen mit bedingten Erwartungen, (diskreten) Martingalen & Co gelehrt.
|
|
|
|
|
|
|
|
|
|
|
Vielleicht scheint jetzt auch meine Matheblindheit golden hervor, aber so, wie ich das verstanden habe, lösen die beiden Verfahren einfach unterschiedliche Fragen.
Beim Newtonverfahren willst du zu einem Punkt x, den du schon kennst/den du definierst (durch den Funktionsaufruf), den Funktionswert wissen. Bei gradient descent weißt du gar nicht, welchen x-Wert du suchst, sondern willst den erst rausfinden -- und zwar definiert als den Punkt, an dem der Funktionswert minimal ist. Aber dieses x muss dir ja beim Newton-Verfahren schon gegeben sein.
Bullshit. Danke, Pumpi.
// Irdo, ich kenne ein paar dieser Wörter. Das sind wirklich völlig andere Sphären als die, wo wir uns rumgedrückt haben.
|
|
[Dieser Beitrag wurde 3 mal editiert; zum letzten Mal von Aminopeptid am 27.09.2020 18:30]
|
|
|
|
|
|
|
|
|
| | Zitat von Irdorath
Einfuehrung W'theo hat ja keine grossen Beweise, da kommt man ziemlich schnell durchs Material, je nachdem wieviele Beispiele man macht. Zentraler Grenzwertsatz und Gesetz der grossen Zahlen wurde uns damals nur vorgestellt ohne Beweis, weil die Masstheorie an der Stelle einfuehren zu viel waere. Wird dann haeufig in einer weiterfuehrenden Vorlesung zusammen mit bedingten Erwartungen, (diskreten) Martingalen & Co gelehrt.
| |
An dieser Stelle liebe Grüße an meine Stochastik 1 Verlesung damals.
Viele Themen behandelt, viel in den Beweisen übersprungen, aber gab ein paar Leute die richtig Bock auf Mathe hatten in der Vorlesung und fleißig nachgefragt haben, warum denn das jetzt so ist. Mindestens jede zweite Frage wurde beantwortet mit "Ja, das folgt aus der Maßtheorie".
War wenig befriedigend als Antwort, wenn auch wahr.
|
|
|
|
|
|
|
|
|
|
| | Zitat von Aminopeptid
1200-Seiten-Buch über Mathematica
| |
Ebenfalls nervöses Zucken (andere Körperregion) bei WoS.
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von Aminopeptid
Vielleicht scheint jetzt auch meine Matheblindheit golden hervor, aber so, wie ich das verstanden habe, lösen die beiden Verfahren einfach unterschiedliche Fragen.
Beim Newtonverfahren willst du zu einem Punkt x, den du schon kennst/den du definierst (durch den Funktionsaufruf), den Funktionswert wissen. Bei gradient descent weißt du gar nicht, welchen x-Wert du suchst, sondern willst den erst rausfinden -- und zwar definiert als den Punkt, an dem der Funktionswert minimal ist. Aber dieses x muss dir ja beim Newton-Verfahren schon gegeben sein.
// Irdo, ich kenne ein paar dieser Wörter. Das sind wirklich völlig andere Sphären als die, wo wir uns rumgedrückt haben.
| |
Nee, mit Newton suchst du nach Nullstellen, also Lösungen (x) für die f(x) = 0.
Grats btw 
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von pumpi2k am 27.09.2020 17:57]
|
|
|
|
|
|
|
|
|
So richtig durchdrungen habe ich Mathe übrigens auch nie, auf dem Level wie leichtfüßig borg und WoS und so hier damit umgehen. Aber das ist auch nicht nötig, am Ende ist es ein Werkzeug dessen Anwendung man können muss, aber nicht zwangsläufig verstehen wieso es funktioniert.
Und zu akzeptieren, dass man bestimmte Aspekte nicht mehr intuitiv verstehen kann, sich etwa mehr als drei Dimensionen oder den Frequenzraum irgendwie versucht vorzustellen, hilft ungemein.
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von Aminopeptid
Mathe ist wunderschön, wenn man nicht in der Kindheit damit so dermaßen traumatisiert wurde, dass man es für den Rest des Lebens nur noch mit der Kneifzange anfässt.
| |
Gratulation zum Abschluss! Spannend mit der Mathe, kannst du beschreiben was dich so traumatisiert hat? Und hätte die Lehre in der Hochschule irgendwas anders machen können, um dich doch noch abzuholen?
---
Spannende Frage! Ich glaube der Post erwähnt einige wichtige Argumente wie die Schwierigkeit zweiter Ableitungen, die Kosten diese auszurechnen und Detailprobleme vom Newtonverfahren. Ich würde hinzufügen:
- Unwissenheit: Viele Leute die ML machen haben keinen starken Mathe-Background und wissen schlicht wenig über mathematische Optimierung. Vielleicht haben sie also nie darüber nachgedacht, dass es etwas anderes als Gradient Descent überhaupt gibt.
- Good Enough: Gradient Descent ist vergleichsweise simpel und funktioniert meistens gut genug, warum also etwas anderes machen?
- Numerische Stabilität: In meiner Erfahrung sind Newtonverfahren viel schneller beleidigt wenn es um numiersche Stabilität geht. Wenn Newtonverfahren konvergieren sind sie super, tun sie aber oft nicht. Die Zeit die man braucht um mit dem Optimierer zu kämpfen kann man auch anders verwenden oftmals.
- Stochastische Optimierung: Ich weiß nicht, ob man Newtonverfahren erweitern kann für stochastische Optimierung (Mini-Batching zum Beispiel) und ob sie dann überhaupt noch irgendwelche Garantien liefern. Bei Gradient Descent geht das total einfach.
- Triviale Parallelisierbarkeit: Aus der stochastischen Optimierung folgt quasi direkt, dass man Gradient Descent trivial parallelisieren kann und zwar ohne irgendwelche Kommunikation zwischen Threads, von ab und an mal Ergebnisse austauschen abgesehen. Man kann Gradientenschritte ruhig bisschen zufällig, in falscher Reihenfolge oder nur recht grob machen und das klappt immernoch. Weiß nicht ob das bei Newton auch so ist.
- Man will gar nicht das Minimum finden: Ich kann mir gut vorstellen dass Newtonverfahren speziell bei Neuronalen Netzen auch zu gut sind. Dass der Optimierer schlecht optimiert ist da durchaus oftmals ein Feature (siehe: Early Stopping). Würde man das Minimum der Fehlerfunktion finden hätte man ein Modell von dem man im Prinzip eh schon weiß, dass es schlecht ist. Das ist zwar niederschmetternd aus theoretischer Sicht aber halt Realität.
Ich glaube wie oft im maschinellen Lernen könnte jemand der sich so wirklich mit Optimierung auskennt viele Probleme besser lösen als sie zur Zeit gelöst werden. Kann mir sehr lebhaft vorstellen, dass sich "echte" Optimierer die Haare raufen wenn sie sehen was Leute im ML so machen. So ist das bei interdisziplinären Aufgaben.
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von B0rG* am 27.09.2020 18:18]
|
|
|
|
|
|
|
|
|
| | Zitat von B0rG*
Spannend mit der Mathe, kannst du beschreiben was dich so traumatisiert hat? Und hätte die Lehre in der Hochschule irgendwas anders machen können, um dich doch noch abzuholen?
| |
Da muss ich kurz ausholen. Ich war (bin?) damals in der Schule immer stark verhaltensauffällig gewesen. Komplett mit diagnostiziertem ADHD und so weiter. Bis ca. zur 6. Klasse habe ich trotz null Zuhörens nur Einsen geschrieben (die Psychomeds hab ich nach zwei Wochen Einnahme hinter meinem Bett versteckt, weil ich gemerkt habe, wie mich das Zeug zu einem Roboter gemacht hat; das war wirklich beängstigend), weil man bis dahin eigentlich fast alles noch per Allgemeinwissen/durch das Lesen, das ich immer geliebt habe, irgendwoher wissen konnte. Bis dahin haben einige Leute (darunter auch meine Mutter und ein paar Lehrer) den Fehler gemacht, daraus zu schlussfolgern, dass ich ein kleines Genie wäre und mich das unterschwellig wissen lassen. ("Ach, der Junge ist so schlau, der schafft das schon!")
Stimmte aber nicht. Und ab der 7. hat sich das angefangen, zu rächen. Es ging mit den Noten rapide abwärts. Ich kam null damit klar, dass ich plötzlich nicht mehr der Coole war, der nie lernen musste und trotzdem total gut war. Und ich hatte keine Ahnung, was Lernen eigentlich heißt (weiß ich bis heute nicht so richtig, außer, wenn ich mich mit einem Nachhilfelehrer hinsetze und der mich zwingt, es wieder und wieder zu versuchen). Und bis ich das begriffen hatte, war der Zug im Prinzip abgefahren, weil die Lücken in Mathe so groß waren, dass es schon an den simpelsten Grundlagen, die als Wissen vorausgesetzt wurden, mangelte. Die Lehrer, die dann kamen, ordneten mich eher in die Kategorie "verhaltensgestört und dumm" ein und ließen das mich und meine Mutter auch wissen. Seitdem war Mathe bei mir verbrannt. Vollständig. Keinerlei Interesse. Eher Aversion und später auch Angst und Wut. Der eine Punkt im Mathe-Abi hat gereicht. Für die Klausuren in der 11 und 12 habe ich immer genau so viel gelernt, dass es für den einen Punkt gereicht hat, weil die 60/40 zu den restlichen Tests gewertet wurden.
Dass ich nicht komplett blöd in Richtung logischem Denken bin, hat sich mir eigentlich eher durch Zufall gezeigt, weil ich nicht angenommen hatte, dass man verpflichtende Logikklausuren schreiben muss, wenn man Philosophie studiert (mein uninformiertes Ich nahm an, dass man nur ein bisschen labern muss und man coole Leute trifft). Weit gefehlt; v. a. an der TU Berlin. Aber die Logik-Seminare hat dort ein fachlich und menschlich extrem fähiger Dozent gemacht (mit dem bin ich bis heute auch privat befreundet), der mir diese Angst und Aversion über die Dauer von 3 Semestern langsam genommen hat und dafür gesorgt hat, dass ich es übelst toll fand, mich damit zu beschäftigen. Dann bin ich aus den ganzen Logikklausuren jeweils mit 1,0 rausgegangen (ist kein Vergleich zu Mathe; viel einfacher dort und öfter mal Meta!), war der Matrikelprimus (was dem Narzisst in mir gut gefallen hat) und das hat mich überhaupt erst dazu gebracht, mich mal wieder ein bisschen mit Mathe und Info zu beschäftigen und dann auch, überhaupt daran zu denken, das Info-Studium zu machen.
Was mir bis heute am meisten fehlt, ist die Fähigkeit sich selbst durchzubeißen. Dieses "Beißen" können ist jetzt durch das Info-Studium definitiv besser geworden, aber trotzdem immer noch unterentwickelt (v. a. im Verhältnis zu deutlich jüngeren Kommilitonen; ich bin ja jetzt schon 30). Wenn ich mir anschaue, wie hier WoS und Konsorten an Problemen wochenlang rumdoktorn weiß ich genau, was mir fehlt.
Um deine Frage ganz konkret zu beantworten: Ich denke, dass die meisten Mathedozenten bei uns Halbautisten (nicht abwertend gemeint) waren, die alles sein sollten, nur keine Lehrkräfte. Ich schaue mir mit großem Interesse, Freude und Ausdauer Hr. Loviscach, Hr. Weitz, 3Blue1Brown usw. an, aber ich komme trotzdem nicht auf die Idee, mich danach hinzusetzen und das mal selbst zu probieren. Weil ich immer noch zu viel Angst habe, mir einzugestehen, dass ich für Manches enorm viel Zeit brauche, oder Anderes gar nicht verstehen werde. Und das ist für mich der Grund, zu sagen: "Ja, die Dozenten -- gerade bei uns -- hätten Vieles besser machen können; aber selbst unter der Annahme, dass das der Fall gewesen wäre, hätte ich meinen eigenen Part -- das Durchbeißen, üben und selber machen -- wahrscheinlich nicht getan."
Was ich denke, was mir helfen würde, wäre, dass ich von irgendjemandem 3 Jahre Zeit geschenkt bekomme, mich zu Hause hinzusetzen und Mathe von Grundauf nochmal für mich erneut kennenzulernen und jemanden an der Hand hätte, der mich zwar nicht beaufsichtigt, den ich aber immer direkt, Mensch zu Mensch, Fragen fragen kann. Das wäre cool.
Und das hat auch gefühlt 2 Jahre gedauert:
| | Zitat von Oli
Und zu akzeptieren, dass man bestimmte Aspekte nicht mehr intuitiv verstehen kann, sich etwa mehr als drei Dimensionen oder den Frequenzraum irgendwie versucht vorzustellen, hilft ungemein.
| |
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von Aminopeptid am 27.09.2020 19:21]
|
|
|
|
|
|
|
|
|
Danke für die ganzen Details .
Also würdest du sagen ein guter Dozent würde dich zwar motivieren, aber es gäbe jetzt auch nichts spezielles (besondere Hausaufgaben, interessante Anwendungen, größerer Kontext, ...), was dir dein Leben einfacher gestalten würde?
Ich frage so doof weil ich doch schon öfter in der Situation war mit Professoren oder so über den Aufbau von so Bachelor-Vorlesungen zu sprechen und ich tue mich auch schwer mich in Leute wie dich hineinzuversetzen. Die sind - das kann man sich wohl gut vorstellen - in solchen Gesprächen immer eher nicht anwesend. Das ist nicht gut und ich finde jeden Einblick total wertvoll.
|
|
|
|
|
|
|
|
|
|
|
Hm, doch ein ganz konkreter Verbesserungsvorschlag fällt mir ein. Vorlesung heißt Theorie. Klar. Ich habe den meisten Shit aber immer erst verstanden, wenn ich (am Besten auf Note) dazu gezwungen wurde, das Theoriegebäude praktisch anzuwenden. Der Numerikprof hat z. B. darauf verzichtet, eine Klausur zu schreiben, sondern jedem eine ganz praktische Aufgabe gestellt. Ich hatte sowas wie: "Hier haben Sie eine Wertmatrix, die die analogen Werte eines CT-Scans darstellt. Nutzen Sie <Lineare Algebra> und <numerische Methode (CGLS war's, glaub ich)>, um daraus das CT-Bild zu rekonstruieren und schreiben Sie dazu noch 10 Seiten."
Ergebnis war dann bei mir ein Bild von Sir Isaac Newton und er hatte das Ganze vorher quasi rückwärts gemacht. Dafür, das hinzubekommen, habe ich ewig gebraucht, aber es hat übelst Spaß gemacht. Der Moment, als das plötzlich funktioniert hat, war übelst motivierend und danach hatte ich wenigstens diese eine Methode wirklich verstanden.
|
|
|
|
|
|
|
|
|
|
|
Hier so ähnlich, auch wenn ich eher nicht von einem Trauma reden würde, sondern Mathe einfach die Art von Fokus braucht, in die ich mich nicht hineinversetzen kann, wenn ich einfach gar nichts peile. Was mir vor allem immer viel zu kurz kommt, und auch heute noch am meisten Probleme macht, ist dass viel Notation nie wirklich richtig eingeführt wird. Hier ein Pfeil, da irgendein Zeichen, dann noch verschiedene Bedeutungen je nach Fachbereich und auch gerne mal Dozent... joa. Dann stehste nach 5 Minuten schon da wie der Esel am Berg und mit ADHS ist es dann um die Konzentration instantly geschehen. Am besten verstanden habe ich da noch unsere Analysis- und Statistikdozenten, bei denen wir einige Aufgaben in Python lösen mussten. Da konnte ich mir dann durch die Programmierskills den Mathescheiss herleiten. Aber die Ausdauer das für alles zu machen was ich verstehe habe ich einfach nicht, vor allem auch, weil ich es im Alltag schlicht nie gebraucht habe und nachwievor nicht brauche.
¤: Zwischenposter haben kleine Peptide!
|
|
[Dieser Beitrag wurde 2 mal editiert; zum letzten Mal von SwissBushIndian am 27.09.2020 19:40]
|
|
|
|
|
|
|
|
|
Eine grobe Frage in die Runde: Die Firma will seine Fühler etwas in Richtung App-Development ausstrecken, also Android sowie iPhone. Ich hab mir vor 1 - 2 Jahren mal die gängigen Frameworks angeguckt wie React, Ionic und Electron. Fazit: Alles scheiße. Mit dem JavaScript-Wasserkopf-Müll will ich heute so wenig wie möglich zu tun haben.
Wie sieht das denn heute aus? Einer der Projektdudes hier will Dart machen, aber da hab ich auch null Bock drauf, weil das auch sicher wieder nur ein Trend ist, der in einem Jahr wieder tot ist.
Ich würde eigentlich gerne Kotlin machen, weil ich sowieso wieder mal gerne Java rausballern möchte. Kann man das empfehlen?
|
|
|
|
|
|
|
|
|
|
|
Kotlin: endgeil ja bitte. Gibt auch Jetpack Compose, was sehr geil aussieht, aber ich habe das noch nicht selbst ausprobiert.
Ob das alles auf iPhone funktioniert: kein Plan
|
|
|
|
|
|
|
|
|
|
|
|
Wenn es beides können muss und nativ sein soll, haste ausser Xamarin und Flutter keine grossartige Auswahl. React Native scheint ja schonmal nix zu sein
|
|
|
|
|
|
|
|
|
|
|
|
Kotlin = sehr gut
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von Oli
So richtig durchdrungen habe ich Mathe übrigens auch nie, auf dem Level wie leichtfüßig borg und WoS und so hier damit umgehen. Aber das ist auch nicht nötig, am Ende ist es ein Werkzeug dessen Anwendung man können muss, aber nicht zwangsläufig verstehen wieso es funktioniert.
Und zu akzeptieren, dass man bestimmte Aspekte nicht mehr intuitiv verstehen kann, sich etwa mehr als drei Dimensionen oder den Frequenzraum irgendwie versucht vorzustellen, hilft ungemein.
| |
Das ist jedenfalls sehr richtig. Einer unserer Dozenten (Ex) sagte auch, es ist weniger ein Verstehen, als ein daran gewöhnen.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Da haste aber nur die Librarykomponenten, und kein Crossplattform UI.
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von SwissBushIndian am 27.09.2020 20:07]
|
|
|
|
|
|
|
|
|
| | Zitat von pumpi2k
| | Zitat von Aminopeptid
Vielleicht scheint jetzt auch meine Matheblindheit golden hervor, aber so, wie ich das verstanden habe, lösen die beiden Verfahren einfach unterschiedliche Fragen.
Beim Newtonverfahren willst du zu einem Punkt x, den du schon kennst/den du definierst (durch den Funktionsaufruf), den Funktionswert wissen. Bei gradient descent weißt du gar nicht, welchen x-Wert du suchst, sondern willst den erst rausfinden -- und zwar definiert als den Punkt, an dem der Funktionswert minimal ist. Aber dieses x muss dir ja beim Newton-Verfahren schon gegeben sein.
// Irdo, ich kenne ein paar dieser Wörter. Das sind wirklich völlig andere Sphären als die, wo wir uns rumgedrückt haben.
| |
Nee, mit Newton suchst du nach Nullstellen, also Lösungen (x) für die f(x) = 0.
Grats btw
| |
Der Vollständigkeit halber: f'(x) = 0 ist
notwendig, aber nicht hinreichend für Extemum. Daher meine Frage nach Nutzen in der Optimierung.
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von SwissBushIndian
Da haste aber nur die Librarykomponenten, und kein Crossplattform UI.
| |
Dies. UI Komponenten musst du dann spezifisch für die Target Plattform bauen. JVM für Android und cpp(?) für iOS
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von B0rG*
| | Zitat von Aminopeptid
Mathe ist wunderschön, wenn man nicht in der Kindheit damit so dermaßen traumatisiert wurde, dass man es für den Rest des Lebens nur noch mit der Kneifzange anfässt.
| |
Gratulation zum Abschluss! Spannend mit der Mathe, kannst du beschreiben was dich so traumatisiert hat? Und hätte die Lehre in der Hochschule irgendwas anders machen können, um dich doch noch abzuholen?
---
Spannende Frage! Ich glaube der Post erwähnt einige wichtige Argumente wie die Schwierigkeit zweiter Ableitungen, die Kosten diese auszurechnen und Detailprobleme vom Newtonverfahren. Ich würde hinzufügen:
- Unwissenheit: Viele Leute die ML machen haben keinen starken Mathe-Background und wissen schlicht wenig über mathematische Optimierung. Vielleicht haben sie also nie darüber nachgedacht, dass es etwas anderes als Gradient Descent überhaupt gibt.
- Good Enough: Gradient Descent ist vergleichsweise simpel und funktioniert meistens gut genug, warum also etwas anderes machen?
- Numerische Stabilität: In meiner Erfahrung sind Newtonverfahren viel schneller beleidigt wenn es um numiersche Stabilität geht. Wenn Newtonverfahren konvergieren sind sie super, tun sie aber oft nicht. Die Zeit die man braucht um mit dem Optimierer zu kämpfen kann man auch anders verwenden oftmals.
- Stochastische Optimierung: Ich weiß nicht, ob man Newtonverfahren erweitern kann für stochastische Optimierung (Mini-Batching zum Beispiel) und ob sie dann überhaupt noch irgendwelche Garantien liefern. Bei Gradient Descent geht das total einfach.
- Triviale Parallelisierbarkeit: Aus der stochastischen Optimierung folgt quasi direkt, dass man Gradient Descent trivial parallelisieren kann und zwar ohne irgendwelche Kommunikation zwischen Threads, von ab und an mal Ergebnisse austauschen abgesehen. Man kann Gradientenschritte ruhig bisschen zufällig, in falscher Reihenfolge oder nur recht grob machen und das klappt immernoch. Weiß nicht ob das bei Newton auch so ist.
- Man will gar nicht das Minimum finden: Ich kann mir gut vorstellen dass Newtonverfahren speziell bei Neuronalen Netzen auch zu gut sind. Dass der Optimierer schlecht optimiert ist da durchaus oftmals ein Feature (siehe: Early Stopping). Würde man das Minimum der Fehlerfunktion finden hätte man ein Modell von dem man im Prinzip eh schon weiß, dass es schlecht ist. Das ist zwar niederschmetternd aus theoretischer Sicht aber halt Realität.
Ich glaube wie oft im maschinellen Lernen könnte jemand der sich so wirklich mit Optimierung auskennt viele Probleme besser lösen als sie zur Zeit gelöst werden. Kann mir sehr lebhaft vorstellen, dass sich "echte" Optimierer die Haare raufen wenn sie sehen was Leute im ML so machen. So ist das bei interdisziplinären Aufgaben.
| |
Nice, danke für den ausführlichen Post. Werde das erstmal etwas verdauen.
|
|
|
|
|
|
|
|
|
|
|
| | Zitat von SwissBushIndian
Da haste aber nur die Librarykomponenten, und kein Crossplattform UI.
| |
| | Zitat von PutzFrau
| | Zitat von SwissBushIndian
Da haste aber nur die Librarykomponenten, und kein Crossplattform UI.
| |
Dies. UI Komponenten musst du dann spezifisch für die Target Plattform bauen. JVM für Android und cpp(?) für iOS
| |
Achso. So genau hab ich mir das nicht angesehen .
Sprich: Das Backend meiner App, von mir aus irgend eine QR-Scanner-Magic oder so, kann ich mittels Kotlin sowohl für Android als auch iPhone ausrollen. Mit Kotlin wsl. auch noch das Frontend der App auf Android - aber für iPhone müsste ich das UI separat mit was anderem bauen, kann dann aber dennoch auf meinen Kotlin QR-Scanner zugreifen?
|
|
[Dieser Beitrag wurde 1 mal editiert; zum letzten Mal von derSenner am 27.09.2020 20:15]
|
|
|
|
|
|
| Thema: pOT-lnformatik, Mathematik, Physik XXIII |
|
