|
|
|
|
Wie lange hat das scrapen gedauert?
|
|
|
|
|
|
|
Hm, so insgesamt vielleicht 24 Stunden parallel mit 3 workern. 10 worker hat das forum nicht verkraftet.
|
|
|
|
|
|
|
Ah sehr interessant. Wie häufig wird geupdated? Und wie gehst du dabei vor um nur neue Sachen zu updaten? Sonst ein Featurewunsch wäre die wählbare Sortierung. Z. B. Nach Datum statt Relevanz. Coole Sache
|
|
|
|
|
|
|
Naja Sortierung, die Leute sollen eigentlich lieber präziser suchen. Man kann die Zeit ja einschränken.
Alle 20 Minuten wird momentan upgedatet, nur die topic Seiten, wo es neue posts gibt. Edits können natürlich nicht geupdatet werden.
|
|
|
|
|
|
|
Sortierung ist auch eher interessant wenn ich mir alle Posts von User X ansehen will. Z. B "was war mein erster post im p0t?"
|
|
|
|
|
|
|
Ja, okay, dafür ist eine Suche aber eher ungeeignet.
|
|
|
|
|
|
|
So eine "Kein Treffer gefunden" Anzeige wäre nett
|
|
|
|
|
|
|
| Zitat von Oli
Ja, okay, dafür ist eine Suche aber eher ungeeignet.
| |
Sehe ich anders, aber war auch nur ein Vorschlag, musst du ja nicht umsetzen
|
|
|
|
|
|
|
Das Datum wird nach jeder Suche auf den Default zurückgesetzt.
|
|
|
|
|
|
|
| Zitat von jdo_O
Das Datum wird nach jeder Suche auf den Default zurückgesetzt.
| |
Done, danke.
Daddi: Sortierung mache ich vielleicht irgendwann mal, aber gerade habe ich keine Lust mehr.
|
|
|
|
|
|
|
| Zitat von Oli
Hallo Gehirnsalat. Crosspost aus dem PIMP:
Feedback erwünscht.
| |
Je nachdem wie viel Zeit du da investieren willst:
- ich finde bei einer Suche mehrere Eingaben immer etas nervig. Besser fände ich ein Eingabefeld und die Suchergebnisse dann im Hintergrund per multi-field query + boosting zusammenschieben
- was nimmst du um die Texte zu analysieren? Die Unterstützung von Elastic für deutsche Texte ist eher mau (außer da hat sich im letzten Jahr was geändert), sprich man muss sich einen anständigen Stemmer implementieren, um bei einer Suche nach "Apfel" auch Texte mit "Äpfel" zu finden
- Fuzzy queries lassen sich eventl. noch brauchbar einsetzen, um Schreibfehler zu korrigieren (sowohl im Query als auch in den Forentexten)
|
|
|
|
|
|
|
Danke für die Vorschläge. Elastic ist (noch) kein field of expertise von mir.
Das Projekt ist ein bisschen entstanden, weil ich dauernd mit site:mods.de Google und nie finde, was ich suche. Meistens weiß ich dabei aber, in welchem Board oder topic der post war, wer ihn geschrieben hat und den ungefähren Zeitraum. Das habe ich in der Suche umgesetzt.
Würde ich nur ein Feld anbieten, wieso sollte ich Boards durchsuchen? Die Leute geben doch nicht ein "hallo welt public offtopic Oli 2020"... Oder verstehe ich deinen ersten Punkt falsch?
Ich weiß gar nicht, was ich jetzt machen soll - vermutlich werde nur ich selbst es benutzen. Deshalb ist meine Motivation, mehr Arbeit rein zu stecken, mittelmäßig.
Dass elastic geiler shit ist habe ich aber schon gelernt.
|
|
|
|
|
|
|
.
|
[Dieser Beitrag wurde 2 mal editiert; zum letzten Mal von Oli am 05.04.2020 20:07]
|
|
|
|
|
|
Der Thread ist doch kaputt! Mir wird durchgehend angezeigt, dass es einen neuen Post gäbe!
Ich hoffe hiermit ist er wieder repariert. Btw: Prost!
|
|
|
|
|
|
|
|
|
|
|
1
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Ja ich weiß, ich schreibe selten. Heißt nicht, dass ich nicht mitlese.
|
|
|
|
|
|
|
|
|
|
|
| Zitat von rABBI
Ja ich weiß, ich schreibe selten. Heißt nicht, dass ich nicht mitlese.
| |
das gilt aber nicht!
|
|
|
|
|
|
|
| Zitat von Oli
Würde ich nur ein Feld anbieten, wieso sollte ich Boards durchsuchen? Die Leute geben doch nicht ein "hallo welt public offtopic Oli 2020"... Oder verstehe ich deinen ersten Punkt falsch?
| |
Ok, für die Boardauswahl machts wohl Sinn.
| Zitat von Oli
Ich weiß gar nicht, was ich jetzt machen soll - vermutlich werde nur ich selbst es benutzen. Deshalb ist meine Motivation, mehr Arbeit rein zu stecken, mittelmäßig.
| |
Frag doch mal bei enos, ob man das nicht in die Forensuche integrieren kann. Entweder direkt oder zumindest als Link.
Die aktuelle Suche bringt einem ja nicht wirklich viel.
|
|
|
|
|
|
|
| Zitat von Renga
| Zitat von Oli
Ich weiß gar nicht, was ich jetzt machen soll - vermutlich werde nur ich selbst es benutzen. Deshalb ist meine Motivation, mehr Arbeit rein zu stecken, mittelmäßig.
| |
Frag doch mal bei enos, ob man das nicht in die Forensuche integrieren kann. Entweder direkt oder zumindest als Link.
Die aktuelle Suche bringt einem ja nicht wirklich viel.
| |
Dann müsste ich das ja auch weiter hosten, kostet mich nen Fünfer im Monat. Aber vielleicht baue ich noch 1,2 Features ein und mache mal ein Topic im pOT auf, vielleicht finden die Leute ja ein paar lustige Suchen.
Zum Beispiel
|
|
|
|
|
|
|
| Zitat von Oli
| Zitat von Renga
| Zitat von Oli
Ich weiß gar nicht, was ich jetzt machen soll - vermutlich werde nur ich selbst es benutzen. Deshalb ist meine Motivation, mehr Arbeit rein zu stecken, mittelmäßig.
| |
Frag doch mal bei enos, ob man das nicht in die Forensuche integrieren kann. Entweder direkt oder zumindest als Link.
Die aktuelle Suche bringt einem ja nicht wirklich viel.
| |
Dann müsste ich das ja auch weiter hosten, kostet mich nen Fünfer im Monat. Aber vielleicht baue ich noch 1,2 Features ein und mache mal ein Topic im pOT auf, vielleicht finden die Leute ja ein paar lustige Suchen.
Zum Beispiel
| |
Bei mods.de hosten?
Dann kannst auch direkt aus der DB die Daten ziehen und musst nicht über die Web-API scrapen.
|
|
|
|
|
|
|
Ja klar, das wäre nett. Kann ich enos mal vorschlagen.
|
|
|
|
|
|
|
Kann es sein, dass du nicht alle Daten eingelesen hast? Wenn ich nach allen Posts von mir suche, sind das <10k. Spamkaiser ist man aber afaik erst ab >10k?
|
|
|
|
|
|
Thema: Gehirnsalat ( wir unter uns ) |