Du bist nicht eingeloggt! Möglicherweise kannst du deswegen nicht alles sehen.
  (Noch kein mods.de-Account? / Passwort vergessen?)
Zur Übersichtsseite
Hallo anonymer User.
Bitte logge dich ein
oder registriere dich!
 Moderiert von: Che Guevara


 Thema: Gehirnsalat ( wir unter uns )
« erste « vorherige 1 ... 6562 6563 6564 6565 [6566] 6567 6568 6569 6570 6571 nächste » letzte »
erste ungelesene Seite | letzter Beitrag 
Daddi89

tf2_soldier.png
Wie lange hat das scrapen gedauert? Breites Grinsen
05.04.2020 9:35:23 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
Hm, so insgesamt vielleicht 24 Stunden parallel mit 3 workern. 10 worker hat das forum nicht verkraftet.
05.04.2020 9:36:48 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Daddi89

tf2_soldier.png
amuesiert gucken
Ah sehr interessant. Wie häufig wird geupdated? Und wie gehst du dabei vor um nur neue Sachen zu updaten? Sonst ein Featurewunsch wäre die wählbare Sortierung. Z. B. Nach Datum statt Relevanz. Coole Sache
05.04.2020 9:41:19 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
Naja Sortierung, die Leute sollen eigentlich lieber präziser suchen. Man kann die Zeit ja einschränken.

Alle 20 Minuten wird momentan upgedatet, nur die topic Seiten, wo es neue posts gibt. Edits können natürlich nicht geupdatet werden.
05.04.2020 9:48:17 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Daddi89

tf2_soldier.png
Sortierung ist auch eher interessant wenn ich mir alle Posts von User X ansehen will. Z. B "was war mein erster post im p0t?"
05.04.2020 9:54:27 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
Ja, okay, dafür ist eine Suche aber eher ungeeignet.
05.04.2020 9:59:06 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Noch_ein_Kamel

Guerilla
So eine "Kein Treffer gefunden" Anzeige wäre nett Breites Grinsen
05.04.2020 10:18:11 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Daddi89

tf2_soldier.png
 
Zitat von Oli

Ja, okay, dafür ist eine Suche aber eher ungeeignet.



Sehe ich anders, aber war auch nur ein Vorschlag, musst du ja nicht umsetzen Breites Grinsen
05.04.2020 10:38:58 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
jdo_O

Arctic
Das Datum wird nach jeder Suche auf den Default zurückgesetzt.
05.04.2020 11:32:30 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
 
Zitat von jdo_O

Das Datum wird nach jeder Suche auf den Default zurückgesetzt.


Done, danke.

Daddi: Sortierung mache ich vielleicht irgendwann mal, aber gerade habe ich keine Lust mehr.
05.04.2020 12:48:09 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Renga

renga
 
Zitat von Oli

Hallo Gehirnsalat. Crosspost aus dem PIMP:

 
Zitat von Oli

Ich hab was gebaut: http://bbdb.jomx.net/

Eine Volltextsuche fürs pOT.

- Scraper->PostgreSQL->elastic search
- Django, django-elastic-dsl, bootstrap, gunicorn
- Hetzner cloud INstanz mit 4GB RAM, 2vCores, 40GB Platte

Das ganze Forum sind ca. 25GB in der DB, elastic braucht erstaunlich nur ca. 5GB.

Im Textfeld ist folgende Query Syntax möglich:

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-simple-query-string-query.html

/e: Den Code will ich erstmal nicht veröffentlichen, sonst fängt jeder an zu scrapen und das FOrum ist bei mir schon ein bisschen hakelig geworden. Bei Interesse, PM.



Feedback erwünscht.



Je nachdem wie viel Zeit du da investieren willst:
- ich finde bei einer Suche mehrere Eingaben immer etas nervig. Besser fände ich ein Eingabefeld und die Suchergebnisse dann im Hintergrund per multi-field query + boosting zusammenschieben
- was nimmst du um die Texte zu analysieren? Die Unterstützung von Elastic für deutsche Texte ist eher mau (außer da hat sich im letzten Jahr was geändert), sprich man muss sich einen anständigen Stemmer implementieren, um bei einer Suche nach "Apfel" auch Texte mit "Äpfel" zu finden
- Fuzzy queries lassen sich eventl. noch brauchbar einsetzen, um Schreibfehler zu korrigieren (sowohl im Query als auch in den Forentexten)
05.04.2020 17:53:13 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
Danke für die Vorschläge. Elastic ist (noch) kein field of expertise von mir. Breites Grinsen

Das Projekt ist ein bisschen entstanden, weil ich dauernd mit site:mods.de Google und nie finde, was ich suche. Meistens weiß ich dabei aber, in welchem Board oder topic der post war, wer ihn geschrieben hat und den ungefähren Zeitraum. Das habe ich in der Suche umgesetzt.

Würde ich nur ein Feld anbieten, wieso sollte ich Boards durchsuchen? Die Leute geben doch nicht ein "hallo welt public offtopic Oli 2020"... Oder verstehe ich deinen ersten Punkt falsch?

Ich weiß gar nicht, was ich jetzt machen soll - vermutlich werde nur ich selbst es benutzen. Deshalb ist meine Motivation, mehr Arbeit rein zu stecken, mittelmäßig.

Dass elastic geiler shit ist habe ich aber schon gelernt.
05.04.2020 19:04:57 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
.
[Dieser Beitrag wurde 2 mal editiert; zum letzten Mal von Oli am 05.04.2020 20:07]
05.04.2020 19:06:09 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
SkunkyVillage

Gordon
Der Thread ist doch kaputt! Mir wird durchgehend angezeigt, dass es einen neuen Post gäbe!

Ich hoffe hiermit ist er wieder repariert. Btw: Prost!
05.04.2020 20:03:00 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Noch_ein_Kamel

Guerilla
100 Seiten noch
05.04.2020 20:40:54 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Renga

renga
verschmitzt lachen
1
05.04.2020 21:08:34 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
SkunkyVillage

Gordon
Hallo, lasst das.
06.04.2020 0:51:23 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
TriggerTG

TriggerTG
2
06.04.2020 8:23:11 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
-Marvin-

-Marvin-
3
06.04.2020 8:27:51 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
rABBI

Arctic
unglaeubig gucken
4
06.04.2020 10:27:58 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
GH@NDI

ghandi2
5
06.04.2020 11:30:24 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
TriggerTG

TriggerTG
 
Zitat von rABBI

4



:O
06.04.2020 11:40:59 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
rABBI

Arctic
Ja ich weiß, ich schreibe selten. Heißt nicht, dass ich nicht mitlese.
06.04.2020 11:41:59 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Danzelot

AUP Morgil 17.07.2008
Acht.
06.04.2020 11:45:56 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
-Marvin-

-Marvin-
 
Zitat von rABBI

Ja ich weiß, ich schreibe selten. Heißt nicht, dass ich nicht mitlese.



das gilt aber nicht!
06.04.2020 11:48:00 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Renga

renga
 
Zitat von Oli

Würde ich nur ein Feld anbieten, wieso sollte ich Boards durchsuchen? Die Leute geben doch nicht ein "hallo welt public offtopic Oli 2020"... Oder verstehe ich deinen ersten Punkt falsch?



Ok, für die Boardauswahl machts wohl Sinn.


 
Zitat von Oli

Ich weiß gar nicht, was ich jetzt machen soll - vermutlich werde nur ich selbst es benutzen. Deshalb ist meine Motivation, mehr Arbeit rein zu stecken, mittelmäßig.



Frag doch mal bei enos, ob man das nicht in die Forensuche integrieren kann. Entweder direkt oder zumindest als Link.
Die aktuelle Suche bringt einem ja nicht wirklich viel.
06.04.2020 11:56:16 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
 
Zitat von Renga

 
Zitat von Oli

Ich weiß gar nicht, was ich jetzt machen soll - vermutlich werde nur ich selbst es benutzen. Deshalb ist meine Motivation, mehr Arbeit rein zu stecken, mittelmäßig.



Frag doch mal bei enos, ob man das nicht in die Forensuche integrieren kann. Entweder direkt oder zumindest als Link.
Die aktuelle Suche bringt einem ja nicht wirklich viel.


Dann müsste ich das ja auch weiter hosten, kostet mich nen Fünfer im Monat. Aber vielleicht baue ich noch 1,2 Features ein und mache mal ein Topic im pOT auf, vielleicht finden die Leute ja ein paar lustige Suchen.

Zum Beispiel
06.04.2020 13:36:29 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Renga

renga
 
Zitat von Oli

 
Zitat von Renga

 
Zitat von Oli

Ich weiß gar nicht, was ich jetzt machen soll - vermutlich werde nur ich selbst es benutzen. Deshalb ist meine Motivation, mehr Arbeit rein zu stecken, mittelmäßig.



Frag doch mal bei enos, ob man das nicht in die Forensuche integrieren kann. Entweder direkt oder zumindest als Link.
Die aktuelle Suche bringt einem ja nicht wirklich viel.


Dann müsste ich das ja auch weiter hosten, kostet mich nen Fünfer im Monat. Aber vielleicht baue ich noch 1,2 Features ein und mache mal ein Topic im pOT auf, vielleicht finden die Leute ja ein paar lustige Suchen.

Zum Beispiel




Bei mods.de hosten? Breites Grinsen
Dann kannst auch direkt aus der DB die Daten ziehen und musst nicht über die Web-API scrapen.
06.04.2020 13:39:00 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Oli

AUP Oli 21.12.2018
Ja klar, das wäre nett. Kann ich enos mal vorschlagen.
06.04.2020 13:40:14 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
Renga

renga
Kann es sein, dass du nicht alle Daten eingelesen hast? Wenn ich nach allen Posts von mir suche, sind das <10k. Spamkaiser ist man aber afaik erst ab >10k?
06.04.2020 13:52:41 Zum letzten Beitrag
[ zitieren ] [ pm ] [ diesen post melden ]
 Thema: Gehirnsalat ( wir unter uns )
« erste « vorherige 1 ... 6562 6563 6564 6565 [6566] 6567 6568 6569 6570 6571 nächste » letzte »

mods.de - Forum » Webdesign & Coding » 

Hop to:  

Thread-Tags:
Mod-Aktionen:
23.08.2018 12:40:15 TriggerTG hat den Thread-Titel geändert (davor: "Wiederbelebungssalat")
09.03.2017 08:55:19 TriggerTG hat den Thread-Titel geändert (davor: "Gehirnsalat")
21.05.2014 16:08:26 Redh3ad hat den Thread-Titel geändert (davor: "Hochzeitssalat")
10.05.2014 09:43:28 Redh3ad hat den Thread-Titel geändert (davor: "Gehirnsalat")
19.10.2013 21:43:03 [DK]Peacemaker hat diesen Thread repariert.
04.10.2013 20:11:45 TriggerTG hat den Thread-Titel geändert (davor: "Damiferkel-Salat")
29.08.2013 19:59:27 [DK]Peacemaker hat den Thread-Titel geändert (davor: "HerpDerpSalat")
19.08.2013 10:04:19 TriggerTG hat den Thread-Titel geändert (davor: "SirSiggiSalat")
13.08.2013 18:43:13 TriggerTG hat den Thread-Titel geändert (davor: "Kamelwochensalat")
05.08.2013 09:47:37 TriggerTG hat den Thread-Titel geändert (davor: "Gehirnsalat")
24.06.2013 16:30:39 TriggerTG hat den Thread-Titel geändert (davor: "cmssalat")
20.06.2013 12:58:35 TriggerTG hat den Thread-Titel geändert (davor: "Krissalat")
13.06.2013 10:59:25 TriggerTG hat den Thread-Titel geändert (davor: "Gehirnsalat")
08.06.2013 11:28:06 TriggerTG hat den Thread-Titel geändert (davor: "rABBIntensalat")
03.06.2013 09:56:52 TriggerTG hat den Thread-Titel geändert (davor: "Gehirnsalat")

| tech | impressum