Das Usenet Forum Foren-Übersicht
Das Usenet Forum
Das Usenet Forum Foren-Übersicht Forenübersicht
FAQ FAQ
Suchen Suchen
Mitgliederliste Mitgliederliste
Profil Profil
private Nachrichten private Nachrichten
Registrieren Registrieren
Login
Benutzername:
Passwort:
Einlogt bleiben 

 

Usenet Guide:

Binary Groups
Text-Newsgroups
Software
Provider
Newsgroups
Der eigener Newsreader oder Was würdest du ändern?

 
Neues Thema eröffnen   Neue Antwort erstellen    Das Usenet Forum Foren-Übersicht -> Newsreader
Vorheriges Thema anzeigen :: Nächstes Thema anzeigen  
Autor Nachricht
kabbalah
Schreib mal was!


Anmeldedatum: 23.01.2010
Beiträge: 2

BeitragVerfasst am: 23.01.2010, 05:04    Titel: Der eigener Newsreader oder Was würdest du ändern? Antworten mit Zitat

Hallo erstmal, ich hab dieses Forum heute erst gefunden, aber nach etwas überfliegen der Threads scheint es ein - für Internetforum heutzutage - erstaunlich gepflegter Diskussionsort zu sein.

Also zum Thema. Ich bin momentan dabei einen Newsreader in C# zu schreiben. Mein aktuelles Ziel ist dabei meinen eigenen Benutzungsstil möglichst einfach und effizient abzubilden. Im Moment benutze ich Newsleecher und bin auch relativ zufrieden damit, allerdings ist dieser nicht kostenlos und unter den kostenlosen Tools hab ich bisher noch nicht gefunden was ich suche.

Meine angestrebten Features sind folgende:

    Importieren von NZBs (implementiert)
    Download & dekodierung von Binärdaten (yEnc implementiert)
    Gruppierung anhand von PAR2 oder NZB
    Verifikation und Reparatur anhand von PAR2 Daten (Verifikation Implementiert)
    Entpacken von Archiven
    Einfache Benutzung durch viele Automatismen
    Möglicherweise Open Source


Hier ist ein aktueller Screenshot

Der Warteschlangenteil (oben) ist bisher nur ein Mockup.

Nun hätte ich gerne etwas Feedback, welche Features wären für euch ein Muss, wie gefällt die Benutzeroberfläche so auf den ersten Blick und was fällt euch noch so ein?

Ach und ich suche auch noch einen vernünftigen Namen. Momentan heisst das Projekt EnZedBee, aber irgendwie isses das dann auch nich.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Kavi
Boss hier


Anmeldedatum: 01.08.2006
Beiträge: 1002

BeitragVerfasst am: 24.01.2010, 19:22    Titel: Antworten mit Zitat

Hier gibt es bereits einen Thread, "Was soll ein Newsreader für Anfänger können?", der sich mit dieser Thematik befasst: http://forum.usenet-guide.de/viewtopic.php?t=21
Ich kann dir einfach mal meine Wunschliste versuchen darzustellen.
Am Newsleecher gibt es nur weniges, was ich entbehrlich oder überflüssig finden würde. Doch einiges was mir fehlt. Insbesondere fehlt mir bei diesem Programm nach wie vor die Stabilität, ganz besonders bei gleichzeitiger Benutzung der integrierten Suchmaschine, was den Newsleecher schon mal zum Absturz bringen kann. Weshalb ich die Suchmaschine auch ganz abgestellt habe.

Für einen Anfänger mag es sehr hilfreich sein, wenn der Newsreader sowohl automatisch überprüft, gegebenenfalls repariert und anschließend auch noch entpackt, für mich sind das entbehrliche Funktionen. Ich habe ohnehin, wenn ich aus dem Usenet lade, auf dem zweiten Monitor den Explorer offen, wo ist das Problem, eben einen Doppelklick auf ein PAR2 File zu machen, um erstens festzustellen, ob überhaupt Blöcke fehlen und diese im Zweifelsfall auch nach zu laden. Denn genau hier sehe ich das Grundproblem der automatischen Reparatur. Um automatisch reparieren zu können, müssten eigentlich grundsätzlich sämtliche PAR2 Dateien gleich mit angefordert werden, das macht im Durchschnitt 10 % des gesamten Downloads aus, die jedoch bei intakten Dateien völlig überflüssig sind. Ebenso wie es völlig überflüssig ist, wenn beispielsweise nur zwei Blöcke fehlen, sämtliche PAR2 Dateien nach zu laden, mehr als für die Herstellung der beiden Blöcke benötigt werden, muss man auch nicht nachladen. Nicht jeder hat einen Account bei Astraweb mit einer unlimitierten Flatrate. Volumentarife sind vielfach verbreitet, da spielen 10 Prozent eines Downloads, die man sich eigentlich hätte sparen können, schon eine Rolle.

Wenn automatische Reparatur, dann sollte das Ganze folgendermaßen ablaufen:
Ein integrierter QuickPar Algorithmus überprüft am besten bereits während des Downloads, ob bei den bereits heruntergeladenen Dateien Blöcke fehlen. Entsprechend werden die zunächst pausierten PAR2 Dateien im erforderlichen Umfang auf aktiv gesetzt und ebenfalls heruntergeladen. Das sind so gut wie nie die vollen 10 %, die in der Regel als Reparaturdateien einem Posting mitgegeben werden, meistens reichen bereits ein bis 2 %, um die Reparatur zu ermöglichen. Ob so was überhaupt automatisiert machbar ist, bin ich über fragt. Speziell bei größeren Videos machen alleine die Reparaturdateien mehrere 100 MB aus. Doch wenn ich lediglich insgesamt 10 MB brauche, um ein einzelnes nicht komplett übertragenes Archiv reparieren zu können, warum soll ich mir den Rest holen?

Umgekehrt, wie ich es einige Male auch erlebt habe, ältere Postings, die auf dem News-Server bereits nicht mehr vollständig sind, da reichen dann, selbst mit den ebenfalls beschädigten Reparaturdateien, sämtliche Dateien nicht aus für eine Reparatur. Einen solchen Download kann man anschließend abschreiben und löschen. Wenn es eine automatisierte Möglichkeit gäbe, anhand der tatsächlich noch verfügbaren Dateien vorab bereits feststellen zu können, ob ein Download überhaupt noch sinnvoll ist oder irreparabel kaputt, dann wäre das natürlich eine Supersache.

Was ebenfalls Sinn machen würde, wäre eine Vorschau von Videos oder überhaupt den Inhalten von RAR Archiven. Es gibt dazu ein Tool, http://forum.usenet-guide.de/viewtopic.php?t=932 das jedoch leider versagt, wenn mit einer anderen Software die RAR Archive erstellt wurden und die Nummerierung nicht mit 01 beginnt.

Nun zu den Selbstverständlichkeiten, die ich von einem Newsreader erwarte:

Eine vernünftige Verwaltung von Newsgroups und Headern (ohne die Probleme, die der Newsleecher bei sehr großen Newsgroups hat, anscheinend hängt er sich an seiner eigenen Datenbank dann immer wieder etwas auf.

Vollautomatische Eingruppierung eines Downloads in einem Unterordner für die betreffende Newsgroup. Ebenso wie im Newsleecher die Möglichkeit, mehrere Newsgroups zu einer virtuellen Gruppe zusammenzufassen. Selbstverständlich mit der Möglichkeit, für jede virtuelle Newsgroup einen individuellen Downloadordner anzugeben. Wenn mir ein Newsreader alles in "eigene Dateien" zusammen schmeißen würde, dann wäre er für mich in diesem Moment bereits erledigt.

NZB Import ist so selbstverständlich, dass man darüber eigentlich kein Wort verlieren muss.

Ebenso als Minimum YEnk. Weitere im Usenet gebräuchliche Kodierungsverfahren sollten ebenfalls implementiert werden. Ich hasse es, wenn der NewsLeecher, nur weil nach der Dateiänderung nochmal irgendwelcher Text in der Betreffzeile folgt, die betreffende Datei noch nicht einmal decodiert, geschweige denn im Download Ordner ablegt. In diesen Fällen muss ich immer wieder zum Download der Rohdaten greifen, um anschließend die Dekodierung mit UUDWin32 durchzuführen. Andere Newsreader beherrschen sehr viel mehr Kodierungsverfahren.

Was ich am NewsLeecher sehr praktisch finde, ist die generelle Möglichkeit, statt eine Datei gleich in den endgültigen Downloadordner zu laden, sie stattdessen zu öffnen, also in ein temporäres Verzeichnis des Newsreaders zu laden, die geöffnet wird, sobald Download und Dekodierung abgeschlossen sind. Dabei sollte ein Schutzmechanismus eingebaut werden, der keinesfalls eine ausführbare Datei (.exe, .scr und ähnliche) ohne Sicherheitsnachfrage öffnet. Alle übrigen können mit dem zugehörigen Programm geöffnet werden. Ich sehe das als Vorteil, denn ich brauche nicht ständig im Download Ordner aufzuräumen, nur weil ich mir aus einer Gruppe von Bildern ein oder zwei heruntergezogen habe oder den Screenshot eines Videos. Sehr praktisch ist in diesem Zusammenhang auch die Möglichkeit des NewsLeecher, Downloads in einem eigenen Ordner zusammenzufassen. Dann hat man nämlich gleich Ordnung und braucht nicht hinterher Stunden damit zu verbringen, im Download Ordner Ordnung zu schaffen.

Integrierte freie Suchmaschinen wären mit Sicherheit auch von Vorteil. Denn dann braucht man sich keine NZB erstellen zu lassen, sondern kann direkt aus der Oberfläche des Newsreaders den Download anfordern. Doch möglicherweise gibt es dabei lizenzrechtliche Probleme, die natürlich geklärt werden müssten. Die freien Suchmaschinen leben schließlich von der Werbung auf ihrer Webseite.

Als Ideal würde ich einen Newsreader empfinden, der sowohl mit Textdateien als auch Binärdateien gleichermaßen umgehen kann. Die guten Newsreader für Text Newsgroups sind meistens nicht mehr als ein Notbehelf beim Download von Binärdateien, umgekehrt ist der Umgang mit Textdateien bei einem binär Newsreader eine mittlere Katastrophe. Soweit Textdateien überhaupt nach Änderung der Optionen heruntergeladen werden, werden sie dennoch entweder in ein temporäres Verzeichnis des Newsreaders geladen oder soweit gleich richtig abgelegt, dann dennoch als einzelne Textdateien, so macht das verfolgen einer Diskussion im Usenet keinen großen Spaß. Ideal wäre es also, wenn eine Textdatei als solche erkannt würde und in einer eigenen Datenbank des Newsreaders verwaltet würde, genauso wie in einem guten E-Mail-Programm oder einem guten Newsreader für die Text Newsgroups. Schließlich ist das Usenet nicht nur ein Download Paradies, sondern selbst in den Binary Newsgroups finden auch Diskussionen statt.

Ich habe nicht generell etwas gegen Automatikfunktionen, vorausgesetzt, sie lassen sich einfach in den Optionen abschalten. Denn dann könnte ein Newsreader mit den wachsenden Kenntnissen seines Benutzers mit wachsen. Es gibt nun mal ziemlich viel im Usenet, was über Automatikfunktionen kaum oder nur schlecht beherrschbar ist. Als Beispiel nehme ich einmal ein Rararchiv, das anschließend mit HjSplit oder einem ähnlichen Programm in ein Multipart zerlegt wurde. Anfangs konnten auch die Clients von Usenext und firstload damit nicht zurecht kommen. Dasselbe gilt für ein Video, das mit HjSplit zerlegt wurde.

Dann gibt es auch noch die Spezialisten in der Vorbereitung eines Uploads, die gleich mehrfach verpacken. Berühmt berüchtigt ist in diesem Zusammenhang eine bestimmte Release-Group, die sich auf Grafikprogramme, insbesondere Photoshop Plugins, spezialisiert hat. Dort wird gleich drei bis viermal hintereinander verpackt. Was macht ein Anfänger, wenn ihm dein News Reader eine Serie von ZIP Archiven in den Download Ordner legt. Wo er doch gewohnt ist, alles komplett fertig ausgepackt zu bekommen? Er schreibt einen verzweifelten Hilferuf in irgend ein Forum.

Das Verschieben und pausieren von Downloadaufträgen im Queue ist für mich ebenso eine Selbstverständlichkeit. Besonders bequem finde ich es beim NewsLeecher, dass ich mit Rechtsklick eine Datei oder Dateigruppe als erstes laden lassen kann, ohne überhaupt in den Queue wechseln zu müssen. Ebenso wie eine Datei, die ich im im NewsLeecher öffne, im Download Queue automatisch ganz nach oben geschoben wird.

Die Usenet Provider, die nicht selbst einen Client anbieten, wie es bei Usenext, firstload und etlichen anderen geschieht, wären natürlich froh, wenn es einen günstigen oder sogar kostenlosen News Reader gäbe, der über ähnliche Funktionen wie diese Clients verfügt. Wobei man sich allerdings bewusst sein muss, dass viele Funktionen der Clients über Zusatzserver laufen, die zwar aus dem Usenet mit Ausnahme des Chat, der Kommentarfunktion und der Bewertungs-Funktion gespeist werden, jedoch in Form von Webservern den Client beliefern. Schon alleine aus Haftungsgründen würde kein anderer Usenet Provider, insbesondere nicht die kleineren, einen solchen Client riskieren. Dennoch, auch ohne die nur durch zusätzliche Server ermöglichten Komfortgewinne erzielten Erleichterungen für einen Newbie würden sich den einen oder anderen User überlegen lassen, ob es nicht auch Alternativen zu Usenext, firstload oder anderen gibt.

Doch andererseits bringt inzwischen sogar der kostenlose Grabit eine ganze Reihe von Komfortfunktionen mit, wie beispielsweise Prüf- und Reparaturfunktion ebenso wie eine integrierte Unrar.exe. Deshalb meine Frage an dich, möchtest du lediglich einen deutschsprachigen Konkurrenten zum ziemlich ausgereiften Grabit machen oder den gewissermaßen Super News Reader, der mit Ausnahme der nur durch zusätzliche Server möglichen Komfortgewinne alles beherrscht, was die besten Newsreader für das Binär Usenet und das Text Usenet beherrschen und darüber hinaus auch noch stabil funktioniert und für den Anfänger eine ganze Reihe Automatikfunktionen mitbringt, die sich leicht auch abschalten lassen.

Dazu auch noch ein Wort zur Header Verwaltung innerhalb einer Newsgroup. Der NewsFileGrabber fast die Header mit einem gemeinsamen Betreff zu einer Dateigruppe zusammen, was eine Newsgroup natürlich wesentlich übersichtlicher macht. Die Dateigruppe lässt sich aufklappen. Was ich mir stattdessen wünschen würde, wäre das folgende:

Sämtliche zusammengehörenden Rararchive werden inklusive der PAR2 Dateien zu einer Dateigruppe zusammengefasst, doch beigefügte nfo, txt, JPEG oder auch ein Video Sample werden extra angezeigt. Das würde es wesentlich erleichtern, in großen Newsgroups zu navigieren. Ganz besonders dann, wenn man bei einem Usenet Provider mit einer langen Retention wie beispielsweise Astraweb zum ersten Mal die Header einer Newsgroup lädt.

In diesem Zusammenhang wünsche ich mir auch zur Navigation innerhalb einer Newsgroup noch einige Features, die der NewsLeecher nicht hat.

Ich kann zumindest bei den älteren Versionen des NewsLeecher sowohl einen Suchbegriff für das Subject oder den Poster eingeben als auch umgekehrt das als Ausschlussbegriff, Letztere Postings werden also nicht angezeigt. In der aktuellen Version des NewsLeecher, 3.9 final ist zumindest das ausschließen leider weggefallen.

Doch was ich mir zusätzlich wünschen würde, das wäre selbst in der Suche innerhalb einer großen Newsgroup das Arbeiten mit Boolchen Operatoren. Zum Beispiel, ich setze ein Wort in Anführungszeichen und wünsche dann auch nur genau das angezeigt zu bekommen, was innerhalb der Anführungszeichen steht und nicht etwa alles, worin die Zeichenkette enthalten ist. Nehme ich dazu als Beispiel eine Newsgroup, in der es jede Menge Videos japanischer Herkunft gibt, die meisten mit dem Zusatz im Betreff "censored" und einige wenige stattdessen mit "uncensored". Jetzt möchte ich beispielsweise sämtliche "censored" erfassen und aus dem Cache löschen. Doch genau das funktioniert im NewsLeecher nicht, dann gebe ich censored ein, dann werden mir auch sämtliche Postings mit uncensored angezeigt. Also muss ich doch manuell sortieren.

Ich glaube, News Reader mit Automatikfunktionen gibt es inzwischen im Überfluss, wenn auch nicht gerade viele in deutscher Sprache, wenn man von den spezialisierten und nur mit diesen Usenet Providern benutzbaren Clients einiger größerer Usenet Provider absieht. Doch Newsreader mit einer vernünftigen Newsgroupverwaltung, die auch nicht instabil wird, wenn darin mehrere Millionen Header verwaltet werden müssen, News Reader mit vernünftigen Suchfunktionen innerhalb einer Newsgroup und dann möglichst auch noch eine gelungene Kombination aus einem News Reader für das Text Usenet und das Bianary Usenet gibt es bisher praktisch gar nicht. Doch genau dort sehe ich einen Bedarf und eine Marktlücke, keineswegs nur im deutschen Sprachraum.

Wenn ein Newsreader dann auch noch einen Anfänger- und einen Expertenmodus hat, im Expertenmodus mit sämtlichen Optionen, die wie die individuelle Anpassung Sinn machen, dann wäre es das Tool für das Usenet schlechthin.

Das sind mal meine Wünsche an einen Newsreader, mal sehen, was andere Leser dazu meinen. Übrigens, sollten mir weitere Wünsche einfallen, werde ich sie hier selbstverständlich posten.
_________________
Usenet Infos topaktuell!
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
kabbalah
Schreib mal was!


Anmeldedatum: 23.01.2010
Beiträge: 2

BeitragVerfasst am: 24.01.2010, 20:32    Titel: Antworten mit Zitat

Schonmal danke für die ausführliche Antwort.
Mein Use Case umfasst bisher nur das herunterladen (und darauffolgende nachbearbeiten) von Dateien. Da ich selber so gut wie nie mit nem Newsreader durchsuche, sondern binsearch, nzbmatrix und tvnzb benutze, wird es auch vorerst dabei bleiben.

Die Automatisierung ist meiner Meinung nach der wichtigste Punkt für eine einfache und komfortable Benutzung. Aus meiner Sicht möchte ich eigentlich nur eine NZB Datei öffnen, gelegentlich den Status nachgucken (Geschwindigkeit, Dauer...) und warten bis es entpackt und vielleicht sogar in's Archiv eingeordnet ist.
Das meiste was ich runterlade sind TV Serien und im Idealfall möchte ich darüber benachrichtigt werden das im TVNZB RSS Feed ne neue Folge "Verlorene Insel" vorliegt, um dann nach nem click auf runterladen nur noch darauf zu warten das die Folge in X:/TV/Verlorene Insel/ auf meinen Fernseher wartet.

Dazu gehört dann natürlich auch das nur die PAR Dateien geladen werden, die benötigt werden (das ist das kleinste Problem).

Meine Planung sieht momentan vor die Downloads nach NZB Datei zu gruppieren. Sobald dann die PAR2 Hauptdateien gelesen wurden kann man die Gruppierung unter Umständen noch einmal aufspalten.

Die Zusatzfunktionen die du erwähnst (Kommentar, Chat usw) seh ich persönlich als unpassend innerhalb des Programms an. Die passen doch eher ganz gut zur NZB Quelle (NZBMatrix beispielsweise).

Ich will auf jeden Fall legal & kostenlos bleiben - möglicherweise open source - und damit kann die NZB Suche eigentlich nur außerhalb des Programms erfolgen.

GrabIt ist schon ganz gut, aber da fehlt schon noch ein wenig Politur. Zudem ist das ganze für mich auch eine Programmierübung. Es kann schon sein das am Ende nicht mehr rauskommt als bisher schon verfügbar ist, aber ich hoffe das es sich ein wenig eleganter & angenehmer anfühlt.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Kavi
Boss hier


Anmeldedatum: 01.08.2006
Beiträge: 1002

BeitragVerfasst am: 25.01.2010, 13:28    Titel: Antworten mit Zitat

Anscheinend gibt es genau für das, was du vorhast, einen echten Bedarf.

Gerade telefonierte ich mit dem Chef von einem österreichischem Usenet Provider, der mir von den Anfangsschwierigkeiten eines seiner Bekannten erzählte. Der bekannte wollte auch nur ein Video, das er in eine Usenet Suchmaschine entdeckt hatte, herunter laden.

Doch stattdessen waren in seinem Download Ordner anschließend jede Menge RAR-Archive und dazu auch noch diese komischen PAR2 Dateien, mit denen er zunächst überhaupt nichts anfangen konnte und dabei wollte er doch nur das Video.

Genau aus diesem Grund hatte ich den Usenet Guide verfasst und im Lauf der Jahre aktualisiert und ausgebaut, um all jenen helfen zu können, die nicht von einem Usenext oder Firstload Client abhängig werden wollen.

Also mach deine Programmier Übung und vielleicht kommt auch was richtig gutes dabei heraus. Ich würde mich freuen, wenn Du hier gelegentlich über deine Fortschritte berichten würdest.
_________________
Usenet Infos topaktuell!
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Holmgeir
Hat schon ein bisschen was geschrieben


Anmeldedatum: 31.12.2009
Beiträge: 12

BeitragVerfasst am: 25.01.2010, 17:23    Titel: Antworten mit Zitat

Also, dass es Bedarf gibt, kann ich nur bestätigen.

Ich wünsche mir zuerst Plattformunabhängigkeit; d.h. es sollte auch mit einem Linux-BS funktionieren.

Dank Kavi habe ich mich inzwischen halbwegs zurecht gefunden, der Newsreader "pan" für Linux funktioniert eigentlich auch ganz gut. Was mir jedoch fehlt, ist eine Übersicht der aktiven Newsgroups. Dabei wäre es sehr auch sehr interessant, welche kürzlich aktiv geworden sind. Oder anders herum: die inaktiven möchte ich ausgefiltert haben.

Ein SPAM-Filter wäre auch hilfreich. Scheinbar werden solche Nachrichten mit dem selben Betreff in alle mögliche Newsgroups geschwemmt. Das wäre vielleicht ein Filteransatz.

Die SSL-Verschlüsselung sollte natürlich nicht fehlen Wink
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Kavi
Boss hier


Anmeldedatum: 01.08.2006
Beiträge: 1002

BeitragVerfasst am: 25.01.2010, 20:34    Titel: Antworten mit Zitat

Alleine in alt.binaries gibt es über 5000 Newsgroups. Davon sind gut 2000 inaktiv. Doch genaues kann ich dir dazu auch nicht sagen, dazu müsste der NewsLeecher oder ein anderer Newsreader definitiv angeben können, wie viele Newsgroups insgesamt und wie viele davon aktiv, also mit mindestens einem Posting innerhalb einer bestimmten Retention. Und das nicht nur insgesamt, sondern beispielsweise nur für die alt.binaries Subhierarchie des Usenet.

Aktiv von Inaktiv trennen tut beispielsweise auf eine ganz simple Methode der Grabit. Bei einem Update sämtlicher auf einem Server verfügbarer Newsgroups werden in der Grundeinstellung nur Newsgroups angezeigt, in denen wenigstens ein Posting ist. Alle übrigen werden nur dann angezeigt, wenn man die Mindestzahl der Postings auf null setzt.

Im übrigen ist es nicht ganz so einfach, aktiv und inaktiv dauerhaft zu trennen. Manche Newsgroup wird, nach dem sie zunächst einmal jahrelang vergessen war, von irgendjemand für ein größeres Posting benutzt, vielleicht sogar nur für einen engeren Bekanntenkreis, der zuvor per Mail oder über ein Forum über die vorübergehende Aktivität in dieser Newsgroup informiert wurde, um anschließend erneut in Vergessenheit zu geraten. Ich hatte mich schon manchmal gewundert, wenn in einer jahrelang inaktiven Newsgroup urplötzlich mehrere 1000 Message IDs auftauchten und wenn ich mir dann die Header dieser Newsgroup geladen hatte, war es beispielsweise nur ein einziges größeres Video. Danach passierte dann oft genug nichts mehr in dieser Newsgroup, nur manche davon wurden dann dauerhaft aktiv. Darüber hinaus kann jeder Teilnehmer am Usenet über seinen Newsreader neue Newsgroups in der gesamten alt Hierarchie des Usenet neu gründen. Ob diese dann auch von anderen News-Servern im Peering übernommen werden, ist eine ganz andere Frage.

Nun zum Spam Filter, den man im Usenet als Killfile Filter bezeichnet.

Der NewsLeecher und viele andere Newsreader, nicht jedoch Grabit, bieten eine ganze Reihe von Voreinstellungen für den Killfilefilter. Wobei in der neueren Version des NewsLeechers der Killfilefilter nicht mehr so bequem zu bedienen ist wie früher.

Gefiltert werden kann grundsätzlich zunächst einmal nach Crosspostings, also Postings, die in soundsoviele Newsgroups gleichzeitig eingestellt worden. Das ist grundsätzlich ein Spam Kriterium, jedoch nicht ohne weiteres zu handhaben, wann beginnt garantiert der Spam und wann ist es noch kein Spam? Bereits ab einem Crossposting in drei Newsgroups gleichzeitig, oder erst in sechs Newsgroups gleichzeitig oder erst in 12?

Speziell im erotischen Bereich lässt es sich kaum auseinanderhalten. Die raffinierteren unter den Spammern machen ohnehin keine echten Crosspostings mehr, sondern ändern jeweils den Betreff geringfügig ab als auch die absendende E-Mail-Adresse und posten in jede Newsgroup extra. Die ganz raffinierten verwenden den Namen eines innerhalb einer Newsgroup oder eines Interessengebietes beliebten Posters beziehungsweise einer Release Group und überschwemmen die Newsgroups in seinem Namen mit Spam. Dazu verwenden sie oft genug auch noch ähnlich klingende Betreffangaben.

Man sollte es grundsätzlich dem User überlassen, was und wen man auf die Killfile Liste setzt. Um Crosspostings zuverlässig zu erkennen, müssten ohnehin aus mehreren Newsgroups gleichzeitig die Header geladen werden, oder noch besser, der Newsreader sieht nicht einfach nur in die Betreffzeile, sondern überprüft den Header, aus dem eindeutig hervorgeht, ob es sich um ein Crossposting handelt und in wie viele Newsgroups gleichzeitig das Posting erfolgte. Das steht im Header unter Newsgroups:

Einen Beispiel Header gibt es hier: http://www.usenet-guide.de/Usenet-Binaries/Newsgroups.htm

Doch genau an diesem Beispiel Header siehst du auch, dass es nicht so ganz einfach zu bestimmen ist, ab wann typische Spam Kriterien erfüllt sind. Denn dieses Posting aus dem Jahr 2006, dessen Header beispielhaft dort steht, wurde in drei Newsgroups gleichzeitig hochgeladen, war jedoch ganz gewiss kein Spam.

Prinzipiell könnte ein News-Server bereits beim Upload nach typischen Spam Kriterien untersuchen, manche tun das auch und filtern Crosspostings in mehr als X Newsgroups automatisch aus. Doch auch in diesem Fall ist es die Entscheidung des Administrators, ab wann typische Spam Kriterien als erfüllt angesehen werden.

Wenn der Newsreader jedoch nicht zufälligerweise aus sämtlichen Newsgroups, in die ein Crossposting erfolgte, die Header gleichzeitig lädt, bekommt es der Newsreader, es sei denn, er würde tatsächlich jeden einzelnen Header auf Crossposting Angaben in "Newsgroups" überprüfen, gar nicht mit. Zumal es selbst auf den verschiedenen News-Servern unterschiedlich gehandhabt wird, beim einen News-Server werden Crosspostings auch nur ein einziges Mal gespeichert und nur in sämtlichen Newsgroups indiziert, die als Ziel angegeben wurden, der andere News-Server speichert Crosspostings in sämtlichen als Ziel angegebenen Newsgroups.

Andererseits könnte ich mir vorstellen, insbesondere, wenn Header auch noch komprimiert wie bei Giganews reinkommen, dass ein Newsreader vollkommen überfordert wäre, müsste er auch noch den gesamten Header auf Crossposting Angaben überprüfen.

In diesem Bereich finde ich ohnehin den Ansatz vom NewsFile Grabber deutlich besser und ressourcenschonender, dort werden die Header nicht bereits beim Download gemäß der Killfileliste in gut und schlecht unterschieden, sondern erst nach Abschluss des Downloads. Damit ist auch ein komprimierter Header Download überhaupt möglich ohne dass der Newsreader während des Header Download einfriert und die CPU bis an die Grenze belastet. Die weitere Annehmlichkeit dieser Handhabung besteht darin, dass die gesamte Datenbank des Newsreaders nach Killfile Kriterien durchsucht wird, ohne dass die Header selbst gelöscht werden, stattdessen werden sie einfach im Newsreader nicht mehr angezeigt. Das ist nämlich ein weiterer Nachteil des NewsLeecher, dass sich eine Änderung im Killfile Filter erst beim nächsten Header Download bemerkbar macht. Während die Lösung im NFG nicht nur wesentlich flexibler und Ressourcen schonender ist, sondern vor allem sofort wirksam wird.

Eine wesentliche Bedingung für einen funktionierenden Killfilefilter, der insbesondere auch im Nachhinein noch filtert, wäre natürlich, dass nicht nur die Betreffzeile und das Posting Datum, wie es Grabit macht, vom News-Server angefordert und in einer Datenbank gespeichert wird, sondern zusätzlich die E-Mail-Adresse des Posters und mindestens noch Newsgroups: Die übrigen Angaben sind für einen Header Download absolut entbehrlich, wenn man die aus irgendwelchen Gründen braucht, kann man sich den Header schließlich nachträglich herunterladen. Höchstes Rechteinhaber oder Ermittlungsbehörden brauchen Angaben über den Ursprungs News-Server, dessen Abuse E-Mail-Adresse und was es sonst noch alles an Angaben im Header gibt. Der Newsreader wiederum braucht vermutlich noch die Angabe der Zeilen. Viele andere Angaben im Header dienen ohnehin nur der Verwaltung des Newsservers. Beziehungsweise im Fall des X-Trace der Möglichkeit, den Kunden nachträglich ermitteln zu können, der etwas über diesen News-Server hoch geladen hat. Wovon die Rechteinhaber nach meiner Kenntnis noch nie Gebrauch gemacht haben, doch hin und wieder die Ermittlungsbehörden im Fall von Kinderpornos.

Betriebssystemübergreifend wäre mit Sicherheit wünschenswert, zumal es gerade für Unix basierte Betriebssysteme, also beispielsweise Linux, keine vernünftigen Binary Newsreader gibt, in diesem Bereich gibt es lediglich gute Newsreader für Text Newsgroups. Dabei leitet sich sogar der Name des Usenet aus UNIX ab und nicht wie fälschlich immer wieder angenommen, von User. Doch in den Unix Kreisen ist man wohl immer noch der Meinung, dass Binaries im Usenet eine Fehlentwicklung sind, die man ohnehin herausfiltert, wie es beispielsweise die Freie Universität Berlin auf ihrem News-Server macht.

SSL Verschlüsselung ist inzwischen wohl eine Selbstverständlichkeit. Zumal man damit zwei Fliegen mit einer Klappe schlägt, man kann nämlich auch die Drosselung oder gar völlige Sperre des Ports 119 elegant umgehen, die es inzwischen bei einigen Internet Service Provider geben soll. Da jedoch die Ports für SSL beispielsweise auch beim online Banking und vielen anderen Webanwendungen benötigt werden, kann kein Internetserviceprovider diese Ports drosseln.
_________________
Usenet Infos topaktuell!
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Holmgeir
Hat schon ein bisschen was geschrieben


Anmeldedatum: 31.12.2009
Beiträge: 12

BeitragVerfasst am: 26.01.2010, 17:10    Titel: Antworten mit Zitat

Mit den Binaries habe ich weniger Probleme. Ich benutze dazu lottanzb, was auf dem Kommandozeilen-Programm hellanzb aufsetzt. Geht sogar mit SSL-Verschlüsselung. Hat bis gestern immer geklappt. Also: runterladen, prüfen, entpacken. Alles bestens. Nur gestern hörte er nicht mehr auf Reparaturdateien nachträglich runterzuladen. Allerdings ohne Erfolg. Nach 45 min. habe ich abgebrochen.

Mein Newsreader - pan - filtert leider die inaktiven Newsgroups unter "other" nicht aus. Es gibt wohl Newsreader, allerdings nur Windows-Programme, die nur die aktiven anzeigen. Mit pan geht das nicht. Evtl. versuche ich mal einen Windows-Newsreader mit wine zu betreiben.
Falls da jemand Erfahrungen hat ... . Meine Nachfrage im Linux-Forum hat mich leider nicht weiter gebracht.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Beiträge der letzten Zeit anzeigen:   
Neues Thema eröffnen   Neue Antwort erstellen    Das Usenet Forum Foren-Übersicht -> Newsreader Alle Zeiten sind GMT
Seite 1 von 1

 
Gehe zu:  
Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.

  Impressum Usenet-Suchmaschinen