User-agent: googlebot Sitemap: http://anacreon.de/sitemap.xml Sitemap: http://anacreon.de/wordpress/sitemap.xml # ######################################################################### ## Jede Disallow-Anweisung sollte mit einem Slash (/) beginnen ## ## Disallow: /*? #Damit schliesse ich Seiten aus, die ein Fragezeichen enthalten, wie zB. /forum/gb.pl?Datum=31.3.2012 ## ## Wildcards ? oder * sind nicht zulaesssig ## ## Der Befehl " Disallow: / " (ohne Nennung eines Verzeichnisses) schliesst die ganze Site aus ## ## Ein Befehl " Allow " - z.B. um Ausnahmen festzulegen wie - Allow: /passwort/postille.htm Disallow: /passwort/ - ist nicht moeglich (http://www.promomasters.de hat insofern unrecht) ## ## Praktische Hinweise Von der Site http://www.mb-media.at/bots-spider-per-htaccess-aussperren.php ## ## Es gibt eine Menge Crawler die keinen Nutzen haben, sondern nur Unmengen an Traffic fuer Ihr Projekt verursachen, daher haben wir Ihnen hier eine Liste der wichtigsten Crawler, die Sie unbedingt aussperren sollten, zusammengestellt. Diese koennen Sie entweder direkt uebernehmen, oder durch Ihre eigenen bereits bekannten Crawler ersetzten: robots.txt Downloaden Spider aussperren ## ## Weitere nuetzliche Tipps zur Verminderung von Spam: ## ## Schreiben Sie Ihre E-Mailadresse niemals "direkt" ins Internet. Eine Moeglichkeit waere z.B. die Adresse durch eine Grafik zu ersetzen, was natuerlich den Nachteil haette, nicht mehr vom Besucher angeklickt werden zu koennen. Daher empfiehlt es sich, die E-Mailadresse z.B. durch JavaScript zu verschluesseln, somit kann Sie trotzdem ganz normal angeklickt werden und ist fuer Spambots aber aus dem Quelltext nicht mehr auslesbar. ## ## ueberlegen Sie sich sehr gut, wo Sie Ihre Mailadresse angeben/eintragen, und wo besser nicht! Melden Sie sich keinesfalls fuer unserioese Newsletter an. Klicken Sie bei Spam-Mails die in Ihrem Posteingang landen niemals auf die "Abmelde-Funktion", denn Sie werden dadurch nicht abgemeldet, im Gegenteil, dadurch wuerden Sie nur bestaetigen, dass Sie die Mail empfangen haben und koennen in Zukunft mit noch mehr unerwuenschtem "Werbemuell" rechnen! ## ## Seien Sie vorsichtig bei der Anmeldung in Foren, oeffentlichen Portalen etc., lesen Sie unbedingt immer genau was in den AGB und Nutzungsbedingungen steht. Fuer solche Faelle empfiehlt es sich, eine kostenlose Mailadresse von Freeanbietern anzumelden. ## ## Natuerlich gaebe es noch eine ganze Reihe weiterer Vorsichtsmassnahmen, wir moechten uns in diesem Tutorial jedoch auf das wesentliche begrenzen. Bedenken Sie: Wurde Ihre Mail-Adresse einmal von einem Spam-Bot erfasst, gibt es meist kein Zurueck mehr. Der einzige Ausweg ist dann eine neue E-Mailadresse. ## ## Man kann Spam leider nicht verhindern - aber deutlich verringern! # Adressensammler aussperren ######################################################## Einzelne Befehle fuer andere Bots siehe ganz unten ############################################################## User-agent: CherryPicker Disallow: / User-agent: EmailCollector Disallow: / User-agent: EmailSiphon Disallow: / User-agent: WebBandit Disallow: / User-agent: EmailWolf Disallow: / User-agent: ExtractorPro Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: Crescent Disallow: / User-agent: SiteSnagger Disallow: / User-agent: ProWebWalker Disallow: / User-agent: CheeseBot Disallow: / User-agent: LNSpiderguy Disallow: / User-agent: ia_archiver Disallow: / User-agent: ia_archiver/1.6 Disallow: / User-agent: Teleport Disallow: / User-agent: TeleportPro Disallow: / User-agent: MIIxpc Disallow: / User-agent: Telesoft Disallow: / User-agent: Website Quester Disallow: / User-agent: moget/2.1 Disallow: / User-agent: WebZip/4.0 Disallow: / User-agent: WebStripper Disallow: / User-agent: WebSauger Disallow: / User-agent: WebCopier Disallow: / User-agent: NetAnts Disallow: / User-agent: Mister PiX Disallow: / User-agent: WebAuto Disallow: / User-agent: TheNomad Disallow: / User-agent: grub-client Disallow: / User-agent: grub Disallow: / User-agent: looksmart Disallow: / User-agent: WebZip Disallow: / User-agent: larbin Disallow: / User-agent: b2w/0.1 Disallow: / User-agent: psbot Disallow: / User-agent: Python-urllib Disallow: / User-agent: NetMechanic Disallow: / User-agent: URL_Spider_Pro Disallow: / User-agent: WWW-Collector-E Disallow: / User-agent: RMA Disallow: / User-agent: libWeb/clsHTTP Disallow: / User-agent: asterias Disallow: / User-agent: httplib Disallow: / User-agent: turingos Disallow: / User-agent: spanner Disallow: / User-agent: InfoNaviRobot Disallow: / User-agent: Harvest/1.5 Disallow: / User-agent: Bullseye/1.0 Disallow: / User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) Disallow: / User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 Disallow: / User-agent: CherryPickerSE/1.0 Disallow: / User-agent: CherryPickerElite/1.0 Disallow: / User-agent: WebBandit/3.50 Disallow: / User-agent: NICErsPRO Disallow: / User-agent: Microsoft URL Control - 5.01.4511 Disallow: / User-agent: DittoSpyder Disallow: / User-agent: Foobot Disallow: / User-agent: WebmasterWorldForumBot Disallow: / User-agent: SpankBot Disallow: / User-agent: BotALot Disallow: / User-agent: lwp-trivial/1.34 Disallow: / User-agent: lwp-trivial Disallow: / User-agent: BunnySlippers Disallow: / User-agent: Microsoft URL Control - 6.00.8169 Disallow: / User-agent: URLy Warning Disallow: / User-agent: Wget/1.6 Disallow: / User-agent: Wget/1.5.3 Disallow: / User-agent: Wget Disallow: / User-agent: LinkWalker Disallow: / User-agent: cosmos Disallow: / User-agent: moget Disallow: / User-agent: hloader Disallow: / User-agent: humanlinks Disallow: / User-agent: LinkextractorPro Disallow: / User-agent: Offline Explorer Disallow: / User-agent: Mata Hari Disallow: / User-agent: LexiBot Disallow: / User-agent: Web Image Collector Disallow: / User-agent: The Intraformant Disallow: / User-agent: True_Robot/1.0 Disallow: / User-agent: True_Robot Disallow: / User-agent: BlowFish/1.0 Disallow: / User-agent: JennyBot Disallow: / User-agent: MIIxpc/4.2 Disallow: / User-agent: BuiltBotTough Disallow: / User-agent: ProPowerBot/2.14 Disallow: / User-agent: BackDoorBot/1.0 Disallow: / User-agent: toCrawl/UrlDispatcher Disallow: / User-agent: WebEnhancer Disallow: / User-agent: suzuran Disallow: / User-agent: VCI WebViewer VCI WebViewer Win32 Disallow: / User-agent: VCI Disallow: / User-agent: Szukacz/1.4 Disallow: / User-agent: QueryN Metasearch Disallow: / User-agent: Openfind data gathere Disallow: / User-agent: Openfind Disallow: / User-agent: Xenu's Link Sleuth 1.1c Disallow: / User-agent: Xenu's Disallow: / User-agent: Zeus Disallow: / User-agent: RepoMonkey Bait & Tackle/v1.01 Disallow: / User-agent: RepoMonkey Disallow: / User-agent: Microsoft URL Control Disallow: / User-agent: Openbot Disallow: / User-agent: URL Control Disallow: / User-agent: Zeus Link Scout Disallow: / User-agent: Zeus 32297 Webster Pro V2.9 Win32 Disallow: / User-agent: Webster Pro Disallow: / User-agent: EroCrawler Disallow: / User-agent: LinkScan/8.1a Unix Disallow: / User-agent: Keyword Density/0.9 Disallow: / User-agent: Kenjin Spider Disallow: / User-agent: Iron33/1.0.2 Disallow: / User-agent: Bookmark search tool Disallow: / User-agent: GetRight/4.2 Disallow: / User-agent: FairAd Client Disallow: / User-agent: Gaisbot Disallow: / User-agent: Aqua_Products Disallow: / User-agent: Radiation Retriever 1.1 Disallow: / User-agent: Flaming AttackBot Disallow: / User-agent: Oracle Ultra Search Disallow: / User-agent: MSIECrawler Disallow: / User-agent: PerMan Disallow: / User-agent: searchpreview Disallow: /