+ Antworten
Seite 1 von 2 1 2 LetzteLetzte
Ergebnis 1 bis 10 von 11

Thema: alle robots aussperren? und nur für menschen sichtbar?

  1. #1
    Neu an Board
    Registriert seit
    26.11.2014
    Beiträge
    80
    Bedankte sich
    39
    Erhielt 0 Danksagungen
    in 0 Beiträgen

    Standard alle robots aussperren? und nur für menschen sichtbar?

    Moin

    es gibt ja im netz schon anleitungen oder komponenten für eine sichere joomla seite,.

    ich möchte aber alle robots die auf die seite kommen ausssperren.. so das informationen nur von menschen abgerufen werden können,..

    und die seite über suchmachienen auf die domain direkt zeigen.

    was solllte man dazu in die htaccess eintragen ?

  2. #2
    Wohnt hier Avatar von JoomlaWunder
    Registriert seit
    03.03.2010
    Ort
    Nordseeküste
    Beiträge
    4.012
    Bedankte sich
    190
    Erhielt 949 Danksagungen
    in 923 Beiträgen

    Standard

    Du möchtest, dass deine Seite über Suchmaschinen gefunden und indexiert wird, so dass User deine Seite finden. Gleichzeitig möchtest du deren Bots aussperren. Oder sehe ich das falsch?
    Klingt nach Widerspruch.

    Die Frage ist erst einmal, wozu du was bezweckst? Anschließend kann man die robots.txt und die .htaccess entsprechend bearbeiten.
    Also: Was ist der Hintergrund?

    Unseriöse Bots sperrt man direkt über die .htaccess (eventuell eine Ausnahme für die robots.txt machen).
    In der robots.txt trägst du die bots ein, auf die man verzichten kann. Das könnten beispielswiese große russische oder chinesische Suchmaschinen sein, die deiner Seite nichts bringen. Daran müssen sich diese aber nicht halten.
    Kann sein, dass zu viele Einträge in der robots.txt deine Seite selber unseriös machen. Keine Ahnung, ob da wirklich was dahintersteckt.

    BTW: User_agent kann auch manipuliert werden.
    Geändert von JoomlaWunder (07.10.2017 um 10:44 Uhr)
    Gruß!
    JoomlaWunder
    Kein Support per PN!
    Konnte ich helfen? -> Dann bitte den "Danke"-Button klicken!

  3. Erhielt Danksagungen von:


  4. #3
    Gehört zum Inventar
    Registriert seit
    06.03.2013
    Ort
    /dev/random
    Beiträge
    5.959
    Bedankte sich
    129
    Erhielt 2.220 Danksagungen
    in 2.100 Beiträgen

    Standard

    https://perishablepress.com/ultimate...ess-blacklist/
    und in der Robots rein was erlaubt ist, zb. für google
    Gruß FINWICK
    ↶ Danke Button nutzen, wenn es geholfen hat - Kein Support via PN - Tipps & Tricks - JPlugger - URL Shortener - NDE

  5. Erhielt Danksagungen von:


  6. #4
    Gute Seele des Boards Avatar von time4mambo
    Registriert seit
    11.12.2006
    Ort
    76646 Bruchsal
    Alter
    60
    Beiträge
    18.757
    Bedankte sich
    719
    Erhielt 3.828 Danksagungen
    in 3.591 Beiträgen

    Standard

    Alle Suchmaschinen benutzen auch Bots, wo kein Mensch weiß, wie die Dinger heißen. Das deswegen, um unseriöse Seiten zu finden. Somit weiß ich nicht, ob man bei einem Google-Verbot in der robots.txt auch tatsächlich Google komplett aussperrt.

    Aber mich würde auch der Hintergrund interessieren, denn du schreibst was von "sicherer Joomlasite". Ein Such-Bot hat ja nichts mit der Sicherheit zu tun und "böse" Bots interessieren sich nicht die Bohne für die robots.txt.


    Axel
    Schulungen, Webentwicklung: time4mambo
    Joomla- und Office-Tutorials: time4joomla
    Deutschsprachige SEBLOD-Community
    Kein Support per PM!

  7. Erhielt Danksagungen von:


  8. #5
    Neu an Board
    Registriert seit
    26.11.2014
    Beiträge
    80
    Bedankte sich
    39
    Erhielt 0 Danksagungen
    in 0 Beiträgen

    Standard

    es ist eigentlich als test gedacht.. und dann ist der domainname so gut dass ich auf bots verzichten will..
    ich will sie einfach nicht und nur auf mundpropaganda vertrauen... das selbe mach ich mit anderen pages..
    google blockt so oder so meine projekte .. also scheiss drauf

    nicht das erst mal und nicht das letzte mal.. ich vertrau und lege nicht besonders wert auf google suche .. die haben mir schon viele projekte gefickt. von
    seite 1 erster platz auf seite 60 bin 3 tage nur weil man sagt man will es selber versuchen wenn google einen fragt ob sie mir bei dem projekt helfen sollen

    bei adsense haben sie mich ganz geblockt und sagen ich betrübe .. tztzt obwohl sie keine beweise vorleben.. user von facebook waren was ich aber nicht mal zu der zeit wusste und weiter nicht weis..
    weil bin enem tag einer erscheinnen ist und auf meine seite user lenbkte.. .. google fragt nicht google blockt da einfach .. nach 8 jahren unterstellen sie mir einfach dass ich betrübe..
    ach vergiss die leute das sind selber betrüber. die nur idee klauen. und geld mit fakes machen.
    bei fb war mein bester schnitt .. 3.3 millionen user in 3 tagen auf einen content .. das waren ca 100 000 in der stunde das war lustig.. (ich zahle nie für werbung und nie gemacht)

    bei yt stellen sie dokus online die mit richterlichen beschluss verboten sind auf meine channels und aber vorher sehen sie keine
    grund zur handung zur löschung.. und treiben mich so in 5000€ fallen von kriminellen anwaltsfallen ...
    wenn sie auslachst gehen sie auf 4000 runter dann auf 1500 dann auf 400 dann lassen sie ganz von einem ab
    TIPP wenn man eiene unterlassung mal unterzeichnet hat .. ist man selber verantwortlich dass das aus dem netz verschwindet..
    als schreibt google an und sagt es ihnen und bewahrt diese mail auf! da google so oder so nie antwortet schieben anwälte und wer auch immer bei google
    eine gemeinsame nummer.. dass das material dann auf einmal wieder im netz erscheint ... so dass sie nur noch die unterlassung klage rausholen und kassieren wollen..
    egal ob due was damit zu tun hast oder nicht die laden selber den mist hoch oder schalten es irgendwie frei und klagen dich dann an.. wenn nicht an google
    vorher geschrieben hast bist dran! da aber google nie antwortet auf keine anwälte der eu kannst auch immer sagen dass du es nicht warst sie werden dir
    nie das gegenteil beweisen können ** tipp ende*
    aber google schweigt und sagt nicht wer die doku online brachte.. das ist eine sekte .. ..
    ich denke gute domainnamen alle bots raus! ist der weg für mich. hab genug fans 20 000 auf fb und co dass ich mir die user selber lenken kann.



    500 000 auf meinen channel die meine videos gesehen haben..
    und ca 700 user täglich die ohne dass ich was mache mein connten sehen.. und ich bin grade sehr faul

    so scchaut nur eine seite aus ... und da sind 500 bots am tag oder mehr.. die anderen pages ist nicht so schlimm aber ich will jetzt alle bots raus haben.

    das sind alles bots jede minute eine andere ip aus der ganzen welt
    robot.jpg
    Geändert von model (08.10.2017 um 09:27 Uhr)

  9. #6
    Gute Seele des Boards Avatar von NinjaTurtle
    Registriert seit
    24.11.2012
    Ort
    Willich
    Alter
    51
    Beiträge
    16.262
    Bedankte sich
    581
    Erhielt 4.200 Danksagungen
    in 4.006 Beiträgen

    Standard

    Zeig doch einmal diese tolle Seite

    Webseiten inkl. Hosting, Domain, laufende Betreuung und Updates

    Web Monkey Design®

    Schützen Sie sich vor Wegwerf-E-Mail-Adressen

  10. #7
    Wohnt hier Avatar von JoomlaWunder
    Registriert seit
    03.03.2010
    Ort
    Nordseeküste
    Beiträge
    4.012
    Bedankte sich
    190
    Erhielt 949 Danksagungen
    in 923 Beiträgen

    Standard

    Zitat Zitat von model Beitrag anzeigen
    ... und die seite über suchmachienen auf die domain direkt zeigen.
    Das klingt aber so, als ob du die Suchmaschinen nutzen möchtest.
    Wenn du allein auf "Mund zu Mund"-Propaganda vertraust, dann sperre eben alle über die .htaccess (so wie im Link von Finwick).
    Geändert von JoomlaWunder (08.10.2017 um 09:21 Uhr)
    Gruß!
    JoomlaWunder
    Kein Support per PN!
    Konnte ich helfen? -> Dann bitte den "Danke"-Button klicken!

  11. Erhielt Danksagungen von:


  12. #8
    Hat hier eine Zweitwohnung Avatar von Sieger66
    Registriert seit
    23.05.2010
    Beiträge
    1.721
    Bedankte sich
    13
    Erhielt 454 Danksagungen
    in 426 Beiträgen
    Gelöstes Problem bitte so markieren http://www.joomlaportal.de/forenrege...tel-ndern.html
    Fragen und Antworten zu Joomla in den Joomla FAQ
    - Danke für den Klick auf Danke

  13. #9
    Neu an Board
    Registriert seit
    26.11.2014
    Beiträge
    80
    Bedankte sich
    39
    Erhielt 0 Danksagungen
    in 0 Beiträgen

    Standard

    oky hab jetzt die liste in meine htaccess einfach unten dazu gemacht

    https://perishablepress.com/ultimate...ess-blacklist/
    von 00:00 uhr bis 16:00 sind 900 bots auf der seite gewesen.. ich schau mal was die liste so bringt .. und wieviele draussen bleiben damit.

    robot1.jpg


    es gibt aber eine neue liste.. die test ich auch die tage
    https://perishablepress.com/ultimate...essed-version/

    PHP-Code:
    # Ultimate htaccess Blacklist 2 from Perishable Press
    # Deny domain access to spammers and other scumbags
    RewriteEngine on
    RewriteBase 
    /
    RewriteCond %{HTTP_USER_AGENTADSARobot|ah-ha|almaden|aktuelles|Anarchie|amzn_assoc|ASPSeek|ASSORT|ATHENS|Atomz|attach|attache|autoemailspider|BackWeb|Bandit|BatchFTP|bdfetch|big.brother|BlackWidow|bmclient|BostonProject|BravoBrianSpiderEngineMarcoPolo|Botmailto:craftbot@yahoo.com|Buddy|Bullseye|bumblebee|capture|CherryPicker|ChinaClaw|CICC|clipping|Collector|Copier|Crescent|CrescentInternetToolPak|Custo|cyberalert|DA$|Deweb|diagem|Digger|Digimarc|DIIbot|DISCo|DISCoPump|DISCoFinder|DownloadDemon|DownloadWonder|Downloader|Drip|DSurf15a|DTS.Agent|EasyDL|eCatch|ecollector|efp@gmx\.net|EmailExtractor|EirGrabber|email|EmailCollector|EmailSiphon|EmailWolf|ExpressWebPictures|ExtractorPro|EyeNetIE|FavOrg|fastlwspider|FavoritesSweeper|Fetch|FEZhead|FileHound|FlashGetWebWasher|FlickBot|fluffy|FrontPage|GalaxyBot|Generic|Getleft|GetRight|GetSmart|GetWeb!|GetWebPage|gigabaz|Girafabot|Go\!Zilla|Go!Zilla|Go-Ahead-Got-It|GornKer|gotit|Grabber|GrabNet|Grafula|GreenResearch|grub-client|Harvest|hhjhj@yahoo|hloader|HMView|HomePageSearch|httpgeneric|HTTrack|httpdown|httrack|ia_archiver|IBM_Planetwide|ImageStripper|ImageSucker|imagefetch|IncyWincy|Indy*Library|IndyLibrary|informant|Ingelin|InterGET|InternetNinja|InternetLinkagent|InternetNinja|InternetSeer\.com|Iria|Irvine|JBH*agent|JetCar|JOC|JOCWebSpider|JustView|KWebGet|Lachesis|larbin|LeechFTP|LexiBot|lftp|libwww|likse|Link|Link*Sleuth|LINKSARoMATIZED|LinkWalker|LWP|lwp-trivial|Mag-Net|Magnet|MacFinder|Mag-Net|MassDownloader|MCspider|Memo|Microsoft.URL|MIDowntool|Mirror|MissiguaLocator|MisterPiX|MMMtoCrawl\/UrlDispatcherLLL|^Mozilla$|Mozilla.*Indy|Mozilla.*NEWT|Mozilla*MSIECrawler|MSFrontPage*|MSFrontPage|MSIECrawler|MSProxy|multithreaddb|nationaldirectory|Navroad|NearSite|NetAnts|NetCarta|NetMechanic|netprospector|NetResearchServer|NetSpider|NetVampire|NetZIP|NetZipDownloader|NetZippy|NEWT|NICErsPRO|Ninja|NPBot|Octopus|OfflineExplorer|OfflineNavigator|OpaL|Openfind|OpenTextSiteCrawler|OrangeBot|PageGrabber|PapaFoto|PackRat|pavuk|pcBrowser|PersonaPilot|Ping|PingALink|Pockey|Proxy|psbot|PSurf|puf|Pump|PushSite|QRVA|RealDownload|Reaper|Recorder|ReGet|repl****|RepoMonkey|Robozilla|Rover|RPT-HTTPClient|Rsync|Scooter|SearchExpress|searchhippo|searchterms\.it|SecondStreetResearch|Seeker|Shai|Siphon|sitecheck|sitecheck.internetseer.com|SiteSnagger|SlySearch|SmartDownload|snagger|Snake|SpaceBison|Spegla|SpiderBot|sproose|SqWorm|Stripper|Sucker|SuperBot|SuperHTTP|Surfbot|SurfWalker|Szukacz|tAkeOut|tarspider|TeleportPro|Templeton|TrueRobot|TV33_Mercator|UIowaCrawler|UtilMind|URLSpiderPro|URL_Spider_Pro|Vacuum|vagabondo|vayala|visibilitygap|VoidEYE|vspider|WebDownloader|w3mir|WebDataExtractor|WebImageCollector|WebSucker|Wweb|WebAuto|WebBandit|web\.by\.mail|Webclipping|webcollage|webcollector|WebCopier|webcraft@bea|webdevil|webdownloader|Webdup|WebEMailExtrac|WebFetch|WebGoIS|WebHook|Webinator|WebLeacher|WEBMASTERS|WebMiner|WebMirror|webmole|WebReaper|WebSauger|Website|WebsiteeXtractor|WebsiteQuester|WebSnake|Webster|WebStripper|websucker|webvac|webwalk|webweasel|WebWhacker|WebZIP|Wget|Whacker|whizbang|WhosTalking|Widow|WISEbot|WWWOFFLE|x-Tractor|^XaldonWebSpider|WUMPUS|Xenu|XGET|Zeus.*Webster|Zeus [NC]
    RewriteRule ^.* - [F,L
    Geändert von model (08.10.2017 um 17:39 Uhr)

  14. #10
    Neu an Board
    Registriert seit
    26.11.2014
    Beiträge
    80
    Bedankte sich
    39
    Erhielt 0 Danksagungen
    in 0 Beiträgen

    Standard

    Hab jetzt alle beiden dieser Htaccess dateien getestet.. da kommen weiter ca 400 bots durch .. binnen 16 stunden.

    also ich kann jetzt die ip´s ja einzeln blocken aber will ich das ? hm muss doch anders gehen wenn coalaweb die als bots erkennt.. dann sollte man die auch blocken können`?

    ssdf.jpg

+ Antworten
Seite 1 von 2 1 2 LetzteLetzte

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein