Forum Internet Service Backes

Bitte loggen sie sich ein oder registrieren sie sich.

Einloggen mit Benutzername, Passwort und Sitzungslänge
Erweiterte Suche  

Neuigkeiten:

Autor Thema: Wie werde ich die Crawler und Suchmaschinen los?  (Gelesen 5258 mal)

thuhn01

  • Hero
  • *****
  • Offline Offline
  • Beiträge: 500
    • Was man ohne Lizenzgebühren so alles im Internet machen kann
Wie werde ich die Crawler und Suchmaschinen los?
« am: 27 Oktober, 2006, 14:23:36 Nachmittag »

Hallo,
ich werde zur Zeit alle rei Stunden von Crawlern der Suchmaschinen überschwemmt :(

Habe bisher folgendes erfolglos versucht:

1) sperren aller .php-Dateien in der robots.txt
2) leeren des Eintrags im Admin/Konfiguration/Suchmaschinen bei "robots"
3) habe sogar eine .htaccess erzeugt mit der Sperre der IP's, geht bei mir aber nicht da ich eine Domänen-Umleitung beim Provider habe. Da kommen immer die falschen (identischen) IP-Adressen mit.
Entweder habe ich dann alle Kunden gesperrt und ich kann den Server abschalten, oder alle kommen durch :(

Hat jemand eine weitere Idee was ich machen kann?
Zurzeit greifen ca. 40 Kunden gleichzeitig auf den Shop zu, 10 davon sind Crawler



SNCJansen

  • Global Moderator
  • Senior
  • *****
  • Offline Offline
  • Beiträge: 424
    • Mein Arbeitgeber ;)
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #1 am: 27 Oktober, 2006, 14:26:06 Nachmittag »

beim provider kannst die htaccess nicht deponieren?
Gespeichert

thuhn01

  • Hero
  • *****
  • Offline Offline
  • Beiträge: 500
    • Was man ohne Lizenzgebühren so alles im Internet machen kann
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #2 am: 27 Oktober, 2006, 14:32:19 Nachmittag »

beim provider kannst die htaccess nicht deponieren?

Deponieren kann ich die da schon, aber die würde wahrscheinlich nicht gelesen, oder?

Als Domänen-Provider habe ich Strato (Jaja, ich weiss... *ggg* ) und dort in der Domänenverwaltung für meine verschiedenen Domänen die Umleitung gesetzt.
Somit kommt der Zugriff doch gar nicht erst dort auf dem Server an. Oder?

Profis vor *lol* => Wo muss die Datei hin damit sie gelesen und ausgewertet wird?


SNCJansen

  • Global Moderator
  • Senior
  • *****
  • Offline Offline
  • Beiträge: 424
    • Mein Arbeitgeber ;)
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #3 am: 27 Oktober, 2006, 14:35:50 Nachmittag »

es kommt darauf an, was du für eine weiterleitung hast...

1 möglichkeit) frame-redirect: hier werden die kunden aber auf die spätere url weitergereicht, hier würde eine bei dir liegende htaccess wirkung zeigen

2 möglichkeit) header-redirect: siehe 1

3 möglichkeit) fopen, hier agiert der strato-server als "Proxy" oder "gateway" für dich, der kunde sieht nie die wirkliche adresse, hier muss die htaccess bei strato liegen...
Gespeichert

SNCJansen

  • Global Moderator
  • Senior
  • *****
  • Offline Offline
  • Beiträge: 424
    • Mein Arbeitgeber ;)
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #4 am: 27 Oktober, 2006, 14:40:39 Nachmittag »

habe mir gerade mal den shop angesehen und auch mit tracert mal gesehen, woher die daten kommen...

müßte alles bei strato gemacht werden, so wie ich das sehe...



habe auch grundsätzlich nur das forum und die bildgalerien gesehen, die nicht auf dem strato-server liegen?!
« Letzte Änderung: 27 Oktober, 2006, 14:42:27 Nachmittag von SNCJansen »
Gespeichert

thuhn01

  • Hero
  • *****
  • Offline Offline
  • Beiträge: 500
    • Was man ohne Lizenzgebühren so alles im Internet machen kann
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #5 am: 27 Oktober, 2006, 14:44:11 Nachmittag »

es kommt darauf an, was du für eine weiterleitung hast...

1 möglichkeit) frame-redirect: hier werden die kunden aber auf die spätere url weitergereicht, hier würde eine bei dir liegende htaccess wirkung zeigen

2 möglichkeit) header-redirect: siehe 1

3 möglichkeit) fopen, hier agiert der strato-server als "Proxy" oder "gateway" für dich, der kunde sieht nie die wirkliche adresse, hier muss die htaccess bei strato liegen...

Naja, wenn ich meine htaccess aktiviere zeigt sie ja auch Wirkung :)
Da aber die IP-Adresse des STRTATO-Servers mitgeschickt wird, werden ALLE die zugreifen wollen gesperrt :(


thuhn01

  • Hero
  • *****
  • Offline Offline
  • Beiträge: 500
    • Was man ohne Lizenzgebühren so alles im Internet machen kann
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #6 am: 27 Oktober, 2006, 14:45:55 Nachmittag »

habe auch grundsätzlich nur das forum und die bildgalerien gesehen, die nicht auf dem strato-server liegen?!

Habe dort gar nichts mehr liegen, ist alles bei mir auf dem Server.
Shop, 2x Homepage, 2x Forum, Gallery, eCards

SNCJansen

  • Global Moderator
  • Senior
  • *****
  • Offline Offline
  • Beiträge: 424
    • Mein Arbeitgeber ;)
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #7 am: 27 Oktober, 2006, 14:49:24 Nachmittag »

wie leitest du die kunden denn auf deinen server? da für mich, als besucher nur "http://www.dith-shop.de/index.php" ersichtlich ist und auch die artikelbilder auf dieser domain liegen und wiederum dith-shop.de als "w08.rzone.de [81.169.145.72]" und damit als server bei strato erkannt wird...

muss auch hier die htaccess liegen, die nach den ips filtert, denn nur hier trifft die "öffentlichkeit" auf...
Gespeichert

thuhn01

  • Hero
  • *****
  • Offline Offline
  • Beiträge: 500
    • Was man ohne Lizenzgebühren so alles im Internet machen kann
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #8 am: 27 Oktober, 2006, 14:57:17 Nachmittag »

@SNCJansen => Du hast ne BM mit Bild

thuhn01

  • Hero
  • *****
  • Offline Offline
  • Beiträge: 500
    • Was man ohne Lizenzgebühren so alles im Internet machen kann
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #9 am: 27 Oktober, 2006, 15:08:49 Nachmittag »

Mal nen anderer Lösungsansatz:

Kann man APACHE2 dazu überreden beim Auswerten der htaccess-Datei statt der IP-Adresse die bei "getenv('REMOTE_ADDR')" übergeben wird, die IP-Adresse zu nehmen die bei "getenv('HTTP_CLIENT_IP')" ankommt?

Ich habe mir mal zu Testzwecken meine whos_online umbgebaut, so das mir beide Adressen angezeigt werden.

84.61.40.155 (81.169.145.11)

Die in Klammern stehende ist die, die mir mein Provider vorgauckelt (REMOTE_ADDR). Die vorne stehende ist die CLIENT_IP

SNCJansen

  • Global Moderator
  • Senior
  • *****
  • Offline Offline
  • Beiträge: 424
    • Mein Arbeitgeber ;)
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #10 am: 27 Oktober, 2006, 15:18:41 Nachmittag »

hmmm... wüßte ich nicht, aber wie wäre dies:

am anfang der application_top.php:

if (getenv('HTTP_CLIENT_IP') == 'geblockte ip') {
   include shopinfo.php; // (hier ist eine shopbeschreibung oder was auch immer drin, wenn gewünscht)
   die;
}
Gespeichert

thuhn01

  • Hero
  • *****
  • Offline Offline
  • Beiträge: 500
    • Was man ohne Lizenzgebühren so alles im Internet machen kann
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #11 am: 27 Oktober, 2006, 15:24:42 Nachmittag »

hmmm... wüßte ich nicht, aber wie wäre dies:

am anfang der application_top.php:

if (getenv('HTTP_CLIENT_IP') == 'geblockte ip') {
   include shopinfo.php; // (hier ist eine shopbeschreibung oder was auch immer drin, wenn gewünscht)
   die;
}



Hey, der ist cool :)
Da kann man ja glatt wieder ne Funktion draus machen die man in den Admin-Bereich einbauen könnte :)
Viiiiilen Dank !!

SNCJansen

  • Global Moderator
  • Senior
  • *****
  • Offline Offline
  • Beiträge: 424
    • Mein Arbeitgeber ;)
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #12 am: 27 Oktober, 2006, 15:41:18 Nachmittag »

bitte bitte ;)
Gespeichert

thuhn01

  • Hero
  • *****
  • Offline Offline
  • Beiträge: 500
    • Was man ohne Lizenzgebühren so alles im Internet machen kann
Re: Wie werde ich die Crawler und Suchmaschinen los?
« Antwort #13 am: 27 Oktober, 2006, 16:24:49 Nachmittag »

Funktioniert!

Muss jetzt nur noch fix ne Einbindung in den Admin-Bereich bauen.