robot.txt

[fakerer]

Hallo,
hätte eine Frage,
ist es Möglich das trotz
User-agent: *
Disallow: /
im root Verzeichnis

zb Pdfs aus Unterverzeichnissen in Google gefunden werden können?

 

[Duddle]

Du weist den Bots an, deine komplette Seite zu ignorieren. Vergiss nicht, dass es nur ein "Wunsch" ist, schlecht programmierte oder böswillige Programme können die Seite trotzdem crawlen.


Duddle

 

[fakerer]

Hmm,
und was könnte, sollte man dagegen tun?
Kann man den Zugriff irgendwie nur auf den localhost beschränken, das das man die Files nur über ein srcipt aufrufen kann?

 

[Duddle]

Alles was ein Nutzer der Seite machen kann, kann ein Programm ebenfalls. Wenn ich als Nutzer dein Download-Script aufrufen kann und so zu einer Datei komme, kann das ein Programm ebenfalls.
Wenn du hingegen einen Login-Bereich hast und nur bestimmten Leuten den Zugriff gewährst, sperrst du alle anderen aus (solange sie nicht das Passwort kennen).


Duddle

 

[fakerer]

danke,
bedeutet das also
im apache allow from 127.0.0.0 für das verzeichnis einzustellen (localhost ip)
und einen logingeschützen bereich über den man dann über ein script die daten aus dem geschützen ordner bekommt

 

[Duddle]

Wenn der Bereich sowieso passwortgeschützt ist, brauchst du kein Download-Script (solange du den Bereich korrekt versiegelst).


Duddle

 

[fakerer]

(solange du den Bereich korrekt versiegelst)

und wie macht man das am besten?

 

[Duddle]

Zum Beispiel über einen Verzeichnisschutz mit . Alternativ könntest du jeden Zugriff auf das Verzeichnis bzw. einen Dateityp darin auf ein Script umleiten, welches die Autorisierung prüft (z.B. mit Cookies).


Duddle

 

[Chickenshooter]

Was genau willst du denn erreichen?

 

[fakerer]

Hallo,
vielen Dank für eure Antworten,
ich will das nur bestimmte Server Zugriff auf Dateien (Bilder) auf einem Webserver in einem bestimmten Verzeichnis haben.

Habe das ganze nun so gelöst das ich das Verzeichnis in der vhost config vor allen zugriffen bis auf den localhost schütze.
Und um den Zugriff für die andren zu ermöglichen hab ich einen filehandler dem ich eine fileid und einen hashwert übergebe.
Passen id und hash zusammen liefere ich über das script das Bild aus.

Habe eben auch noch ein wenig in den Google Webmastertools gestöbert dort steht doch glatt man soll die robot.txt verwenden, um das auffinden zu verhindern, aber die wurde ja anscheinend von google nicht wirklich beachtet.