Hem
Forum
Donera
Webbutik

Översikt
Nya inlägg
Obesvarade trådar
Sök i forum

Mjukvara och tjänster
Programmering och utveckling

Yahoo Inktomis sökrobot överbesöker våran site...

Tråden skapades 2007-03-30 och har fått 11 svar. Det senaste inlägget skrevs 2008-06-01.

Skriv svar

2007-03-30 14:38

Martin_Nordin
Medlem ●
2007-03-30 14:38

Hej

Vi har en site som har drabbat av ett intressant problem. Yahoo Inktomis sökrobot besöker den hela tiden. I över ett halvår så har det ALLTID varit minst ett besök därifrån. Oavsett tid på dygnet. Som mest var det över 60st besök som kom från dem.

Någon som har något bra sätt för hur man kan få dem att sluta?
Någon annan som har samma problem?

/Martin

Anmäl Ändra Gilla Svara

2007-03-30 17:03

hallgren
Medlem ●
Huddinge
2007-03-30 17:03

Ja, jag har haft samma problem.
Även Google har varit inne och tittat väldigt mycket i perioder, men där kan man ju på ett enkelt sätt kryssa för att de ska ta det lite lugnare (i "Verktyg för webbansvariga").
När de båda varit inne som mest samtidigt har jag inte sett något annat alternativ än att kasta ut yahoo med robots.txt, iallafall tillfälligt.

Anmäl Ändra Gilla Svara

2007-03-30 17:25

Mikael E
Medlem ●
Stockholm
2007-03-30 17:25

Ursprungligen av hallgren:

Även Google har varit inne och tittat väldigt mycket i perioder, men där kan man ju på ett enkelt sätt kryssa för att de ska ta det lite lugnare (i "Verktyg för webbansvariga").

Gå till inlägget

Var exakt finns den inställningen? Pratar vi om Google Analytics nu?

Anmäl Ändra Gilla Svara

2007-03-30 17:57

Christofer
Medlem ●
Katrineholm
2007-03-30 17:57

Ursprungligen av Mikael E:

Var exakt finns den inställningen? Pratar vi om Google Analytics nu?

Gå till inlägget

Nej, Google Analytics är en annan tjänst. Kika in på Google Webmaster Center och verifiera din webbplats för att sedan få styra lite mer över hur Google ska hantera den.

Anmäl Ändra Gilla Svara

2007-03-31 12:00

Martin_Nordin
Medlem ●
2007-03-31 12:00

Tack för tipsen!

Har lekt lite med robot.txt, hoppas att det funkar.

/Martin

Anmäl Ändra Gilla Svara

2007-03-30 17:18

Merovech
Medlem ●
2007-03-30 17:18

Du kan ju sätta upp ett tidsintervall i robots.txt som är lite högre än vanligt, typ:

User-agent: Slurp
Crawl-delay: 500000

Anmäl Ändra Gilla Svara

2007-03-31 12:35

Stefan Johansson
Medlem ●
Lidingö
2007-03-31 12:35

Intressant diskussion!

Kollade lite i min logg och filen robot.txt verkar sökas av bl a Googles robot:

Citat:

[Sat Mar 31="31" 11:53:27 2007="2007"] [error] [client 66.249.66.134] File does not exist: /home/nicuuorg/public_html/robots.txt

Jag har ingen robot.txt-fil, bör man ha en sådan - och var kan man hitta mer info hur den ska se ut/konfigureras?

Anmäl Ändra Gilla Svara

2007-03-31 14:31

Borttaget
Oregistrerad ●
2007-03-31 14:31

De flesta sökmotorerna kollar alltid först om det finns en fil som heter robots.txt. Där har du skriva hur du vill att sökmotorn ska avläsa webbplatsen. Läs även mer här: Robots Exclusion Standard.