Hur blockerar jag sökmotorer?
Du kan behöva en robots.txt-fil om: Du vill blockera specifikt innehåll från sökmotorspindlar.
Sökmotorer är utrustade med robotar, även kända som spindlar eller bots, som genomsöker och indexerar webbsidor. Om din webbplats eller sida är under utveckling eller innehåller känsligt innehåll kanske du vill blockera bots från att genomsöka och indexera din webbplats. Lär dig hur du blockerar hela webbplatser, sidor och länkar med robots.txt-filer och blockerar specifika sidor och länkar med <meta> </meta> html-taggar. Läs vidare för att upptäcka hur du blockerar specifika bots från att få åtkomst till ditt innehåll.
Metod 1 av 2: blockering av sökmotorer med robots.txt-filer
- 1Förstå robots.txt-filer. En robots.txt-fil är en vanlig eller ASCII-textfil som informerar sökmotorspindlar om vad de får tillgång till på din webbplats. Filer och mappar som listas i en robots.txt-fil får inte genomsökas och indexeras av en sökmotorspindel. Du kan behöva en robots.txt-fil om:
- Du vill blockera specifikt innehåll från sökmotorspindlar.
- Du utvecklar en levande webbplats och är inte beredd att låta sökmotorspindlar genomsöka och indexera webbplatsen
- Du vill begränsa tillgången till ansedda robotar.
- 2Skapa och spara och robots.txt-fil. För att skapa filen, starta en redigerare för ren text eller en kodredigerare. Spara filen som: robots.txt. Filnamnet måste vara små bokstäver.
- Glöm inte "s."
- När du sparar filen väljer du tillägget "'.txt"'. Om du använder Word, välj alternativet "Vanlig text".
- 3Skriv en robots.txt-fil som inte tillåts. Det är möjligt att blockera varje ansedd sökmotorspindel från att genomsöka och indexera din webbplats med en "full-tillåt" robots.txt. Skriv följande rader i din textfil:
User-agent: * Disallow: /
- Det rekommenderas inte starkt att använda en "full-disallow" -robot.txt-fil. När en bot, som Bingbot, läser den här filen kommer den inte att indexera din webbplats och sökmotorn visar inte din webbplats.
- Användaragenter: detta är en annan term för sökmotorspindlar eller robotar
- *: asterisken betyder att koden gäller alla användaragenter
- Disallow: /: snedstrecket framåt indikerar att hela webbplatsen är begränsad till robotar
Filer och mappar som listas i en robots.txt-fil får inte genomsökas och indexeras av en sökmotorspindel. - 4Skriv en robots.txt-fil med villkorligt tillstånd. Istället för att blockera alla bots, överväg att blockera specifika spindlar från vissa områden på din webbplats. Vanliga villkor-tillåtna kommandon inkluderar:
- Blockera en viss bot: ersätt asteriskerna bredvid User -agent med googlebot, googlebot-news, googlebot-image, bingbot eller teoma.
- Blockera en katalog och dess innehåll:
User-agent: * Disallow: / sample-directory /
- Blockera en webbsida:
User-agent: * Disallow: /private_file.html
- Blockera en bild:
User-agent: googlebot-image Disallow: /images_mypicture.jpg
- Blockera alla bilder:
User-agent: googlebot-image Disallow: /
- Blockera ett visst filformat:
User-agent: * Disallow: /p*.gif$
- 5Uppmuntra bots att indexera och genomsöka din webbplats. Många vill välkomna sökmotorspindlar i stället för att blockera eftersom de vill ha hela sin webbplats indexerad. För att uppnå detta har du tre alternativ. Först kan du välja bort att skapa en robots.txt-fil - när roboten inte hittar en robots.txt-fil kommer den att fortsätta genomsöka och indexera hela din webbplats. För det andra kan du skapa en tom robots.txt-fil - roboten hittar robots.txt-filen, känner igen att den är tom och fortsätter att genomsöka och indexera din webbplats. Slutligen kan du skriva en fullständig robots.txt-fil. Använd koden:
Användaragent: * Tillåt inte:
- När en bot, som googlebot, läser den här filen, kan du gärna besöka hela din webbplats.
- Användaragenter: detta är en annan term för sökmotorspindlar eller robotar
- *: asterisken betyder att koden gäller alla användaragenter
- Tillåt inte: det tomma kommandot förbjuder indikerar att alla filer och mappar är tillgängliga
- 6Spara txt-filen till roten på din domän. När du har skrivit robots.txt-filen sparar du ändringarna. Ladda upp filen till din webbplats rotkatalog. Till exempel, om din domän är www.yourdomain.com, placerar du robots.txt-filen på www.yourdomain.com/robots.txt.
Metod 2 av 2: blockering av sökmotorer med metataggar
- 1Förstå HTML-robotar metataggar. Robotens metatagg låter programmerare ställa in parametrar för bots eller sökmotorspindlar. Dessa taggar används för att blockera bots från att indexera och genomsöka en hel webbplats eller bara delar av webbplatsen. Du kan också använda dessa taggar för att blockera en specifik sökmotorspindel från att indexera ditt innehåll. Dessa taggar visas i huvudet på din HTML-fil.
- Denna metod används vanligtvis av programmerare som inte har tillgång till en webbplats rotkatalog.
Många vill välkomna sökmotorspindlar i stället för att blockera eftersom de vill ha hela sin webbplats indexerad. - 2Blockera bots från en enda sida. Det är möjligt att blockera alla bots från att indexera en sida och eller från att följa sidans länkar. Den här taggen används ofta när en levande webbplats är under utveckling. När webbplatsen är klar rekommenderas det att du tar bort den här taggen. Om du inte tar bort taggen kommer din sida inte att indexeras eller sökas via sökmotorer.
- Du kan blockera bots från att indexera sidan och följa någon av länkarna:
<meta name = "robots" content = "noindex, nofollow">
- Du kan blockera alla bots från att indexera sidan:
<meta name = "robots" content = "noindex">
- Du kan blockera alla bots från att följa sidans länkar:
<meta name = "robots" content = "nofollow">
- Du kan blockera bots från att indexera sidan och följa någon av länkarna:
- 3Tillåt bots att indexera en sida, men följ inte dess länkar. Om du tillåter bots att indexera sidan kommer sidan att indexeras; om du hindrar spindlarna från att följa länkarna kommer länkvägen från denna specifika sida till andra sidor att brytas. Infoga följande kodrad i din rubrik:
<meta name = "robots" content = "index, nofollow">
- 4Låt sökmotorns spindlar följa länkarna men indexera inte sidan. Om du låter bots följa länkarna förblir länkvägen från denna specifika sida till andra sidor i takt; om du begränsar dem från att indexera sidan kommer din webbsida inte att visas i indexet. Infoga följande kodrad i din rubrik:
<meta name = "robots" content = "noindex, follow">
- 5Blockera en enda utgående länk. För att dölja en enda länk på en sida, bädda in en rel- tagg i länktaggen <a href> </a>. Du kanske vill använda den här taggen för att blockera länkar på andra sidor som leder till den specifika sidan du vill blockera.
<a href="yourdomain.html" rel="nofollow"> Infoga länk till blockerad sida </a>
En robots.txt-fil är en vanlig eller ASCII-textfil som informerar sökmotorspindlar om vad de får tillgång till på din webbplats. - 6Blockera en specifik sökmotorspindel. Istället för att blockera alla bots från din webbsida kanske du vill förhindra att en bot genomsöker och indexerar sidan. För att åstadkomma detta, byt ut "'robot"' i metataggen med namnet på en specifik bot. Exempel är: googlebot, googlebot-news, googlebot-image, bingbot och teoma.
<meta name = "bingbot" content = "noindex, nofollow">
- 7Uppmuntra bots att genomsöka och indexera din sida. Om du vill försäkra dig om att din sida kommer att indexeras och dess länkar kommer att följas, kan du infoga en meta-"robot" -tagg i ditt rubrik. Använd följande kod:
<meta name = "robots" content = "index, follow">
Läs också: Hur tar man bing it på utmaning?
Frågor och svar
- Vad betyder frasen "Blockera sökmotorer med metataggar"? iI är tvetydigt, är det a) Använd metataggar för att blockera sökmotorer, eller b) Blockera sökmotorer som har metataggar?Den här artikeln beskriver hur man använder metataggar för att blockera sökmotorer. Du kan använda den här metoden för att blockera sökmotorer oavsett om de har metataggar eller inte.
