Vad är en sitemap-fil och hur man lägger till en. Hur man skapar en XML-webbplatskarta för Yandex och Google: steg för steg instruktioner

Använd vår webbplatskartgenerator för att skapa XML-filer som kan skickas till Google, Yandex, Bing, Yahoo och andra sökmotorer ah för att hjälpa dem att indexera din webbplats.

Gör det i tre enkla steg:

Som jag en gång pratade om att använda mitt exempel. Och dess placering är inte heller tveksam, eftersom den bör finnas i rotkatalogen på din webbplats './'. De enda frågorna som är förknippade med det är varför det behövs för att min sida ska fungera och hur man skapar den här filen. Vad kommer att diskuteras vidare.

Varför behöver du en sitemap.xml-fil

I allmänhet, som jag ser det:

Skärmdump av ett utdrag av min fil sitemap.xml:

Den här filen skapar en blogg eller webbplatskarta med alla dess sidor, liknande vad vissa människor gör för sin artikellista. Endast det enda ögonblicket är denna fil, den behövs inte för användare som har kommit till din webbplats, utan för sökmotorer. Dessutom rekommenderar populära sökmotorer själva att skapa och implementera denna sitemap.xml genom att skicka den till dem. Och allt detta är bara för att göra det tydligt för sökmotorerna om de webbsidor som är tillgängliga för genomsökning på din webbplats. Återigen, till skillnad från robots.txt, som förbjuder vissa avsnitt eller sidor - skapar sitemap.xml en lista med sidor (URL-länkar) som måste indexeras.

Själva filen är ett XML-dokument som listar länkar, webbadresserna till din webbplats och en del annan användbar information för sökmotorer. Såsom: datum sista ändring sidor, frekvens av ändringar, prioritet. Återigen, allt detta behövs bara för PS för mer kompetent genomsökning av din webbplats. Själva filen kan i princip ses på andra bloggar, om du anger deras adress, och sedan /sitemap.xml eller som min.

I allmänhet bör den här filen hjälpa sökmotorer att hitta sidor på din webbplats eller blogg för smartare indexering. Men kom ihåg att detta bara är ett extra tips för sökmotorerna. Och om den här filen inte finns på din server betyder det inte att sökmotorer inte kommer att indexera dina sidor, och de kommer inte att inkluderas i sökningen. Allt kommer att vara, men med den här typen är filen bättre.

Genererar filen sitemap.xml

Som jag förstår det finns det olika sätt att skapa den här filen. Den första är att skapa den här filen själv manuellt med hjälp av rekommendationerna och exemplen från den officiella webbplatsen sitemaps.org med hjälp av XML-taggar. Genom att spara filen med XML-tillägget kodat. Kopiera den sedan till din server i rotkatalogen på din webbplats. Förresten, den här filen har vissa storleksbegränsningar - inte mer än 10 MB och 50 000 webbadresser. Även om det finns en lösning om du behöver göra en fil med en stor lista med webbadresser.

Det finns också ett andra alternativ, detta är att använda automatiskt skapande webbplatskarta över kartan. För att göra detta finns det många webbplatser på Internet som tillhandahåller denna tjänst. Till exempel webbplatsen htmlweb.ru - som har en webbplatskartgenerator där du bara behöver ange den fullständiga adressen till din webbplats och klicka på knappen Ladda XML-karta. Spara sedan den färdiga filen på din dator och skicka den till din webbplats i rotkatalogen.

Förresten, efter att du laddat upp den här filen till din server måste du också skriva i robots.txt-filen, vanligtvis i slutet - en länk med den fullständiga sökvägen till filen sitemap.xml, till exempel, som min 'Sitemap : https://www..xml'. Detta är nödvändigt för att kunna berätta för sökmotorerna var denna fil finns.

Svaret är uppenbart - den här filen borde vara det.

Filen sitemap.xml, precis som en vanlig webbplatskarta, är en uppsättning sidor formaterade i XML-taggar. Genom att använda av denna fil, räknar sökmotorer ut vilka sidor på din webbplats som ska indexeras först.

Vanlig HTML-webbplatskarta:

XML-webbplatskarta:

Varje alternativ har sina egna för- och nackdelar. Viktig fördel webbplatskartor i XML-format - eliminerar möjligheten att sudda ut den statiska vikten på sidorna på webbplatsen.

I den här artikeln kommer jag att visa dig hur du skapar en korrekt Sitemap.xml-fil.

Om du redan vet allt om att skapa en webbplatskarta, hoppa direkt till det sista kapitlet, som heter "Funktioner".

1. Direktiv för filen sitemap.xml

Det finns 3 obligatoriska direktiv som måste fyllas i ändå, dessa är taggar:

• < urlset>
• < url>
• < loc>

Och även 3 valfria taggar:

• < lastmod>
• < changefreq>
• < priority>

Här är ett memo om att avkoda varje tagg från den officiella webbplatsen http://www.sitemaps.org/ru/protocol.html:

Spara detta memo. Det kommer definitivt att vara användbart för dig i början. En annan fördel med XML-webbplatskarta är dess flexibilitet. Flexibiliteten ligger i kombinationen av olika valfria direktiv.

Nu när du har en klar förståelse för vad en XML-webbplatskarta är och du känner till huvuddirektiven för den här filen, kan du gå vidare till att kompilera den.

2. Rita upp filen sitemap.xml

Det finns tre sätt att skapa en webbplatskarta:

• Manuellt;
• Automatiskt, med hjälp av speciella tjänster;
• Automatiskt, med hjälp av färdiga lösningar i form av plugins för CMS osv.

Processen för att förbereda en webbplatskarta är som följer:

• Vi gör en webbplatskarta på ett av sätten som anges ovan;
• Vi kontrollerar giltigheten med hjälp av sökmotortjänster (https://webmaster.yandex.ru/sitemaptest.xml);
• Vi placerar filen på webbplatsen;
• Vi anger sökvägen till webbplatskartan för sökrobotar i robots.txt-filen (Förresten, det finns en separat artikel om det);
• Vi anger webbplatskartan i panelen Yandex och Googles webbansvariga.

Så hur komponerar man en sitemap-fil?

Låt oss titta på ett exempel på hur man komponerar en fil manuellt. Om du vill lägga till 5 sidor av din webbplats till webbplatskartan:

Så här ska XML-webbplatskartan se ut:

Om det behövs, lägg till valfria taggar från cheat sheet som jag angav ovan. Ytterligare taggar skrivs i behållaren , efter att ha angett webbadressen till sidan i taggen https://mkr-novo2.ru/sv/... Till exempel:

Ovanstående kod indikerar för sökmotorn att sidan http://site.ru/

ändrades senast den 1 januari 2005. Den uppdateras en gång i månaden. Och den här sidans prioritet är 0,8 (högsta möjliga är 1).

Funktionen att markera ihopparade taggar är särskilt bekväm.

Tjänster för att skapa webbplatskarta

Om din webbplats har många användbara sidor och du inte vill slösa tid på att kompilera en fil manuellt, kommer följande tjänster att hjälpa dig:

Det finns många sådana tjänster. Jag använder https://www.xml-sitemaps.com/.

Jag kommer kortfattat förklara alla inställningar:

Plugins för CMS

Det finns ett stort antal plugins och färdiga lösningar för webbplatshanteringssystem. Till exempel:

Giltighet

När du har skapat en webbplatskarta måste du kontrollera den för fel. För att kontrollera, använd tjänsten https://webmaster.yandex.ru/sitemaptest.xml

Efter framgångsrik verifiering laddar du upp vår fil till webbplatsen.

Filens plats

Till skillnad från en robots.txt-fil kan en sitemap.xml-fil finnas var som helst på din webbplats. Till exempel, i rotmappen på webbplatsen, kommer filen att finnas tillgänglig på följande adress:

Om du har placerat filen i mappen / filer / kommer den att vara tillgänglig på denna adress:

När du har laddat upp filen, var noga med att berätta för sökrobotarna hur de hittar den här filen. Detta görs väldigt enkelt. I filen robots.txt () i webbplatskartdirektivet skriver du hela webbadressen till filen. Till exempel kan en robots.txt-fil se ut så här:

Viktig! Till skillnad från robots.txt kan det finnas flera webbplatskartor. I det här fallet är det nödvändigt att i robotar och webbansvariga ange den fullständiga adressen till alla webbplatskartor.

Search Console och Yandex.Webmaster Panel

Den sista etappen återstår. Ange sökvägen till webbplatskartan i panelerna hos sökmotorernas webbansvariga.

• Ställa in indexering
• Webbplatskartor
• Kontrollera och lägg till

Det bör noteras begränsningarna i XML-webbplatskartan:

• Högst 50 000 webbadresser kan anges i en fil
• Filvikten är inte mer än 10 megabyte (sökmotorer indexerar inte dokument som överstiger 10 megabyte). Om det behövs kan filen komprimeras med .gzip-arkivet.
• Filkodning endast i UTF-8

Detta avslutar de viktigaste stegen. Följ alla enkla regler som beskrivs och du kommer inte att ha några misstag. Den andra delen av artikeln ägnas åt en mer detaljerad inställning, finesser och funktioner i sitemap.xml, du kommer att behöva denna kunskap för att skapa en professionell webbplatskarta för onlinebutiker.

3. Gruppera webbplatskartfiler

Om gränsen på 50 000 webbadresser överskrids måste du använda den kapslade strukturen och skapa en grupp med flera webbplatskartor. Det vill säga skapa webbplatskartor i webbplatskartan!

För en vanlig webbplats (inte en stor portal eller onlinebutik) är en sådan volym av sidor sällsynt, så de flesta SEO-specialister använder webbplatskartagruppering för bekvämlighet, till exempel för att gruppera produktsidor eller sektioner.

Syntaxen är som följer:

Definition av XML-taggar:

Detta skapar en grupperad webbplatskarta. Alla andra procedurer är desamma som beskrivits ovan. Glöm inte att ange rätt länk till din fil i robots.txt-filen, i direktivet om webbplatskartor.

4. Forskning

I slutet av 2014 gjorde jag lite research för att analysera effektiviteten av att ha en sitemap.xml-fil på en webbplats.

Det uppstod ett problem med att indexera produktgruppen på webbbutikens webbplats (det fanns cirka 10 000 produkter). Samtidigt hindrade ingenting deras indexering. En sitemap-fil kompilerades, som endast bestod av länkar till webbplatsprodukter. Webbplatskartan uppdaterades automatiskt. Under 2 månader kom mer än 70 % av webbadresserna in i indexbasen för Yandex sökmotor. En stor del av sidorna i indexet är sidor från webbplatskartan. Observera att under denna period vidtogs inga andra åtgärder för att påskynda indexeringen av webbplatsen (till exempel länkning).

Här är själva resultaten:

Takeaway: Webbplatskarta påverkar fortfarande indexeringen av din webbplats. Det är nödvändigt att regelbundet uppdatera och uppdatera denna fil.

5. Chips

För att artikeln inte ska visa sig vara tråkig för erfarna SEO-specialister, föreslår jag att du bekantar dig med följande "tricks".

Bildwebbplatskarta

Att attrahera ytterligare trafik från sökmotorer (kanske inte riktigt konvertering) kan du skapa en ytterligare webbplatskarta för bilder.

Syntaxen för en bildwebbplatskarta ser ut så här:

XML Tags Cheat Sheet:

Life hack för den som läst klart

Många SEO-proffs genererar webbplatskartor en gång i början av ett projekt. Sedan glömmer de bort webbplatskartan. Sidor indexerade - bra. Nej - vad kan du göra?! De glömmer vanligtvis att lägga till nya sidor i webbplatskartan.

Under min forskning fick jag reda på det mest på ett bekvämt sätt lösningen på detta problem är separat fil sitemap.xml, som endast kommer att innehålla de sidor på webbplatsen som ännu inte har indexerats.

Och det är just detta som gjorde det möjligt att driva in över 70 % av nya webbadresser i Yandex-index.

Den här artikeln visar hur du skapar en webbplatskarta och delar den med Google.

Skapa och skicka in webbplatskartor

Filformat för webbplatskartor

Google stöder flera webbplatskartor som beskrivs nedan. Alla format bör använda ett standardprotokoll. Google stöder för närvarande inte attributet Webbplatskartor.

Alla format omfattas av följande begränsningar: en webbplatskartfil får inte innehålla fler än 50 000 webbadresser och dess okomprimerade storlek får inte överstiga 50 MB. Om filstorleken eller antalet adresser som anges i den överskrider dessa gränser, dela upp den i flera delar. Du kan skapa en indexfil för webbplatskartor som listar alla webbplatskartor i den och skicka dem till Google på en gång.

Textfil

Om din webbplatskarta bara innehåller webbadresser till sidan kan du skicka in Google normalt en textfil med dessa webbadresser (en på varje rad). Exempel:

Http://www.example.com/fil1.html http://www.example.com/fil2.html

• Du måste använda UTF-8-kodning.
• Filen ska inte innehålla något annat än en lista med webbadresser.
• Detta textfil du kan ge vilket namn som helst, men du måste använda tillägget .txt (till exempel sitemap.txt).

Google Sites

Om webbplatsen skapades och verifierades med Google Sites genereras webbplatskartan automatiskt. Den kan inte ändras, men den kan skickas till Google för att få information för rapporter. Observera att om en underkatalog innehåller mer än 1 000 sidor kanske webbplatskartan inte visas korrekt.

• Om dina sidor finns på Google Sites bör webbplatskartan finnas på http://sites.google.com/site/ VashSait / system / feeds / sitemap.
• Om webbplatsen skapades med Google appar Webbplatskartans webbadress ska vara så här: http://sites.google.com/ VashDomen /VashSait / system / feeds / sitemap.

Filtillägg för webbplatskartor

Google stöder utökad syntax för webbplatskartor för de typer av information nedan. Den kan användas för att lägga till beskrivningar för videor, bilder och annat innehåll för att förbättra dess indexering.

På senare tid måste vi ofta svara på frågor relaterade till webbplatskartfiler. Ökningen i intresse för detta långt ifrån den viktigaste aspekten av webbplatsoptimering beror på exit ny version Yandex.Webmaster, som markerar frånvaron av en webbplatskarta som ett fel.

I kapitlet " Möjliga problem»Följande meddelande visas:

Inga webbplatskartor som används av roboten
Roboten använder inga webbplatskartfiler. Detta kan negativt påverka hastigheten för indexering av nya sidor på webbplatsen. Om rätt platskartor redan har lagts till i bearbetningskön försvinner meddelandet automatiskt när du börjar använda dem.
Var uppmärksam på avsnittet "Webbplatskartor".

Är den här varningen så skrämmande? Är det obligatoriskt att skapa en webbplatskarta, och i så fall varför? Låt oss lägga den på hyllorna.

Vad är en webbplatskarta och vad är den till för?

Oftast används xml-formatet, vilket gör att du kan specificera, förutom webbadresserna själva, några av deras egenskaper (frekvensen av uppdateringar och ändringar, sidans relativa betydelse). Men en mycket enkel struktur kan också användas. Detta är en txt-fil som innehåller en lista med URL:er (var och en på en ny rad) - inget annat.

Syftet med listan är att ge sökspindlar information om de dokument som finns på webbplatsen. Detta hjälper roboten att hitta alla sidor i resursen och lägga till dem i sökresultaten. Ytterligare data från xml är en rekommendation för sökspindlar att besöka vissa sidor mer eller mindre ofta. Jag har för övrigt inte hört något om hur dessa rekommendationer genomförs. Det kan mycket väl vara så att de inte beaktas alls eller är en mycket svagare signal jämfört med andra faktorer.

Myter om webbplatskartor

1. Det räcker med att göra en sitemap.xml - och du behöver inte oroa dig för indexering

Detta är den vanligaste missuppfattningen som jag stöter på regelbundet. Faktum är att för stora webbplatser (hundratusentals sidor) är indexets fullständighet ett av de viktigaste problemen och det kan inte lösas genom att bara placera en webbplatskarta. Kortet ger roboten möjlighet att hitta alla sidor, men det betyder inte att a) indexering inte kommer att förhindras av något annat, till exempel tekniska problem, och b) att sökmotorn anser att sidan är "värdig" att söka efter.

2. Webbplatskarta krävs för alla webbplatser

Små projekt (upp till tusen sidor) med en mer eller mindre adekvat struktur, när du kan gå till vilken sida som helst med ett par klick, mår bra utan det. Detta är förståeligt både utifrån allmänna överväganden (den huvudsakliga mekanismen för att hitta material för indexering är genom att klicka på interna länkar) och från praktiken. Jag såg dussintals platser utan karta, som helt korrekt uppfattades av roboten.

Slutligen säger Google detsamma i sin hjälp:

Om sidorna i filen är korrekt länkade till varandra kan sökrobotar hitta det mesta av innehållet. Användning av en webbplatskartfil kan dock optimera webbplatsens genomsökning, särskilt i följande fall:

• Webbplatsens storlek är mycket stor. Googles sökrobotar kan hoppa över nyligen skapade eller modifierade sidor.
• Sajten innehåller ett stort arkiv av sidor som inte är relaterade till varandra. För att kunna genomsökas framgångsrikt kan de listas i webbplatskartfilen.
• Din webbplats är nyskapad och det finns få länkar som pekar på den. Googlebot och andra sökrobotar genomsöker Internet genom att följa länkar från en sida till en annan. Om det finns få länkar som pekar till din sida blir den svår att hitta.
• Webbplatsen använder multimedieinnehåll, visas i Google Nyheter eller använder andra kommentarer som är kompatibla med webbplatskartor. Den kan få ytterligare information från webbplatskartfiler för visning i sökresultat.

3. Om du tar bort en sida från webbplatskartan kommer den att falla ur indexet

Likaså en myt. Inför stor mängd sajter där sajtkartan ramlade av på grund av tekniska problem eller gavs till robotar i kraftigt reducerad form. Det kunde skada sökandet efter nya sidor, men de gamla var bra.

Tvärtom används ofta tekniken "ta bort allt indexerat från kartan för att fokusera robotens uppmärksamhet på nya sidor". Det har en viss effekt när det gäller att optimera genomsökningen (crawlningen) av sajten. Men i de flesta fall rekommenderar jag inte att använda det, se nedan för skälen.

4. Se till att konfigurera alla ytterligare. parametrar (prioritet, uppdateringsfrekvens)

Nej. Som redan nämnts kan du utan problem använda en vanlig txt-fil med en url-lista. Naturligtvis blir det inte sämre av att ange maximal information i kartan. Men:

1. Det finns inga tillförlitliga bevis för att sökmotorer faktiskt tar hänsyn till dessa instruktioner. Faktum är att Yandex ofta ignorerar till och med en mycket striktare rekommendation - serverhuvudena Last-Modified och If-Modified-Since (se).
2. Även om signaler beaktas strikt enligt sökmotorernas uttalanden - det vill säga som en rekommendation - så kommer vinsten i scanningseffektiviteten oftast att vara mycket obetydlig. Undantaget är egentligen, där indexets fullständighet är avgörande.
3. Att tillhandahålla all data kräver ytterligare mödosamt arbete från SEO-analytikern för att välja deras värden.
4. På samma sätt är det en extra utvecklingskostnad att sätta upp genereringen av en fil med alla parametrar.
5. Punkterna 3 och 4 är ännu allvarligare än de verkar. När allt kommer omkring förändras sajten, den utökade datan måste också ändras, annars blir rekommendationerna irrelevanta.

Jag tror att det räcker med myter, låt oss gå vidare till riktiga rekommendationer.

Hur arbetar man korrekt med webbplatskarta?

Det mesta av informationen du behöver veta om att skapa filer och ge robotar tillgång till dem finns i sökmotorhjälpen. Se hjälpen för Google och Yandex. Jag ska berätta om några icke-uppenbara punkter.

För det första kan en fil med en lista över webbadresser, som är lätt att komma åt, vara användbar inte bara för sökrobotar. Det är extremt användbart för ett antal SEO-analysuppgifter.

Ett par exempel.

Bedömning av indexets fullständighet och kvalitet

Eftersom vi vet exakt hur många sidor som är tillgängliga för sökmotorer (antalet länkar i kartan är lätt att beräkna) gör det att vi snabbt kan uppskatta hur fullständigt indexerad den är. Vi gör en grov uppskattning med hjälp av operatorn "site:" (bättre med några justeringar, se).

Om antalet sidor i sökresultaten är färre än i kartan hittar vi de som har undkommit robotarna och driver dem in i sökningen - genom att redigera strukturen, Twitter () osv.

Om fler, då slumpmässigt genererade "skräp"-sidor kunde ha hamnat i sökningen. De måste hittas och antingen komma ihåg eller stängas med robots.txt, kanoniska, metataggar. Återigen, en lista över vad du behöver är användbar för att hitta överskottet, vilket är en webbplatskarta.

Hitta sidor som inte genererar trafik

Om sidan finns på sidan, men inte ger oss besökare under en längre tid, är det något fel på den. Du måste hitta sådana webbadresser och förstå orsakerna – ofta bidrar detta till att öka trafiken mycket.

Hur man gör det? Åtminstone så här:

Vi bygger i Metrica en rapport om ingångssidor från sök under ett kvartal:

Vi filtrerar efter källa - efter en av sökmotorerna som vi arbetar för:

Och dumpa listan över sidor (tabelldata) i Excel.

Nu sitter vi kvar med:

a) kör om xml-kort i excel (det finns ett hav av onlinekonverterare för detta).

b) använda excel-funktioner vi hittar url, som finns i kolumnen från kartan, men inte i kolumnen från Metrica.

Algoritmen ser ganska krånglig ut, men det är inget komplicerat med det. Och för de lata som värdesätter sin tid (som jag) finns processautomatisering. En av rapporterna från min webbplatsanalystjänst är just. Igår kom den till exempel ut, där en webbplatskarta används för att söka efter potentiellt farliga sidor som drivs in i indexet av länkspam från konkurrenter som vill skada sidan.

Det finns många fler liknande exempel. Poängen ligger inte i dem, utan i det faktum att det är mycket användbart att ha en uppdaterad lista över webbplatssidor till hands. Den kan snabbt nås med hjälp av olika tjänster och mjukvara (i extrema fall med excel) och användas i processen för webbplatsoptimering.

Men vad kan jag säga, till och med en vanlig teknisk revision med applikationen är bekvämare att göra om du anger en icke-url startsida som vanligt och webbplatskarta. Processen görs mer hanterbar: du kan förvälja en del av sidorna för analys (till exempel för det mest problematiska avsnittet) och inte vänta tills andra har bearbetats.

Detta var det första inte särskilt uppenbara ögonblicket.

Vad är det bästa sättet att ge robotar tillgång till kartan?

I vissa fall är det bättre att inte specificera stiemap-länken i robots.txt, utan att skicka den manuellt via Google Search Console och Yandex.Webmaster. Faktum är att alla kan se det i robots.txt. Till exempel någon skurk som letar efter var man kan analysera innehåll. Du ska inte göra det lätt för honom.

Om du ger SEO paranoia att ströva ännu mer, då kommer tanken att inte använda standardnamn(sitemap.xml), men namnge filen något annat så att den inte hittas genom att ange det traditionella namnet.

Jag ska inte säga att detta är ett särskilt kritiskt råd, men varför inte sprida sugrör om det är lätt?

Sammanfattning

1. Sitemap-filen hjälper webbplatsen när det gäller indexering, men är inte på något sätt ett universalmedel. Om det finns problem med indexets fullständighet måste de åtgärdas på ett omfattande sätt.
2. Det är valfritt, men önskvärt för stora webbplatser och vissa specifika uppgifter (se ovanstående citat från Google Hjälp).
3. Den föregående punkten är sann i förhållande till uppgiften "att göra livet lättare för sökrobotar". Men för uppgifterna att analysera webbplatsen och fatta beslut i optimeringsprocessen är det praktiskt att ha en karta till hands för nästan alla webbplatser (förutom för mycket små).
4. Det viktigaste kravet för en webbplatskarta (förutom efterlevnad av standarder) är fullständighet och relevans. För SEO-analysuppgifter fungerar kartan som en referens mot vilken andra listor med webbadresser jämförs (de i indexet; som det finns inkommande länkar till; som det finns klick till från sökningen, och så vidare). Därför, när du skapar, måste du omedelbart ta hand om dess regelbundna uppdatering.
5. Om det finns ett behov av att hantera indexering genom att ta bort redan indexerade sidor från webbplatskartan, kan du ha 2 olika filer - ge den ena till robotarna och behåll den andra för dina egna analysbehov.

Puh, till synes ett enkelt ämne, och artikeln är nästan 1 500 ord lång. Grattis till mig själv som skrev den och till dig som läste den. Vi plågar båda oöverträffat!