Wordpress robots txt dosyası nasıl kurulur. WordPress için çalışan örnek talimatlar

Robots.txt - indekslemede çok önemli bir rol oynar. Doğru robots.txt genellikle çok önemlidir. O ne kadar doğru? Ve kim söyledi? Ancak kaynağı arama motorlarında tanıtmaya kesinlikle yardımcı olacak mı? İnternette bununla ilgili bilgileri optimize ettiğimde ve aradığımda da buna benzer pek çok soruyla karşılaştım. Prensip olarak, Ucoz'da bir web sitem olduğunda (belki bu arada, hakkındaki makaleyi beğeneceksiniz) robotlarla ilgilenmeye başladım, çünkü orada yapılandırılabilir ve temelleri öğrendim.

Basitçe söylemek gerekirse: kaynağınızın doğru sunumu için. Örneğin, arama robotları sitenizi ziyaret ederken ve dizine eklerken gereksiz sistem öğelerini alıp dizine ekleyebilir. Kural olarak, bu tür sayfalar robotlar tarafından taranmaya pek uygun değildir ve bu nedenle yetersiz optimize edilmiş olarak kabul edilirler. Bu sayfalardan çok fazla varsa, arama motoru projenizi arama sonuçlarında düşürebilir.

Daha az üzücü olmayan tam tersi durumda, sitenizin indekslemeye tamamen kapatılacağı ortaya çıkabilir. Bu çok sık olmaz, ama yine de düşünmelisiniz.

WordPress için uygun robots.txt kurulumu

Su dökmemek için hemen iki yol olduğunu söyleyeceğim. robots.txt dosyasını Yoast SEO eklenti düzenleyicisi aracılığıyla kurabilirsiniz (bu ŞİDDETLE TAVSİYE EDİLİR kurulum için) veya böyle bir dosyayı manuel olarak oluşturun (örneğin, not defterinde) ve sitenin kök dizinine yerleştirin. İkinci durumda, bu arada, dosyayı şu adreste bulunabilecek şekilde yerleştirmeniz gerektiğini hatırlamakta fayda var: site.ru/robots.txt.

Yine de, bu küçük şeylerle çözeceğinizi düşünüyorum. Bu dosyanın içeriğine odaklanalım.

Kullanıcı aracısı: * İzin Verme: /cgi-bin İzin Verme: /? İzin verme: /search/ İzin verme: /yazar/ İzin verme: /users/ İzin verme: */trackback İzin verme: */feed İzin verme: */rss İzin verme: /wp- İzin verme: *?s= İzin verme: *&s= İzin verme: */ embed Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Disallow: /tag/ # Çok fazla yinelenen indekslemeyi önlemek için kapatın. # Etiketlerin indekslenmesini istiyorsanız bu kuralı kaldırın. İzin Ver: */uploads Kullanıcı aracısı: GoogleBot İzin Verme: /cgi-bin İzin Verme: /? İzin verme: /search/ İzin verme: /yazar/ İzin verme: /users/ İzin verme: /wp- İzin verme: *?s= İzin verme: *&s= İzin verme: */trackback İzin verme: */feed İzin verme: */rss İzin verme: */ embed İzin verme: /xmlrpc.php İzin verme: *utm= İzin verme: *openstat= İzin ver: */uploads İzin ver: /*/*.js İzin ver: /*/*.css İzin ver: /wp-*.png İzin ver: /wp -*.jpg İzin ver: /wp-*.jpeg İzin ver: /wp-*.gif İzin ver: /wp-admin/admin-ajax.php Kullanıcı aracısı: Yandex İzin verme: /cgi-bin İzin verme: /? İzin verme: /wp- İzin verme: *?s= İzin verme: *&s= İzin verme: /search/ İzin verme: /yazar/ İzin verme: /users/ İzin verme: */trackback İzin verme: */feed İzin verme: */rss İzin verme: */ embed İzin verme: /xmlrpc.php İzin ver: /wp-*.jpg İzin ver: /wp-admin/admin-ajax.php İzin ver: */uploads İzin ver: /wp-*.jpeg İzin ver: /wp-*.gif İzin ver: /*/*.js İzin ver: /*/*.css İzin ver: /wp-*.png Clean-Param: utm_source&utm_medium&utm_campaign Clean-Param: openstat Site Haritası: https://site.ru/sitemap.xml Site Haritası: https:/ /site.ru/sitemap.xml.gz # Haritayı oluşturmak için Google XML Site Haritası Ana Bilgisayarının kullanılıp kullanılmadığını belirtin: https://site.ru # Protokol ile belirtin

Birkaç çok önemli nokta:

Kullanıyorsanız / kullanacaksanız, Yandex'in xml dosyasına erişmesine izin vermeniz gerekir.
İçeriği bir dosyaya kopyaladığınızda, yorumları kaldırmak daha iyidir (# ile açıklamalar)
Daha önce de söylediğim gibi, kural İzin verme: /etiket/ kaldırılabilir. Kişisel olarak, çok sayıda yinelenen (aynı içeriğe sahip sayfalar) nedeniyle etiketleri dizine eklemeden kaldırdım, çünkü bunların tanıtım üzerinde zararlı bir etkisi var.
Bir SSL sertifikası (ve https protokolü) KULLANMIYORSANIZ, Host: 'da http protokolünü belirtmeniz GEREKMEZ. Yönerge, Host: www.site.ru veya Host: site.ru gibi görünecektir.

Neden her robot için kurallar belirlemeniz gerekiyor?

Bazı optimize edicilere ve web yöneticilerine göre bu yaklaşım sayesinde web sitesi tanıtımında çok daha iyi sonuçlar elde edebilirsiniz. Ve bu mantıklı: kurallar her robot için doğrudan talimatlar içeriyorsa, o zaman daha aktif ve daha sık indekslenirler.

Bu sayfayı ziyaret ettiyseniz, robots.txt dosyasının WordPress'te nerede olduğunu merak ediyorsunuzdur. Bu sorunla yaygın olarak karşılaşılmaktadır. Bu kısa makaleyi okuduktan sonra, bilmeniz gereken her şeyi öğreneceksiniz.

Genel olarak, "Dosya sitenin kök dizininde bulunur" yazabilirim. Ne yazık ki, bu cevap ziyaretçilerin yalnızca bir kısmını tatmin edecek, herkes "kökler" ve benzerlerini bilmiyor. Bunun üzerine, her şeyi ilk kez olduğu gibi analiz edelim.

Bir robots.txt dosyasının var olup olmadığı nasıl kontrol edilir

Öncelikle, gerekli dosyanın var olup olmadığını kontrol edelim, bunun için tarayıcı satırına site address.ru/robots.txt adresini giriyoruz, belge açılırsa ve metni İngilizce görürseniz, bunun gibi bir şey:

Yani her şey yolunda, dosya var, aksi takdirde büyük olasılıkla eksik veya ihtiyaç duyulan yerde bulunmuyor, oluşturulması gerekecek.

Öncelikle site dosyalarıyla çalışmanın sizin için ne kadar uygun olduğuna karar verelim. Bunu yapmanın birkaç yolu var. İlki pek uygun değil, ancak Windows severler için daha tanıdık - bu, barındırma sisteminizde, sitenizde dosya ve klasörler oluşturup sildiğiniz bir programdır. Her şey şöyle bir şeye benzemeli:

WWW/SİTENİZ klasöründe wp-includes, wp-content, wp-admin klasörleri olmalı bunların altında ihtiyacınız olan robots dosyası var. Bir yöntem çözüldü, bir sonrakine geçebilirsiniz.

Sitemap.xml dosyası ve site için doğru robots.txt, web kaynağının tüm gerekli sayfalarının arama robotları tarafından hızlı ve eksiksiz dizine eklenmesine katkıda bulunan iki zorunlu belgedir. Yandex ve Google'da uygun site indeksleme, arama motorlarında başarılı blog tanıtımının anahtarıdır.

XML formatında bir site haritasının nasıl yapıldığını ve neden gerekli olduğunu zaten yazdım. Şimdi bir WordPress sitesi için doğru robots.txt dosyasının nasıl oluşturulacağı ve buna neden ihtiyaç duyulduğu hakkında konuşalım. Bu dosya hakkında ayrıntılı bilgi sırasıyla Yandex ve Google'ın kendisinden alınabilir. Örnek olarak dosyamı kullanarak özüne değineceğim ve WordPress için ana robots.txt ayarlarına değineceğim.

Bir site için neden bir robots.txt dosyasına ihtiyacınız var?

robots.txt standardı Ocak 1994'te tanıtıldı. Bir web kaynağını tararken, arama robotları önce bir web sitesinin veya blogun kök klasöründe bulunan robots.txt metin dosyasını arar. Onun yardımıyla, farklı arama motorlarının robotları için siteyi dizine ekleyecekleri belirli kurallar belirleyebiliriz.

Robots.txt dosyasının doğru ayarlanması şunları sağlar:

kopyaları ve çeşitli çöp sayfaları dizinden hariç tutun;
gizlemek istediğimiz sayfaların, dosyaların ve klasörlerin indekslenmesini yasaklamak;
genellikle bazı arama robotlarına endekslemeyi reddedin (örneğin, rakiplerden gelen bağlantılarla ilgili bilgileri gizlemek için Yahoo);
sitenin ana aynasını belirtin (www ile veya www olmadan);
sitemap.xml site haritasının yolunu belirtin.

Bir web sitesi için doğru robots.txt nasıl oluşturulur?

Bunun için özel oluşturucular ve eklentiler var ama bunu manuel olarak yapmak daha doğru.

Herhangi bir metin düzenleyici (örneğin, Notepad veya Notepad ++) kullanarak robots.txt adında bir düz metin dosyası oluşturmanız ve bunu blog kök klasöründeki barındırmaya yüklemeniz yeterlidir. Bu dosyada, belirli yönergeleri yazmanız gerekir, yani. Yandex, Google vb. robotlar için indeksleme kuralları.

Bununla uğraşamayacak kadar tembelseniz, aşağıda benim açımdan blogumdan WordPress için doğru robots.txt örneğini vereceğim. Üç yerde alan adını değiştirerek kullanabilirsiniz.

Robots.txt Oluşturma Kuralları ve Yönergeleri

Bir blogun başarılı arama motoru optimizasyonu için, robots.txt oluşturmaya yönelik bazı kuralları bilmeniz gerekir:

Robots.txt dosyasının olmaması veya boş olması, arama motorlarının web kaynağının tüm içeriğini dizine eklemesine izin verildiği anlamına gelir.
robots.txt, site.ru/robots.txt adresinde açılarak robota 200 OK yanıt kodu ve en fazla 32 KB boyutunda olmalıdır. Açılamayan (örneğin, 404 hatası nedeniyle) veya daha büyük bir dosya izinli kabul edilecektir.
Dosyadaki yönerge sayısı 1024'ü geçmemelidir. Bir satır uzunluğu 1024 karakteri geçmemelidir.
Geçerli bir robots.txt dosyası, her biri bir User-agent yönergesiyle başlamalı ve en az bir Disallow yönergesi içermelidir. Genellikle talimatları Google ve diğer tüm robotlar için robots.txt dosyasına ve Yandex için ayrı olarak yazarlar.

Ana robots.txt yönergeleri:

User-agent - talimatın hangi tarayıcıya yönlendirildiğini gösterir.

"*" simgesi, bunun tüm robotlar için geçerli olduğu anlamına gelir, örneğin:

Kullanıcı aracısı: *

Yandex için robots.txt dosyasında bir kural oluşturmamız gerekirse şunu yazarız:

Kullanıcı aracısı: Yandex

Belirli bir robot için bir yönerge belirtilirse, User-agent: * yönergesi robot tarafından yoksayılır.

İzin Verme ve İzin Ver - sırasıyla, robotların belirtilen sayfaları dizine eklemesine izin verin ve yasaklayın. Tüm adresler sitenin kökünden belirtilmelidir, yani. üçüncü eğik çizgiden başlayarak. Örneğin:

Tüm sitenin tüm robotlar için indekslenmesinin yasaklanması:
Kullanıcı aracısı: *
izin verme: /
Yandex'in /wp-admin ile başlayan tüm sayfaları dizine eklemesi yasaktır:
Kullanıcı aracısı: Yandex
İzin verme: /wp-admin
Boş bir Disallow yönergesi, her şeyin dizine eklenmesine izin verir ve Allow yönergesine benzer. Örneğin, Yandex'in tüm siteyi dizine eklemesine izin veriyorum:
Kullanıcı aracısı: Yandex
İzin verme:
Ve tam tersi, tüm sayfaların tüm arama robotları tarafından dizine eklenmesini yasaklıyorum:
Kullanıcı aracısı: *
izin vermek:
Aynı User-agent bloğundaki Allow ve Disallow yönergeleri, URL önek uzunluğuna göre sıralanır ve sırayla yürütülür. Sitenin bir sayfası için birkaç yönerge uygunsa, listedeki sonuncusu yürütülür. Artık direktiflerin robot tarafından kullanılması için yazı sıralarının bir önemi yoktur. Yönergelerin aynı uzunlukta ön ekleri varsa, önce Allow yürütülür. Bu kurallar 8 Mart 2012'de yürürlüğe girdi. Örneğin, yalnızca /wp-includes ile başlayan sayfaların dizine alınmasına izin verir:
Kullanıcı aracısı: Yandex
izin verme: /
İzin ver: /wp-includes

Site Haritası - XML site haritasının URL'sini belirtir. Aynı sitede iç içe yerleştirilebilen birden çok Site Haritası yönergesi olabilir. Site indekslemesini hızlandırmak için tüm Site Haritası dosya adresleri robots.txt dosyasında belirtilmelidir:

Site haritası: http://site/sitemap.xml.gz
Site haritası: http://site/sitemap.xml

Sunucu - ayna robotuna sitenin hangi aynasının ana ayna olarak kabul edildiğini söyler.

Site birkaç adreste mevcutsa (örneğin, www'li ve www'siz), bu, filtrenin altına girebileceğiniz tam kopya sayfalar oluşturur. Ayrıca bu durumda ana sayfa dizine eklenemez, aksine ana sayfa arama motoru dizininden çıkarılır. Bunu önlemek için, robots.txt dosyasında yalnızca Yandex'e yönelik olan ve yalnızca bir tane olabilen Host yönergesi kullanılır. Disallow ve Allow'dan sonra yazılır ve şöyle görünür:

ev sahibi: web sitesi

Tarama gecikmesi - sayfa indirmeleri arasındaki gecikmeyi saniye cinsinden ayarlar. Ağır bir yük varsa ve sunucunun istekleri işlemek için zamanı yoksa kullanılır. Yeni sitelerde Tarama geciktirme yönergesini kullanmamak daha iyidir. Şöyle yazıyor:

Kullanıcı aracısı: Yandex
Tarama gecikmesi: 4

Clean-param - yalnızca Yandex tarafından desteklenir ve değişkenlere sahip yinelenen sayfaları tek bir sayfaya yapıştırarak ortadan kaldırmak için kullanılır. Böylece Yandex robotu, örneğin yönlendirme bağlantılarıyla ilişkili olanlar gibi benzer sayfaları birçok kez indirmeyecektir. Bu yönergeyi henüz kullanmadım, ancak Yandex için robots.txt yardımında, makalenin başındaki bağlantıda bu yönergeyi ayrıntılı olarak okuyabilirsiniz.

* ve $ özel karakterleri, Disallow ve Allow yönergelerinin yollarını belirtmek için robots.txt dosyasında kullanılır:

Özel karakter “*”, herhangi bir karakter dizisi anlamına gelir. Örneğin, İzin Verme: /*?*, bu karakterden önce ve sonra hangi karakterlerin geldiğine bakılmaksızın, adreste “?” geçen tüm sayfaların yasaklanması anlamına gelir. Varsayılan olarak, özel olarak yazılmamış olsa bile her kuralın sonuna “*” özel karakteri eklenir.
“$” karakteri, kuralın sonundaki “*” işaretini iptal eder ve kesin eşleşme anlamına gelir. Örneğin, Disallow: /*?$ yönergesi “?” ile biten sayfaların indekslenmesini yasaklayacaktır.

WordPress robots.txt örneği

İşte bir WordPress blogu için robots.txt dosyamın bir örneği:

Kullanıcı aracısı: * İzin verme: /cgi-bin İzin verme: /wp-admin İzin verme: /wp-includes İzin verme: /wp-content/plugins İzin verme: /wp-content/cache İzin verme: /wp-content/themes İzin verme: / trackback İzin verme: */trackback İzin verme: */*/trackback İzin verme: /feed/ İzin verme: */*/feed/*/ İzin verme: */feed İzin verme: /*?* İzin verme: /?s= User-agent: Yandex İzin verme: /cgi-bin İzin verme: /wp-admin İzin verme: /wp-includes İzin verme: /wp-content/plugins İzin verme: /wp-content/cache İzin verme: /wp-content/themes İzin verme: /trackback İzin verme: */ trackback İzin verme: */*/trackback İzin verme: /feed/ İzin verme: */*/feed/*/ İzin verme: */feed İzin verme: /*?* İzin verme: /?.ru/sitemap.xml..xml

WordPress için doğru robots.txt dosyasını oluşturarak kendinizi kandırmamak için bu dosyayı kullanabilirsiniz. İndekslemede sorun yok. Bir kopya koruma betiğim var, bu yüzden hazır robots.txt dosyasını indirip barındırma sunucunuza yüklemeniz daha uygun olacaktır. Barındırıcı ve Site Haritası yönergelerinde sitemin adını sizinkiyle değiştirmeyi unutmayın.

WordPress için robots.txt dosyasını düzgün bir şekilde yapılandırmak için faydalı eklemeler

WordPress blogunuza ağaç yorumları yüklendiyse, ?replytocom= gibi yinelenen sayfalar oluştururlar. robots.txt dosyasında bu tür sayfalar Disallow: /*?* yönergesi ile kapatılır. Ancak bu bir çıkış yolu değil ve yasakları kaldırmak, ancak answertocom'u farklı bir şekilde ele almak daha iyidir. Ne, .

Dolayısıyla, Temmuz 2014'e ait mevcut robots.txt şöyle görünür:

Kullanıcı aracısı: * İzin Verme: /wp-includes İzin Verme: /wp-feed İzin Verme: /wp-content/plugins İzin Verme: /wp-content/cache İzin Verme: /wp-content/themes Kullanıcı Aracısı: Yandex İzin Verme: /wp - içerir İzin Verme: /wp-feed İzin Verme: /wp-content/plugins İzin Verme: /wp-content/cache İzin Verme: /wp-content/themes Ana Bilgisayar: site.ru User-agent: Googlebot-Image İzin Ver: /wp-content /uploads/ Kullanıcı Aracısı: YandexImages İzin Ver: /wp-content/uploads/ Site Haritası: http://site.ru/sitemap.xml

Ayrıca görüntü indeksleme robotları için kurallar içerir.

Kullanıcı aracısı: Mediapartners-Google
İzin verme:

Kategori veya etiket sayfalarını tanıtmayı planlıyorsanız, bunları robotlar için açmalısınız. Örneğin, bir blog sitesinde, bölümlerin dizine eklenmesi kapatılmaz, çünkü yalnızca küçük makale duyuruları yayınlarlar, bu da içeriğin kopyalanması açısından oldukça önemsizdir. Ve benzersiz duyurularla dolu blog beslemesindeki alıntıların çıktısını kullanırsanız, o zaman hiçbir tekrar olmayacaktır.

Yukarıdaki eklentiyi kullanmıyorsanız, robots.txt dosyasında etiketlerin, kategorilerin ve arşivlerin indekslenmesinin yasak olduğunu belirtebilirsiniz. Örneğin, şu satırları ekleyerek:

İzin verme: /yazar/
İzin verme: /etiket
İzin verme: /kategori/*/*
İzin verme: /20*

Yandex.Webmaster panelinde robots.txt dosyasını kontrol etmeyi ve ardından barındırmaya yeniden yüklemeyi unutmayın.

Robots.txt'yi kurmak için herhangi bir eklemeniz varsa, yorumlara yazın. Şimdi bunun ne olduğu ve site için doğru robots.txt dosyasının nasıl oluşturulacağı, robots.txt dosyasında indekslemenin nasıl devre dışı bırakılacağı ve hataların nasıl düzeltileceği hakkında bir video izleyin.

robots.txt- arama robotlarına hangi dosya ve klasörlerin taranması (dizine eklenmesi) ve hangilerinin taranmaması gerektiğini söyleyen bir metin dosyası.

Yandex ve Google gibi arama motorları önce robots.txt dosyasını kontrol eder, ardından web sitelerini arşivleyen ve kategorize eden web robotları ile taramaya başlar.

robots.txt dosyası, bot'a belirli dosyaları veya dizinleri yok saymasını söyleyen bir dizi talimat içerir. Bu gizlilik nedenleriyle veya site sahibinin bu dosyaların ve dizinlerin içeriğinin arama motoru sonuçlarında görünmemesi gerektiğine inandığı için olabilir.

Bir web sitesinin birden fazla alt alanı varsa, her alt alanın kendi robots.txt dosyası olmalıdır. Tüm botların robots.txt dosyasını kullanmayacağını unutmamak önemlidir. Hatta bazı kötü amaçlı botlar, hangi dosyaları ve dizinleri gizlemek istediğinizi bulmak için robots.txt dosyasını bile okur. Ayrıca, robots.txt dosyası sitedeki belirli sayfaların yoksayılacağını belirtse bile, bu sayfalar, diğer taranan sayfalar tarafından bağlantı verilmişse, arama sonuçlarında görünmeye devam edebilir. WordPress için standart robots txt, indeks için tüm siteyi açar, bu nedenle WordPress'in gereksiz bölümlerini indekslemeden kapatmamız gerekir.

Optimum robots.txt

User-agent: * # robotlar için genel kurallar, Yandex ve Google hariç, # çünkü onlar için kurallar aşağıda Disallow: /cgi-bin # barındırma sistemi klasörü, her zaman kapalı Disallow: /? # ana sayfadaki tüm sorgu seçenekleri İzin Verme: /wp- # tüm WP dosyaları: /wp-json/, /wp-includes, /wp-content/plugins İzin Verme: /wp/ # burada bir /wp/ alt dizini varsa CMS yüklenir ( değilse, # kural kaldırılabilir) İzin Verme: *?s= # arama sorgusu İzin Verme: *&s= # arama sorgusu İzin Verme: /arama/ # arama sorgusu İzin Vermeme: /yazar/ # yazar arşivi yazar sütunları olan bir haber blogunuz varsa # yazarın arşivini açabilirsiniz, yazar sütunları olan bir haber blogunuz varsa Disallow: /users/ # yazarların arşivini açabilirsiniz Disallow: */trackback # trackbacks, yorumlardaki bildirimler bir makalenin açık # bağlantısı hakkında İzin Verme: */ besleme # tüm beslemeler İzin vermeme: */rss # rss beslemesi İzin vermeme: */embed # tüm yerleştirmeler İzin vermeme: */wlwmanifest.xml # Windows Live Writer manifest xml dosyası (kullanılmıyorsa , # kural kaldırılabilir) İzin Verme: /xmlrpc.php # WordPress API dosyası İzin Verme: *utm*= # utm etiketli bağlantılar İzin Verme: *openstat= # openstat etiketli bağlantılar İzin ver: */uploads # açık dosya klasörü yüklemeleri # Bir veya daha fazla Site Haritası dosyası belirtin (her Kullanıcı için kopya -agent # gerekli değildir). Google XML Site Haritası aşağıdaki örnekteki gibi 2 site haritası oluşturur. Site Haritası: http://site.ru/sitemap.xml Site Haritası: http://site.ru/sitemap.xml.gz # Ana bilgisayar artık gerekli değil.

Genişletilmiş sürüm (Google ve Yandex için ayrı kurallar)

User-agent: * # robotlar için genel kurallar, Yandex ve Google hariç, # çünkü onlar için kurallar aşağıdadır Disallow: /cgi-bin # barındırma klasörü Disallow: /? # ana sayfadaki tüm sorgu seçenekleri İzin Verme: /wp- # tüm WP dosyaları: /wp-json/, /wp-includes, /wp-content/plugins İzin Verme: /wp/ # burada bir /wp/ alt dizini varsa CMS yüklenir ( değilse, # kural kaldırılabilir) İzin Verme: *?s= # ara İzin Verme: *&s= # ara İzin Verme: /ara/ # ara İzin Verme: /yazar/ # yazarın arşivi İzin Verme: /users/ # yazarların arşivi İzin verme: */ geri izleme # geri izlemeler, açık bir makale bağlantısı göründüğünde yorumlarda bildirimler .xml # manifest xml dosyası Windows Live Writer (kullanılmıyorsa, # kaldırılabilir) İzin Verme: /xmlrpc.php # WordPress API dosyası İzin Verme: *utm*= # utm etiketli bağlantılar İzin Verme: *openstat= # openstat etiketli bağlantılar İzin ver: */uploads # dosyaların yüklendiği klasörü aç User-agent: GoogleBot # Google kuralları (yorumları tekrarlamayın) İzin Verme: /cgi-bin İzin Verme: /? İzin verme: /wp- İzin verme: /wp/ İzin verme: *?s= İzin verme: *&s= İzin verme: /search/ İzin verme: /yazar/ İzin verme: /users/ İzin verme: */trackback İzin verme: */feed İzin verme: */ rss İzin Verme: */embed İzin Verme: */wlwmanifest.xml İzin Verme: /xmlrpc.php İzin Verme: *utm*= İzin Verme: *openstat= İzin Ver: */uploads İzin Ver: /*/*.js # js komut dosyalarını / wp içinde aç - (/*/ - öncelik için) İzin ver: /*/*.css # /wp- içinde css dosyalarını aç (/*/ - öncelik için) İzin ver: /wp-*.png # eklentilerdeki, önbellek klasöründeki vb. resimler İzin ver: /wp-*.jpg # eklentilerdeki, önbellek klasöründeki vb. resimler. İzin ver: /wp-*.jpeg Eklentilerde, önbellek klasöründe vb. # resim. İzin ver: /wp-*.gif Eklentilerdeki, önbellek klasöründeki vb. # resim. İzin ver: /wp-admin/admin-ajax.php # eklentiler tarafından JS ve CSS'yi engellemekten kaçınmak için kullanılır Kullanıcı aracısı: Yandex # Yandex için kurallar (yorumları tekrarlamayın) İzin Verme: /cgi-bin İzin Verme: /? İzin verme: /wp- İzin verme: /wp/ İzin verme: *?s= İzin verme: *&s= İzin verme: /search/ İzin verme: /yazar/ İzin verme: /users/ İzin verme: */trackback İzin verme: */feed İzin verme: */ rss İzin Verme: */embed İzin Verme: */wlwmanifest.xml İzin Verme: /xmlrpc.php İzin Ver: */uploads İzin Ver: /*/*.js İzin Ver: /*/*.css İzin Ver: /wp-*.png İzin Ver: /wp-*.jpg İzin ver: /wp-*.jpeg İzin ver: /wp-*.gif İzin ver: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign # Yandex, indekslemeden #'in kapatılmasını değil, silinmesini önerir etiket parametreleri, # Google bu tür kuralları desteklemez Clean-Param: openstat # benzer # Bir veya daha fazla Site Haritası dosyası belirtin (her User-agent # için çoğaltmaya gerek yoktur). Google XML Site Haritası aşağıdaki örnekteki gibi 2 site haritası oluşturur. Site Haritası: http://site.ru/sitemap.xml Site Haritası: http://site.ru/sitemap.xml.gz # Ana bilgisayar artık gerekli değil.

WooCommerce için En Uygun Robots.txt

WordPress - WooCommerce'deki çevrimiçi mağazaların sahipleri de doğru robots.txt dosyasıyla ilgilenmelidir. Sepeti, ödeme sayfasını ve indekslemeden sepete öğe eklemek için bağlantıları kapatacağız.

Kullanıcı aracısı: * İzin Verme: /cgi-bin İzin Verme: /? İzin verme: /wp- İzin verme: /wp/ İzin verme: *?s= İzin verme: *&s= İzin verme: /search/ İzin verme: /yazar/ İzin verme: /users/ İzin verme: */trackback İzin verme: */feed İzin verme: */ rss İzin verme: */embed İzin verme: */wlwmanifest.xml İzin verme: /xmlrpc.php İzin verme: *utm*= İzin verme: *openstat= İzin verme: /cart/ İzin verme: /checkout/ İzin verme: /*sepete ekle= * İzin Ver: */uploads İzin Ver: /*/*.js İzin Ver: /*/*.css İzin Ver: /wp-*.png İzin Ver: /wp-*.jpg İzin Ver: /wp-*.jpeg İzin Ver: /wp -*.gif İzin ver: /wp-admin/admin-ajax.php Site Haritası: https://site.ru/sitemap_index.xml

Soru cevap

wordpress robots.txt dosyası nerede

Genellikle robots.txt sitenin kökünde bulunur. Orada değilse, bir metin dosyası oluşturmanız ve FTP veya barındırma kontrol paneli aracılığıyla siteye yüklemeniz gerekecektir. Sitenin kökünde robots txt bulamadıysanız, ancak siteniz.ru/robots.txt bağlantısına tıkladığınızda açılıyorsa, bazı SEO eklentileri onu oluşturur.

Düzgün oluşturulmuş bir robots.txt dosyası, site sayfalarının hızlı bir şekilde dizine eklenmesine katkıda bulunur. Bu dosya bir hizmet dosyasıdır ve sitenin arama motoru optimizasyonunu iyileştirmek için tasarlanmıştır. İç sayfa optimizasyonu da proje için önemlidir ve ele alınması gerekir.

robots.txt dosyası, dizine eklenmesi gerekmeyen sayfaların dizine eklenmesini sınırlamanıza olanak tanır. Arama robotları, indekslemeye kapatılan sayfaların arama motorlarında görüntülenmesini engellemek için bu hizmet dosyasına dikkat eder. Bu arada, site haritası ve aynası da dosyada belirtilmiştir.

wordpress için robots.txt nasıl oluşturulur

Doğru dosyayı oluşturmaya başlamak için önce WordPress robots.txt dosyasının nerede olduğunu anlayalım. Sitenin kökünde bulunur. Projenizin kök klasörlerini ve dosyalarını görüntülemek için herhangi bir FTP istemcisi kullanmanız gerekir, bunun için yapılandırılmış "Bağlantı" üzerine tıklamanız yeterlidir.

Hizmet dosyamızın içeriğini görüntülemek için, adres çubuğuna site adının arkasına robots.txt yazmanız yeterlidir. Örnek:https://benim sitem.com/robotlar.txt

WordPress robots.txt'nin bulunduğu yerde, yukarıdaki motor için ideal hizmet dosyasının nasıl görünmesi gerektiğine bakmak kalır.

Her şeyden önce, dosyada site haritasının yolunu belirtmeniz gerekir:

Site haritası: http://web-profy.com/sitemap.xml

Ve şimdi doğrudan WordPress için robots.txt dosyasının doğru yapısı:

İzin verme: /wp-admin

İzin verme: /wp-includes

İzin verme: /wp-content/plugins

İzin verme: /wp-content/cache

İzin verme: /wp-content/themes

İzin verme: /geri izleme

İzin verme: */trackback

İzin verme: */*/geri izleme

İzin verme: */*/feed/*/

İzin verme: */feed

Kullanıcı aracısı: Yandex

İzin verme: /wp-admin

İzin verme: /wp-includes

İzin verme: /wp-content/plugins

İzin verme: /wp-content/cache

İzin verme: /wp-content/themes

İzin verme: /geri izleme

İzin verme: */trackback

İzin verme: */*/geri izleme

İzin verme: */*/feed/*/

İzin verme: */feed

Sunucu: mysite.com

Site haritası: http://mysite.com/sitemap.xml.gz

Site haritası: http://mysite.com/sitemap.xml

Bu verileri dosyanıza kopyalamanız yeterlidir. WordPress için doğru robots.txt böyle görünür.

Şimdi hizmet dosyasının yapısındaki satırların her birinin ne anlama geldiğine bakalım:

User-agent: * - aşağıya girilen tüm verilerin tüm arama motorları için geçerli olacağını gösteren bir dize.

Ancak Yandex için kural şu şekilde görünecektir: User-agent: Yandex.

İzin ver: - arama robotlarının dizine ekleyebileceği sayfalar.

İzin Verme: - arama robotlarının indekslemesi yasaklanan sayfalar.

Host: mysite.com, bu hizmet dosyasında belirtilmesi gereken bir site aynasıdır.

Site haritası: - site haritasına giden yol.

CNC'lerin yapılandırılmadığı bir WordPress sitesi için robots.txt

Kural listesinin bulunduğu WordPress sitesi için robots.txt, sitede CNC yapılandırılmamışsa biraz farklı görünecektir.

İzin verme: /cgi-bin

İzin verme: /wp-admin

İzin verme: /wp-includes

İzin verme: /wp-content/plugins

İzin verme: /wp-content/cache

İzin verme: /wp-content/themes

İzin verme: /geri izleme

İzin verme: */trackback

İzin verme: */*/geri izleme

İzin verme: */*/feed/*/

İzin verme: */feed

Kullanıcı aracısı: Yandex

İzin verme: /cgi-bin

İzin verme: /wp-admin

İzin verme: /wp-includes

İzin verme: /wp-content/plugins

İzin verme: /wp-content/cache

İzin verme: /wp-content/themes

İzin verme: /geri izleme

İzin verme: */trackback

İzin verme: */*/geri izleme

İzin verme: */*/feed/*/

İzin verme: */feed

Sunucu: mysite.com

Site haritası: http://mysite.com/sitemap.xml.gz

Site haritası: http://mysite.com/sitemap.xml

Yapılandırılmış bir CNC yoksa bir WordPress sitesinde hangi sorunlar ortaya çıkabilir? robots.txt hizmet dosyasındaki satır İzin Verme: /*?* site sayfalarının indekslenmesine izin vermiyor ve CNC ayarları olmadığında proje sayfalarının adresleri tam olarak böyle görünüyor. Bu, bir İnternet projesinin arama motorlarındaki sıralamasını olumsuz etkileyebilir, çünkü kullanıcıların ihtiyaç duyduğu içerik onlara arama sonuçlarında gösterilmeyecektir.

Tabii ki, bu satır dosyadan kolayca kaldırılabilir. Ardından site normal şekilde çalışacaktır.

robots.txt dosyasının doğru olduğundan nasıl emin olunur?

Bu, Yandex'den özel bir araç kullanılarak yapılabilir - Yandex.Webmaster.

gitmem gerek Dizin Oluşturma Ayarları - Analizrobotlar.txt

İçeride her şey sezgiseldir. üzerine tıklamanız gerekiyor "İndirmekrobotlar.txtsitesinden".İndeksleme olasılığı için her sayfayı ayrı ayrı da görüntüleyebilirsiniz. "URL Listesi"nde, ilgilendiğiniz sayfaların adresini girebilirsiniz, sistem her şeyi kendisi gösterecektir.

Robots.txt dosyasında yaptığınız tüm değişikliklerin hemen değil, yalnızca birkaç ay sonra kullanıma sunulacağını unutmayın.

robots.txt dosyası nasıl doğru şekilde kaydedilir?

Hizmet dosyamızın Google gibi bir arama motorunda yer alabilmesi için aşağıdaki şekilde kaydedilmesi gerekmektedir:

Dosya metin biçiminde olmalıdır;
Sitenizin köküne yerleştirmeniz gerekir;
Dosya, robots.txt olarak adlandırılmalı ve başka bir şey olmamalıdır.

Arama robotlarının robots.txt dosyasını bulduğu adres şöyle görünmelidir - https://mysite.com/robots.txt