Motorët e kërkimit janë të pajisur me robotë, të njohur edhe si merimangat ose bots, që zvarriten dhe indeksojnë faqe në internet. Nëse faqja ose faqja juaj është në zhvillim ose përmban përmbajtje të ndjeshme, ju mund të dëshironi të bllokoni botët që të mos zvarriten dhe indeksojnë faqen tuaj. Mësoni si të bllokoni uebfaqe, faqe dhe lidhje të tëra me skedarë robots.txt dhe të bllokoni faqe dhe lidhje të veçanta me etiketa html. Lexoni për të zbuluar se si të bllokoni botët specifikë që të mos kenë qasje në përmbajtjen tuaj.
Hapa
Metoda 1 nga 2: Bllokimi i motorëve të kërkimit me skedarë robots.txt
Hapi 1. Kuptoni skedarët robots.txt
Një skedar robots.txt është një skedar teksti i thjeshtë ose ASCII që informon merimangat e motorëve të kërkimit se çfarë lejohen të kenë në faqen tuaj. Skedarët dhe dosjet e listuara në një skedar robots.txt mund të mos zvarriten dhe indeksohen nga merimangat e motorit të kërkimit. Ju mund të keni nevojë për një skedar robots.txt nëse:
- Ju dëshironi të bllokoni përmbajtje specifike nga merimangat e motorëve të kërkimit.
- Ju po krijoni një faqe të drejtpërdrejtë dhe nuk jeni të përgatitur që merimangat e motorit të kërkimit të zvarriten dhe të indeksojnë faqen
- Ju dëshironi të kufizoni qasjen në botët me reputacion.
Hapi 2. Krijoni dhe ruani skedarin robots.txt
Për të krijuar skedarin, filloni një redaktues teksti të thjeshtë ose një redaktues kodesh. Ruani skedarin si: robots.txt. Emri i skedarit duhet të jetë i vogël.
- Mos harroni "s".
- Kur ruani skedarin, zgjidhni shtesën "'.txt"'. Nëse jeni duke përdorur Word, zgjidhni opsionin "Tekst i thjeshtë".
Hapi 3. Shkruani një skedar robots.txt që nuk lejohet plotësisht
Shtë e mundur të bllokoni çdo merimangë me reputacion të motorit të kërkimit nga zvarritja dhe indeksimi i faqes tuaj me një robots.txt "plotësisht të ndaluar". Shkruani rreshtat e mëposhtëm në skedarin tuaj të tekstit:
Përdoruesi-agjent: * Mos lejo: /
Hapi 4. Shkruani një skedar robots.txt të lejuar me kusht
Në vend që të bllokoni të gjithë botët, konsideroni të bllokoni merimangat specifike nga zona të caktuara të faqes tuaj. Komandat e zakonshme të lejuara me kusht përfshijnë:
- Bllokoni një bot specifik: zëvendësoni yjet pranë Përdoruesi-agjent me googlebot, googlebot-news, googlebot-image, bingbot, ose teoma.
-
Bllokoni një drejtori dhe përmbajtjen e tij:
Përdoruesi-agjent: * Mos lejo: /mostër-directory /
-
Blloko një faqe në internet:
Përdoruesi-agjent: * Mos lejo: /private_file.html
-
Bllokoni një imazh:
Përdoruesi-agjent: googlebot-image Mos lejo: /images_mypicture.jpg
-
Bllokoni të gjitha imazhet:
Përdoruesi-agjent: googlebot-image Mos lejo: /
-
Bllokoni një format specifik skedari:
Përdoruesi-agjent: * Mos lejo: /p*.gif$
Hapi 5. Inkurajoni botët që të indeksojnë dhe zvarriten faqen tuaj
Shumë njerëz duan të mirëpresin, në vend që të bllokojnë, merimangat e motorëve të kërkimit sepse duan që i gjithë faqja e tyre të indeksohet. Për ta arritur këtë, ju keni tre mundësi. Së pari, mund të hiqni dorë nga krijimi i një skedari robots.txt-kur roboti të mos gjejë një skedar robots.txt, ai do të vazhdojë të zvarritet dhe indeksojë të gjithë faqen tuaj. Së dyti, ju mund të krijoni një skedar të zbrazët robots.txt-roboti do të gjejë skedarin robots.txt, do të pranojë që është bosh dhe do të vazhdoni të zvarriteni dhe indeksoni faqen tuaj. Së fundi, ju mund të shkruani një skedar robots.txt me leje të plotë. Përdorni kodin:
Përdoruesi-agjent: * Mos lejo:
Hapi 6. Ruani skedarin txt në rrënjën e domenit tuaj
Pasi të keni shkruar skedarin robots.txt, ruani ndryshimet. Ngarko skedarin në drejtorinë rrënjësore të faqes tuaj. Për shembull, nëse domeni juaj është www.yourdomain.com, vendosni skedarin robots.txt në www.yourdomain.com/robots.txt.
Metoda 2 nga 2: Bllokimi i Motorëve të Kërkimit me Etiketa Meta
Hapi 1. Kuptoni meta etiketat e robotëve HTML
Meta etiketa e robotëve lejon programuesit të vendosin parametra për botët, ose merimangat e motorëve të kërkimit. Këto etiketa përdoren për të bllokuar botët nga indeksimi dhe zvarritja e një faqe të tërë ose vetëm pjesë të faqes. Ju gjithashtu mund t'i përdorni këto etiketa për të bllokuar një merimangë specifike të motorit të kërkimit nga indeksimi i përmbajtjes tuaj. Këto etiketa shfaqen në kokën e skedarit tuaj HTML.
Kjo metodë përdoret zakonisht nga programuesit që nuk kanë qasje në drejtorinë rrënjësore të një faqe në internet
Hapi 2. Bllokoni botët nga një faqe e vetme
Shtë e mundur të bllokoni të gjithë botët që të indeksojnë një faqe dhe ose të mos ndjekin lidhjet e një faqe. Kjo etiketë përdoret zakonisht kur një sit i drejtpërdrejtë është në zhvillim e sipër. Pasi faqja të jetë e plotë, rekomandohet fuqimisht që ta hiqni këtë etiketë. Nëse nuk e hiqni etiketën, faqja juaj nuk do të indeksohet ose kërkohet përmes motorëve të kërkimit.
- Ju mund të bllokoni botët që të mos indeksojnë faqen dhe të mos ndjekin ndonjë nga lidhjet:
- Ju mund të bllokoni të gjithë botët që të mos indeksojnë faqen:
- Ju mund të bllokoni që të gjithë botët të mos ndjekin lidhjet e faqes:
Hapi 3. Lejoni botët të indeksojnë një faqe, por mos ndiqni lidhjet e saj
Nëse i lejoni botët të indeksojnë faqen, faqja do të indeksohet; nëse i pengoni merimangat të ndjekin lidhjet, rruga e lidhjes nga kjo faqe specifike në faqe të tjera do të prishet. Vendosni rreshtin e mëposhtëm të kodit në kokën tuaj:
Hapi 4. Lërini merimangat e motorit të kërkimit të ndjekin lidhjet, por mos e indeksojnë faqen
Nëse i lejoni botët të ndjekin lidhjet, rruga e lidhjes nga kjo faqe specifike në faqe të tjera do të mbetet në takt; nëse i kufizoni ata të indeksojnë faqen, faqja juaj e internetit nuk do të shfaqet në indeks. Vendosni rreshtin e mëposhtëm të kodit në kokën tuaj:
Hapi 5. Bllokoni një lidhje të vetme dalëse
Për të fshehur një lidhje të vetme në një faqe, vendosni a rel etiketë brenda etiketës së lidhjes. Ju mund të dëshironi ta përdorni këtë etiketë për të bllokuar lidhjet në faqe të tjera që çojnë në faqen specifike që dëshironi të bllokoni.
Fut lidhjen në faqen e bllokuar
Hapi 6. Bllokoni një merimangë specifike të motorit të kërkimit
Në vend që të bllokoni të gjithë botët nga faqja juaj e internetit, ju mund të dëshironi të parandaloni që një bot të zvarritet dhe indeksojë faqen. Për ta arritur këtë, zëvendësoni "'robot" brenda meta tag me emrin e një boti specifik. Shembujt përfshijnë: googlebot, googlebot-news, googlebot-image, bingbot, dhe teoma.
Hapi 7. Inkurajoni botët të zvarriten dhe indeksojnë faqen tuaj
Nëse doni të siguroheni që faqja juaj do të indeksohet dhe lidhjet e saj do të ndiqen, mund të futni një leje për ndjekje meta "robot" shënoni në kokën tuaj. Përdorni kodin e mëposhtëm:
