Dokumentek rûbotin.txt ku di malpera we ya malperê de tête tomarkirin, dê robotên webê wekî mîna pîşesaziya lêgerînan bibêjin ka kîjan derhêner û pelên ku ew crawl dikin. Vê hêsan e ku pelê robota.txt bikar bînin, lê hin tişt hene ku hûn bîr bînin:
- Black robot hat kirin dê pelê xwe yên robots.txt berbiçav bikin. Tiştên herî gelemperî botsiyonên malware û robotan digerin ku navnîşên emailê ji bo dirûnê hilberînin.
- Hin programmersên nû dê robotên xwe binivîsînin ku pelê rûpelek.txt nebînin. Ev bi gelemperî bi şaş tê kirin.
- Her kes dikare dikarî pelê xwe yên robot-xot. Ew her dem herdem ji bo robotot.txt tê gotin û her tim li ser malpera malperê têne tomarkirin.
- Di dawiyê de, heger kesek bi pelê an peldankek ve girêdayî ye ku pelê ji rûpelek.txt ve ji rûpela xwe ve tê vekirî ye ku pelê ji hêla robots.txt ve nayê vexwendin, lêgerînên lêgerîn dikarin her weha bibînin.
Ji bo tiştek veşartî ji pelên robots.txt bikar nakin. Ji ber vê yekê, divê hûn agahdariyên girîng ên paşnavên ewle ewleh bikin an jî bi tevahî malperê vekin.
Çawa pelan Ev pelên Sample
Vê nivîsê ji naveroka ku hûn nêzîkî ku hûn dixwazin dixwazin binivîse, û pelê xwe bişînin li pelotên xwe. Guhertina robot, peldanka û navên pelê biguherînin ku ji bo veguhastina bijartiya xwe ve bistînin.
Dokumentên du bingehîn Robots.txt
Bikarhêner-agent: *
Diseleow: /
Vê pelê dibêje ku robot-ê (bikarhêner-ê: *) ku dest pê dike ew li her malperê li ser malperê bêbigirin (Disallow: /).
Bikarhêner-agent: *
Diselow:
Vê pelê dibêjin ku robot-ê (bikarhêner-ê: *) ku destûr dike ew e ku li her malperê li ser malperê bibînin (Disallow:).
Hûn dikarin ji hêla malpera xwe ve di nav malpera xwe de rûbotin.
Dîreyên Destnîşanên Ji Ji Robotan Parastin Parastin
Bikarhêner-agent: *
Disallow: / cgi-bin /
Diseleow: / temp /
Vê pelê dibêje ku robotek (Bikarhêner-agent: *) ku ew tête destnîşan dike divê rêberên / cgi-bin / / temp / (Disallow: / cgi-bin / Diseleow: / temp /).
Rûpelên taybet Ji Ji Robotan biparêze
Bikarhêner-agent: *
Diseleow: /jenns-stuff.htm
Diseleow: /private.php
Vê pelê dibêje ku robot-ê (bikarhêner-ê: *) ku destûr dide wê pelên /jenns-stuff.htm û /private.php (Disallow: /jenns-stuff.htm Diselow: /private.php) berbiçav bikin.
Ji Malpera Xweseriya Xwe Ji Rekotineke Taybet
Bikarhêner-agent: Lycos / xx
Diseleow: /
Vê pelê dibêje ku Lycos bot (Bikarhêner-agent: Lycos / xx) li ser malperê der barê navnîşan nabe (Disallow: /).
Tenê Tenê Tenê Yek Destnîşankirina Robot Access
Bikarhêner-agent: *
Diseleow: /
Bikarhêner-agent: Googlebot
Diselow:
Ev pelê pêşî hemû hemî robotên wekî ku li jor didin, nebe û paşê eşkere dike ku Googlebot (Bikarhêner-agent: Googlebot) ji bo her tiştî tîne (Disallow:).
Hevpeymanên Pirrjimar Pirrjimar Bixebitin Ji bo Beralîkirina Exclusions Dixwazin
Dema ku ew çêtir e ku ji rêza bikarhêner-ê bikarhêner e, wekî Like-agent: *, hûn dikarin wek ku hûn dixwazin dixwazin. Bawer bikin ku robot ji pelê re bixwînin. Ji ber ku rêza pêşîn dibêjin ku hemî robotan ji her tiştê asteng têne girtin, û paşê paşê di pelê de dibêje dibêjin ku hemî robotan destûra her tiştê destûr nabin, rûbotin wê her tişt bi dest.
Heke hûn ne bawer nakin ku hûn pelê xwe rast bi rûpelek.txt nivîsand, hûn dikarin bikarhênerên Webmaster-ê bikar bînin ku pelê xwe yên robot-xist kontrol bikin an jî nû binivîse.