သင့်ရဲ့ website မှာအမြစ်ထဲမှာသိမ်းထားတဲ့တစ်ဦးက robots.txt ဖိုင်နဲ့တူကို web စက်ရုပ်ကိုပြောပြလိမ့်မယ် search engine ကို သူတို့တွားခွင့်ပြုနေကြတယ်ဆိုတာကို directory များနှင့်ဖိုင်များပင့်ကူ။ ဒါဟာ robots.txt ဖိုင်အသုံးပြုရလွယ်ကူမယ့်, သင်မူကားသတိရသင့်တယ်တချို့အမှုအရာရှိပါသည်:
- Black ကဦးထုပ်ကို web စက်ရုပ်သင့်ရဲ့ robots.txt ဖိုင်လျစ်လျူရှုပါလိမ့်မယ်။ အသုံးအများဆုံးအမျိုးအစားတွေကိုစပါးရိတ်ရာကာလအီးမေးလ်လိပ်စာများရှာဖွေနေ malware ကို bot တွေဟာနှင့်စက်ရုပ်ဖြစ်ကြသည်။
- တချို့ကအသစ်က programmer တွေအတွက် robots.txt ဖိုင်လျစ်လျူရှုကြောင်းစက်ရုပ်ရေးလိုက်ပါလိမ့်မယ်။ ဤသည်များသောအားဖြင့်အမှားပြုနေသည်။
- မည်သူမဆိုသင့်ရဲ့ robots.txt ဖိုင်တွေ့နိုင်ပါသည်။ သူတို့ဟာအမြဲ robots.txt ဟုခေါ်ကြသည်နှင့်အစဉ်မပြတ်က်ဘ်ဆိုက်၏အမြစ်မှာသိမ်းထားပါတယ်။
- တစ်စုံတစ်ဦးက၎င်းတို့၏ robots.txt ဖိုင်ဖယ်ထုတ်မပေးကြောင်းစာမျက်နှာကနေသင့်ရဲ့ robots.txt ဖိုင်အားဖြင့်ဖယ်ထုတ်ထားကြောင်းဖိုင်တစ်ဖိုင်သို့မဟုတ် directory မှဆက်သွယ်မယ်ဆိုရင်နောက်ဆုံးမှာ, ရှာဖွေရေးအင်ဂျင်ဘာပဲဖြစ်ဖြစ်တွေ့လိမ့်မည်။
အရေးကြီးသောဘာမှဖုံးကွယ်ထားရန် robots.txt ဖိုင်တွေမသုံးပါနဲ့။ အဲဒီအစား, သငျသညျနောက်ကွယ်မှအရေးကြီးသောသတင်းအချက်အလက်များထားသင့်ပါတယ် လုံခြုံတဲ့စကားဝှက် သို့မဟုတ်လုံးဝဝဘ်ချွတ်ကစွန့်ခွာ။
အဲဒီနမူနာဖိုင်များကိုအသုံးပြုနည်းကိုဘယ်လို
သင်ပြုချင်သောအရာကိုအနီးဆုံးသောနမူနာကနေစာသား copy, သင်၏ robots.txt ဖိုင်ထဲသို့ paste ။ သင်နှစ်သက်တဲ့ configuration များကိုက်ညီရန်အတွက်စက်ရုပ်, directory ကိုနှင့်ဖိုင်အမည်များကိုပြောင်းလဲပါ။
နှစ်ဦးကအခြေခံ robots.txt ဖိုင်များ
user-အေးဂျင့်: *
ခွင့်မပြုပါ: /
(ခွင့်မပြုပါ: /): (* အသုံးပြုသူ-အေးဂျင့်) က site ပေါ်တွင်ရှိသမျှသောစာမျက်နှာကိုလျစ်လျူရှုသင့်တယ် access လုပ်ပါတယ်သောဤဖိုင်တွင်မဆိုစက်ရုပ်ကပြောပါတယ်။
user-အေးဂျင့်: *
ခွင့်မပြုပါ:
(: * အသုံးပြုသူ-အေးဂျင့်) ကဆိုဒ် (ခွင့်မပြုပါ:) ရက်နေ့တွင်တိုင်းစာမျက်နှာကိုကြည့်ရှုဖို့ခွင့်ပြုခဲ့တာဖြစ်ပါတယ် access လုပ်ပါတယ်သောဤဖိုင်တွင်မဆိုစက်ရုပ်ကပြောပါတယ်။
သင်တို့သည်လည်းအားလုံးမှာသင့်ရဲ့ site ပေါ်တွင်တဦးတည်းရှိခြင်းအလွတ်သင့်ရဲ့ robots.txt ဖိုင်ထွက်ခွာသို့မဟုတ်မများကဤသို့ပြုနိုင်ပါတယ်။
စက်ရုပ် မှစ. အတိအကျ Directories ကာကွယ်ပါ
user-အေးဂျင့်: *
ခွင့်မပြုပါ: / cgi-bin /
ခွင့်မပြုပါ: / အပူချိန် /
(: * အသုံးပြုသူ-အေးဂျင့်) က directory များ / cgi-bin ကိုလျစ်လျူရှု / နှငျ့ / အပူချိန် / (: / cgi-bin / မြစ်တား: / အပူချိန် / ခွင့်မပြုပါ) သင့်တယ် access လုပ်ပါတယ်သောဤဖိုင်တွင်မဆိုစက်ရုပ်ကပြောပါတယ်။
စက်ရုပ် မှစ. အတိအကျစာမျက်နှာများကာကွယ်ပါ
user-အေးဂျင့်: *
ခွင့်မပြုပါ: /jenns-stuff.htm
ခွင့်မပြုပါ: /private.php
(: * အသုံးပြုသူ-အေးဂျင့်) ကဖိုင်များကို (/jenns-stuff.htm မြစ်တား: /private.php ခွင့်မပြုပါ) /jenns-stuff.htm နှင့် /private.php လျစ်လျူရှုသင့်တယ် access လုပ်ပါတယ်သောဤဖိုင်တွင်မဆိုစက်ရုပ်ကပြောပါတယ်။
သင့်ဆိုက်ကိုသုံးစွဲနေတဲ့သီးခြားစက်ရုပ်တားဆီး
user-အေးဂျင့်: Lycos / XX
ခွင့်မပြုပါ: /
(: / ခွင့်မပြုပါ) ဆိုက်ပေါ်မှာဘယ်နေရာမှာမဆို access ကိုခွင့်မပြုပါ: ဒီဖိုင် Lycos bot (Lycos / XX အသုံးပြုသူ-အေးဂျင့်) ကပြောပါတယ်။
သာလျှင်တစ်ခုမှာသီးခြားစက်ရုပ် Access ကို Allow
user-အေးဂျင့်: *
ခွင့်မပြုပါ: /
user-အေးဂျင့်: Googlebot
ခွင့်မပြုပါ:
ဤဖိုင်ကျနော်တို့အထက်လုပ်ခဲ့တယ်တူသောပထမဦးဆုံးအားလုံးစက်ရုပ် disallows, ပြီးတော့အတိအလင်းအဆိုပါ Googlebot (အသုံးပြုသူ-အေးဂျင့်: Googlebot) ပေးနိုင်ပါတယ်အရာအားလုံး (ခွင့်မပြုပါ:) မှဝင်ရောက်ခွင့်ရှိသည်။
သင်က Want အတိအကျဖယ်ချန် Get မှအကွိမျမြားစှာ Lines ပေါင်းစပ်
ဒါဟာအလွန်အားလုံးပါဝင်နိုင်အသုံးပြုသူ-အေးဂျင့်လိုင်းသုံးစွဲဖို့ပိုကောင်းမယ့်နေစဉ်, အသုံးပြုသူ-အေးဂျင့်နဲ့တူ: * သင်ကြိုက်နှစ်သက်သကဲ့သို့တိကျတဲ့နိုင်ပါတယ်။ စက်ရုပ်နိုင်ရန်အတွက်ဖိုင်ကိုဖတ်ပါဆိုတာသတိရပါ။ ပထမဦးဆုံးလိုင်းများကအားလုံးကိုစက်ရုပ်အရာအားလုံးကိုမှဝင်ရောက်ခွင့်ကိုခွင့်ပြုနေကြသည်ကပြောပါတယ်ဖိုင်ကိုအတွက်နောက်ပိုင်းမှာထို့နောက်အားလုံးစက်ရုပ်အရာအားလုံးကနေပိတ်ဆို့ပြီဖြစ်ကြောင်းနှင့်မယ်ဆိုရင်ဒါကြောင့်စက်ရုပ်အရာအားလုံးကိုမှဝင်ရောက်ခွင့်ရှိလိမ့်မည်။
သင်မှန်ကန်စွာသင့်ရဲ့ robots.txt ဖိုင်ကျမ်းစာ၌ရေးထားတော့ရှိမရှိသေချာမသိရှိပါက, သင်သည်သင်၏ robots.txt ဖိုင်စစ်ဆေးသို့မဟုတ်အသစ်တဦးတည်းရေးသားဖို့ Google ရဲ့ Webmaster Tools ကိုသုံးနိုင်သည်။