robots.txt กำหนดพฤติกรรม search engine robots

จำนวนเข้าชม: 6,159 | 27/10/2014

robots.txt คืออะไร เกี่ยวข้องกับการทำ SEO อย่างไร

robots.txt คือไฟล์ที่จะเอาไว้ให้ robot อย่าง Google อ่าน จะอยู่ในรูปแบบของ text file โดยโรบอทดังกล่าวก็เปรียบเสมือนกับการที่มีคนมาเยี่ยมบ้านของเรา สิ่งแรกที่เขาจะทำก็คือกดออด หรือเคาะประตูแล้วถามว่ามีคนอยู่ไหม ถ้ามีคนอยู่เจ้าบ้านก็จะตอบกลับมา เช่นเดียวกับ robots.txt เป็นเหมือนกับเจ้าของบ้าน ถ้าโรบอทมาเจอไฟล์นี้ก็จะตีความเลยว่ามีคนอยู่แน่นอน

ต่อไปโรบอทจะเข้าไปอ่านไฟล์ robots.txt ซึ่งแต่ละข้อความเหล่านี้จะบอกกับโรบอทว่าสามารถเข้าไปในบ้านได้ไหม และสามารถทำอะไรในบ้านหลังนั้นได้บ้างและห้ามเข้าไปส่วนไหนบ้าง

User-agent: โรบอทที่กฎต่อไปนี้มีผลบังคับ
Disallow: /search
Allow: /catalogs/about

User-agent จะเอาไว้กำหนดว่าคนไหนบ้างที่จะเข้ามาในบ้านของเราได้
โดยถ้ากำหนดเป็น * จะหมายถึงการยอมให้ทุกคนที่มาเยี่ยมบ้านสามารถเข้ามาได้หมด ถ้ามีเจ้าของบ้านอยู่หรือจะกำหนดเป็นชื่อโรบอทโดยตรงเลยก็ได้

User-agent: Google
Disallow: /search
Allow: /catalogs/about

หมายความว่า ญาติที่ชื่อว่า Google สามารถเข้ามาในบ้านเราได้หลังพบว่าพบเจ้าบ้านหรือมีไฟล์ robots.txt อยู่ ส่วน Disallow กับ Allow ก็เหมือนกับบอกว่าญาติที่ชื่อว่า Google สามารถเข้าไปเอาของห้องไหนได้บ้าง จากตัวอย่างด้านบน Disallow: /search หมายความว่า Google สามารถเข้าไปใน search ได้แต่ไม่สามารถหยิบของที่อยู่ในนั้นออกมาได้…จะถูกมองว่าเป็นขโมย Allow: /catalogs/about ก็ทำนองตรงข้ามกับ Disallow ก็คือ Google สามารถเข้าไปในห้องนั้นได้ และเจ้าของบ้านอนุญาตให้หยิบของออกมาได้…หวานหมู พอหยิบของออกมาหรือไปเก็บข้อมูลออกมาก็จะเอาไปแสดงที่ SERP(Search Engine Result Page) ที่เราค้นหากันผ่าน Google.co.th, Google.com หลักๆคอนเซ็ปต์ก็จะประมาณนี้ครับ ตัวอย่าง robots.txt ของจริงสามารถดูได้ที่ https://www.google.com/robots.txt
ส่วนนี่เป็นเครื่องมือที่จะช่วยทำให้เขียน robots.txt ได้ง่ายและเร็วขึ้นครับ http://tools.seobook.com/robots-txt/generator/

---

คำค้นหาที่เกี่ยวข้อง: ร้านค้าออนไลน์, ขายของ, ทำเว็บขายของ, สร้างเว็บขายของ