การจัดทำดัชนีเว็บไซต์คืออะไร มันเกิดขึ้นได้อย่างไร? คุณสามารถหาคำตอบสำหรับคำถามเหล่านี้และคำถามอื่นๆ ได้ในบทความ การทำดัชนีเว็บ (การจัดทำดัชนีในเครื่องมือค้นหา) เป็นกระบวนการของการเพิ่มข้อมูลเกี่ยวกับไซต์ลงในฐานข้อมูลโดยโรบ็อตเครื่องมือค้นหา ซึ่งจะใช้เพื่อค้นหาข้อมูลเกี่ยวกับโครงการเว็บที่ได้ผ่านขั้นตอนดังกล่าวในภายหลัง
ข้อมูลเกี่ยวกับแหล่งข้อมูลบนเว็บมักประกอบด้วยคำหลัก บทความ ลิงก์ เอกสาร นอกจากนี้ยังสามารถสร้างดัชนีเสียง รูปภาพ และอื่นๆ ได้อีกด้วย เป็นที่ทราบกันดีอยู่แล้วว่าอัลกอริธึมการตรวจหาคำหลักนั้นขึ้นอยู่กับเครื่องมือค้นหา
มีข้อจำกัดบางประการเกี่ยวกับประเภทของข้อมูลที่จัดทำดัชนีไว้ (ไฟล์แฟลช, จาวาสคริปต์)
การจัดการการเริ่มต้น
การจัดทำดัชนีเว็บไซต์เป็นกระบวนการที่ซับซ้อน ในการจัดการ (เช่น เพื่อห้ามไฟล์แนบของหน้าใดหน้าหนึ่ง) คุณต้องใช้ไฟล์ robots.txt และคำแนะนำเช่น Allow, Disallow, Crawl-delay, User-agent และอื่นๆ
นอกจากนี้ยังใช้แท็กและอุปกรณ์ประกอบสำหรับการจัดทำดัชนี ซ่อนเนื้อหาของทรัพยากรจาก Google และหุ่นยนต์ Yandex (Yahoo ใช้แท็ก)
ในเครื่องมือค้นหา Goglle ไซต์ใหม่จะได้รับการจัดทำดัชนีจากสองสามวันถึงหนึ่งสัปดาห์ และในยานเดกซ์ - ตั้งแต่หนึ่งถึงสี่สัปดาห์
คุณต้องการให้เว็บไซต์ของคุณปรากฏในข้อความค้นหาผลลัพธ์ของเครื่องมือค้นหาหรือไม่ จากนั้นจะต้องประมวลผลโดย Rambler, Yandex, Google, Yahoo เป็นต้น คุณต้องแจ้งเครื่องมือค้นหา (แมงมุม ระบบ) เกี่ยวกับการมีอยู่ของเว็บไซต์ของคุณ จากนั้นพวกเขาจะรวบรวมข้อมูลทั้งหมดหรือบางส่วน
หลายไซต์ไม่ได้รับการจัดทำดัชนีมานานหลายปี ข้อมูลที่อยู่ในตัวจะไม่มีใครเห็นยกเว้นเจ้าของ
วิธีการประมวลผล
การจัดทำดัชนีเว็บไซต์สามารถทำได้หลายวิธี:
- ตัวเลือกแรกคือการเพิ่มด้วยตนเอง คุณต้องป้อนข้อมูลไซต์ของคุณผ่านแบบฟอร์มพิเศษที่เครื่องมือค้นหาเสนอให้
- ในกรณีที่สอง โรบ็อตของเครื่องมือค้นหาจะค้นหาเว็บไซต์ของคุณโดยลิงก์และจัดทำดัชนี เขาสามารถค้นหาไซต์ของคุณได้โดยลิงก์จากแหล่งข้อมูลอื่นๆ ที่นำไปสู่โครงการของคุณ วิธีนี้มีประสิทธิภาพมากที่สุด หากเสิร์ชเอ็นจิ้นพบไซต์ในลักษณะนี้ ถือว่าไซต์มีความสำคัญ
เวลา
การจัดทำดัชนีเว็บไซต์ไม่เร็วเกินไป ข้อกำหนดแตกต่างกันไปตั้งแต่ 1-2 สัปดาห์ ลิงก์จากแหล่งข้อมูลที่เชื่อถือได้ (พร้อมการประชาสัมพันธ์และ Titz ที่ยอดเยี่ยม) ช่วยเพิ่มความเร็วในการจัดวางไซต์ในฐานข้อมูลของเครื่องมือค้นหา วันนี้ Google ถือว่าช้าที่สุด แม้ว่าจนถึงปี 2012 ก็สามารถทำงานนี้ได้ในหนึ่งสัปดาห์ ถึงน่าเสียดายที่สิ่งต่าง ๆ เปลี่ยนไปอย่างรวดเร็ว เป็นที่ทราบกันว่า Mail.ru ทำงานกับเว็บไซต์ในพื้นที่นี้มาประมาณหกเดือนแล้ว
การจัดทำดัชนีเว็บไซต์ในเครื่องมือค้นหาเป็นไปไม่ได้สำหรับผู้เชี่ยวชาญทุกคน เวลาในการเพิ่มหน้าใหม่ในฐานข้อมูลของไซต์ที่ประมวลผลแล้วโดยเครื่องมือค้นหาจะได้รับผลกระทบจากความถี่ในการอัปเดตเนื้อหา หากข้อมูลใหม่ปรากฏบนทรัพยากรอย่างต่อเนื่อง ระบบจะถือว่าอัปเดตบ่อยครั้งและมีประโยชน์ต่อผู้คน ในกรณีนี้ งานของเธอเร่งขึ้น
คุณสามารถติดตามความคืบหน้าในการจัดทำดัชนีของเว็บไซต์ในส่วนพิเศษสำหรับเว็บมาสเตอร์หรือในเครื่องมือค้นหา
การเปลี่ยนแปลง
ดังนั้น เราจึงทราบแล้วว่าเว็บไซต์นั้นได้รับการจัดทำดัชนีอย่างไร ควรสังเกตว่าฐานข้อมูลของเครื่องมือค้นหามีการปรับปรุงบ่อยครั้ง ดังนั้น จำนวนหน้าของโครงการของคุณที่เพิ่มเข้าไปอาจเปลี่ยนแปลงได้ (ทั้งลดลงและเพิ่มขึ้น) ด้วยเหตุผลดังต่อไปนี้:
- เครื่องมือค้นหาคว่ำบาตรเว็บไซต์
- การมีอยู่ของข้อผิดพลาดบนเว็บไซต์;
- เปลี่ยนอัลกอริธึมของเครื่องมือค้นหา
- โฮสติ้งน่าขยะแขยง (เข้าไม่ได้ของเซิร์ฟเวอร์ที่ตั้งโครงการ) และอื่นๆ
ยานเดกซ์ตอบคำถามทั่วไป
"Yandex" เป็นเสิร์ชเอ็นจิ้นที่ผู้ใช้หลายคนใช้ มันอยู่ในอันดับที่ห้าของระบบการค้นหาของโลกในแง่ของจำนวนคำขอวิจัยที่ดำเนินการแล้ว หากคุณเพิ่มไซต์เข้าไป การเพิ่มลงในฐานข้อมูลอาจใช้เวลานานเกินไป
การเพิ่ม URL ไม่รับประกันการจัดทำดัชนี นี่เป็นเพียงหนึ่งในวิธีที่ระบบบอกหุ่นยนต์เกี่ยวกับทรัพยากรใหม่ หากมีลิงค์ไปยังเว็บไซต์เพียงเล็กน้อยหรือไม่มีเลย การเพิ่มเข้าไปจะช่วยให้คุณค้นหาได้เร็วขึ้น
หากการจัดทำดัชนีไม่เกิดขึ้น คุณต้องตรวจสอบว่ามีข้อผิดพลาดใด ๆ บนเซิร์ฟเวอร์ในขณะที่สร้างแอปพลิเคชันจากหุ่นยนต์ Yandex หรือไม่ หากเซิร์ฟเวอร์รายงานข้อผิดพลาด หุ่นยนต์จะยุติการทำงานและพยายามทำให้เสร็จตามลำดับการเดินทางไปกลับ พนักงานยานเดกซ์ไม่สามารถเพิ่มความเร็วในการเพิ่มหน้าไปยังฐานข้อมูลของเครื่องมือค้นหา
การจัดทำดัชนีไซต์ในยานเดกซ์เป็นงานที่ค่อนข้างยาก คุณไม่ทราบวิธีการเพิ่มทรัพยากรในเครื่องมือค้นหา? หากมีลิงค์จากเว็บไซต์อื่น ๆ คุณไม่จำเป็นต้องเพิ่มไซต์พิเศษ - หุ่นยนต์จะค้นหาและจัดทำดัชนีโดยอัตโนมัติ หากคุณไม่มีลิงก์ดังกล่าว คุณสามารถใช้แบบฟอร์ม "เพิ่ม URL" เพื่อบอกเครื่องมือค้นหาว่ามีไซต์นั้นอยู่
โปรดจำไว้ว่าการเพิ่ม URL ไม่ได้รับประกันว่าการสร้างของคุณจะได้รับการจัดทำดัชนี (หรือจัดทำดัชนี)
หลายคนสงสัยว่าต้องใช้เวลานานแค่ไหนในการจัดทำดัชนีเว็บไซต์ในยานเดกซ์ พนักงานของบริษัทนี้ไม่ให้การค้ำประกันและไม่ทำนายเงื่อนไข ตามกฎแล้ว เนื่องจากโรบ็อตค้นพบเกี่ยวกับไซต์ หน้าในการค้นหาจึงปรากฏในสองวัน บางครั้งอาจใช้เวลาสองสามสัปดาห์
ขั้นตอน
"Yandex" เป็นเครื่องมือค้นหาที่ต้องการความแม่นยำและเอาใจใส่ การจัดทำดัชนีเว็บไซต์ประกอบด้วยสามส่วน:
- โรบ็อตค้นหารวบรวมข้อมูลหน้าทรัพยากร
- เนื้อหา(เนื้อหา) ของเว็บไซต์ถูกบันทึกไว้ในฐานข้อมูล (ดัชนี) ของระบบการค้นหา
- ใน 2-4 สัปดาห์ หลังจากอัพเดทฐานข้อมูล คุณจะเห็นผลลัพธ์ เว็บไซต์ของคุณจะ (หรือไม่) ปรากฏในผลการค้นหา
การจัดทำดัชนี
จะตรวจสอบการจัดทำดัชนีเว็บไซต์ได้อย่างไร? มีสามวิธีในการทำเช่นนี้:
- ป้อนชื่อธุรกิจของคุณในแถบค้นหา (เช่น "Yandex") และตรวจสอบทุกลิงก์ในหน้าแรกและหน้าที่สอง หากคุณพบ URL ของผลิตผลของคุณที่นั่น แสดงว่าหุ่นยนต์ทำงานเสร็จแล้ว
- คุณสามารถป้อน URL เว็บไซต์ของคุณในแถบค้นหา คุณจะสามารถดูจำนวนแผ่นอินเทอร์เน็ตที่แสดง เช่น จัดทำดัชนี
- ลงทะเบียนในหน้าของเว็บมาสเตอร์ใน Mail.ru, Google, Yandex. หลังจากที่คุณผ่านการตรวจสอบไซต์แล้ว คุณจะสามารถเห็นผลการจัดทำดัชนีและบริการเครื่องมือค้นหาอื่นๆ ที่สร้างขึ้นเพื่อปรับปรุงประสิทธิภาพของทรัพยากรของคุณ
ทำไมยานเดกซ์ถึงล้มเหลว
การจัดทำดัชนีไซต์ใน Google ดำเนินการดังนี้: โรบ็อตเข้าสู่ฐานข้อมูลทุกหน้าของไซต์ คุณภาพต่ำและคุณภาพสูง โดยไม่ต้องเลือก แต่มีเพียงเอกสารที่เป็นประโยชน์เท่านั้นที่รวมอยู่ในการจัดอันดับ และ "ยานเดกซ์" จะแยกถังขยะของเว็บทั้งหมดออกทันที สามารถจัดทำดัชนีหน้าใดก็ได้ แต่เครื่องมือค้นหาจะกำจัดขยะทั้งหมดในที่สุด
ทั้งสองระบบมีดัชนีส่วนเพิ่ม หน้าคุณภาพต่ำทั้งสองหน้าส่งผลต่ออันดับของเว็บไซต์โดยรวม มีปรัชญาง่ายๆในที่ทำงานอยู่ที่นี่ แหล่งข้อมูลที่ชื่นชอบโดยเฉพาะผู้ใช้จะครองตำแหน่งที่สูงขึ้นในการออกของเขา แต่คนๆ เดียวกันนี้จะลำบากในการค้นหาไซต์ที่เขาไม่ชอบเมื่อครั้งที่แล้ว
ด้วยเหตุนี้ อันดับแรก จำเป็นต้องปิดสำเนาเอกสารเว็บจากการจัดทำดัชนี ตรวจสอบหน้าว่าง และป้องกันไม่ให้เนื้อหาคุณภาพต่ำถูกจัดทำดัชนี
เร่งยานเดกซ์
ฉันจะเร่งความเร็วการจัดทำดัชนีเว็บไซต์ใน Yandex ได้อย่างไร ทำตามขั้นตอนเหล่านี้:
- ติดตั้งเบราว์เซอร์ Yandex บนคอมพิวเตอร์ของคุณและใช้เพื่อเรียกดูหน้าของเว็บไซต์
- ยืนยันสิทธิ์ในการจัดการทรัพยากรใน Yandex. Webmaster
- โพสต์ลิงก์บทความบน Twitter เป็นที่ทราบกันดีว่ายานเดกซ์ร่วมมือกับบริษัทนี้มาตั้งแต่ปี 2555
- เพิ่มการค้นหาจาก Yandex สำหรับไซต์ ในส่วน "การจัดทำดัชนี" คุณสามารถป้อน URL ของคุณเองได้
- ป้อนรหัส "Yandex. Metrica" โดยไม่ต้องทำเครื่องหมาย "ห้ามส่งหน้าสำหรับการจัดทำดัชนี"
- สร้างแผนผังเว็บไซต์สำหรับหุ่นยนต์เท่านั้นและไม่ปรากฏแก่ผู้ชม การยืนยันจะเริ่มขึ้นกับเขา ที่อยู่แผนผังเว็บไซต์ถูกป้อนใน robots.txt หรือในรูปแบบที่เหมาะสมใน "ผู้ดูแลเว็บ" - "การตั้งค่าการจัดทำดัชนี" - "ไฟล์แผนผังเว็บไซต์"
การกระทำขั้นกลาง
ต้องทำอะไรจนกว่าหน้าเว็บจะถูกสร้างดัชนีโดย Yandex? เครื่องมือค้นหาในประเทศควรพิจารณาไซต์เป็นแหล่งหลัก นั่นคือเหตุผลที่ก่อนที่จะตีพิมพ์บทความ จำเป็นต้องเพิ่มเนื้อหาในรูปแบบของ "ข้อความเฉพาะ" มิฉะนั้นผู้ลอกเลียนแบบจะคัดลอกบันทึกไปยังแหล่งข้อมูลและจะเป็นคนแรกในฐานข้อมูล เป็นผลให้พวกเขาได้รับการยอมรับว่าเป็นผู้เขียน
ฐานข้อมูล Google
สำหรับ Google คำแนะนำเดียวกันกับที่เราอธิบายข้างต้นนั้นเหมาะสม เฉพาะบริการเท่านั้นที่จะแตกต่างกัน:
- Google+ (แทนที่ Twitter);
- Google Chrome;
- เครื่องมือ Google สำหรับโปรแกรมเมอร์ - "สแกน" - "ดูเหมือน Googlebot" - ตัวเลือก "สแกน" - ตัวเลือก "ดัชนี";
- ค้นหาในแหล่งข้อมูลจาก Google
- Google Analytics (แทน Yandex. Metrics)
ห้าม
การห้ามจัดทำดัชนีเว็บไซต์คืออะไร คุณสามารถวางซ้อนได้ทั้งบนหน้าทั้งหน้าและในส่วนที่แยกจากกัน (ลิงก์หรือข้อความ) อันที่จริง มีทั้งการแบนการจัดทำดัชนีทั่วโลกและการแบนในเครื่อง มีการใช้งานอย่างไร
ลองพิจารณาข้อห้ามในการเพิ่มเว็บไซต์ลงในฐานข้อมูลของเครื่องมือค้นหาใน Robots.txt เมื่อใช้ไฟล์ robots.txt คุณสามารถยกเว้นการจัดทำดัชนีของหน้าเดียวหรือส่วนหัวของทรัพยากรทั้งหมดดังนี้:
- ตัวแทนผู้ใช้:
- ไม่อนุญาต: /kolobok.html
- ไม่อนุญาต: /foto/
จุดแรกบอกว่ามีการกำหนดคำแนะนำสำหรับ PS ทั้งหมด จุดที่สองระบุว่าห้ามสร้างดัชนีของไฟล์ kolobok.html และจุดที่สามไม่อนุญาตให้เพิ่มการบรรจุโฟลเดอร์ foto ทั้งหมดลงในโฟลเดอร์ ฐานข้อมูล หากคุณต้องการยกเว้นหลายหน้าหรือโฟลเดอร์ โปรดระบุทั้งหมดใน Robots
เพื่อป้องกันการสร้างดัชนีของแผ่นอินเทอร์เน็ตโดยเฉพาะ คุณสามารถใช้เมตาแท็กของโรบ็อตได้ มันแตกต่างจาก robots.txtความจริงที่ว่ามันให้คำแนะนำกับ PS ทั้งหมดในครั้งเดียว เมตาแท็กนี้เป็นไปตามหลักการทั่วไปของรูปแบบ html ควรวางไว้ในชื่อของหน้าระหว่างแท็ก ตัวอย่างเช่น รายการสำหรับการแบนอาจเขียนดังนี้:.
อาแจ็กซ์
ยานเดกซ์จัดทำดัชนีไซต์ Ajax อย่างไร ทุกวันนี้ นักพัฒนาเว็บไซต์หลายคนใช้เทคโนโลยี Ajax แน่นอนว่าเธอมีศักยภาพสูง ด้วยสิ่งนี้ คุณสามารถสร้างหน้าเว็บเชิงโต้ตอบที่รวดเร็วและมีประสิทธิภาพ
อย่างไรก็ตาม โรบ็อตของเครื่องมือค้นหา "เห็น" รายการเว็บแตกต่างจากผู้ใช้และเบราว์เซอร์ ตัวอย่างเช่น บุคคลดูอินเทอร์เฟซที่สะดวกสบายพร้อมแผ่นอินเทอร์เน็ตที่สามารถเคลื่อนย้ายได้ สำหรับโปรแกรมรวบรวมข้อมูล เนื้อหาของหน้าเดียวกันสามารถว่างเปล่าหรือแสดงเป็นเนื้อหา HTML แบบคงที่ที่เหลือ ซึ่งสคริปต์จะไม่ทำงาน
คุณสามารถใช้ URL ที่มีเพื่อสร้างไซต์ Ajax ได้ แต่เครื่องมือค้นหาไม่ได้ใช้ โดยปกติส่วนของ URL หลังจะถูกแยกออก สิ่งนี้จะต้องนำมาพิจารณา ดังนั้น แทนที่จะเป็น URL เช่น https://site.ru/example เขาจึงสร้างแอปพลิเคชันไปยังหน้าหลักของทรัพยากรที่ https://site.ru ซึ่งหมายความว่าเนื้อหาของแผ่นอินเทอร์เน็ตอาจไม่เข้าสู่ฐานข้อมูล ด้วยเหตุนี้จึงไม่ปรากฏในผลการค้นหา
เพื่อปรับปรุงการจัดทำดัชนีของไซต์ Ajax ยานเดกซ์สนับสนุนการเปลี่ยนแปลงในโรบ็อตการค้นหาและกฎสำหรับการประมวลผล URL ของเว็บไซต์ดังกล่าว วันนี้ เว็บมาสเตอร์สามารถระบุให้เครื่องมือค้นหา Yandex ทราบถึงความจำเป็นในการจัดทำดัชนีโดยการสร้างรูปแบบที่เหมาะสมในโครงสร้างทรัพยากร สำหรับสิ่งนี้คุณต้อง:
- แทนที่สัญลักษณ์ใน URL ของหน้าบน !. ตอนนี้โรบ็อตจะเข้าใจว่ามันสามารถนำไปใช้กับเวอร์ชัน HTML ของเนื้อหาของแผ่นอินเทอร์เน็ตนี้ได้
- เวอร์ชัน HTML ของเนื้อหาในหน้าดังกล่าวควรอยู่ใน URL โดยที่ ! แทนที่ด้วย ?_escaped_fragment_=.
