NộI Dung
- Định nghĩa - Spider có nghĩa là gì?
- Giới thiệu về Microsoft Azure và Microsoft Cloud | Trong suốt hướng dẫn này, bạn sẽ tìm hiểu về điện toán đám mây là gì và Microsoft Azure có thể giúp bạn di chuyển và điều hành doanh nghiệp của bạn từ đám mây như thế nào.
- Techopedia giải thích Spider
Định nghĩa - Spider có nghĩa là gì?
Trong mạng Internet, một con nhện là một phần mềm chuyên dụng được thiết kế để thu thập thông tin một cách có hệ thống và duyệt World Wide Web thường nhằm mục đích lập chỉ mục các trang Web để cung cấp chúng dưới dạng kết quả tìm kiếm cho các truy vấn tìm kiếm của người dùng. Con nhện nổi tiếng nhất là Googlebot, trình thu thập thông tin chính của Google, giúp đảm bảo rằng các kết quả có liên quan được trả về cho các truy vấn tìm kiếm.
Nhện còn được gọi là trình thu thập dữ liệu Web, bot tìm kiếm hoặc đơn giản là bot.
Giới thiệu về Microsoft Azure và Microsoft Cloud | Trong suốt hướng dẫn này, bạn sẽ tìm hiểu về điện toán đám mây là gì và Microsoft Azure có thể giúp bạn di chuyển và điều hành doanh nghiệp của bạn từ đám mây như thế nào.
Techopedia giải thích Spider
Một con nhện về cơ bản là một chương trình được sử dụng để thu thập thông tin từ World Wide Web. Nó thu thập thông tin qua các trang của trang web trích xuất thông tin và lập chỉ mục để sử dụng sau này, thường là cho kết quả của công cụ tìm kiếm. Con nhện truy cập các trang web và các trang của chúng thông qua các liên kết khác nhau đến và từ các trang, vì vậy một trang không có một liên kết nào sẽ khó lập chỉ mục và có thể được xếp hạng thực sự thấp trên trang kết quả tìm kiếm. Và nếu có nhiều liên kết trỏ đến một trang, điều này có nghĩa là trang đó phổ biến và nó sẽ xuất hiện cao hơn trên kết quả tìm kiếm.
Các bước liên quan đến thu thập dữ liệu trên web:
- Con nhện tìm thấy một trang web và bắt đầu bò trang của nó.
- Con nhện lập chỉ mục các từ và nội dung của trang web.
- Con nhện truy cập các liên kết được tìm thấy trên trang web.
Nhện hoặc webcrawlers chỉ là các chương trình và, do đó, chúng tuân theo các quy tắc có hệ thống do các lập trình viên đặt ra. Chủ sở hữu các trang web cũng có thể tham gia vào việc này bằng cách cho nhện biết phần nào của trang web để lập chỉ mục và phần nào không nên. Điều này được thực hiện bằng cách tạo tệp "robot.txt" có chứa các hướng dẫn cho con nhện liên quan đến phần nào để lập chỉ mục và liên kết để theo dõi và phần nào cần bỏ qua. Những con nhện quan trọng nhất hiện có là những con nhện thuộc sở hữu của các công cụ tìm kiếm lớn như Google, Bing và Yahoo và những con nhện dùng để khai thác và nghiên cứu dữ liệu, nhưng cũng có một số con nhện độc hại được viết để tìm và thu thập s để người dùng bán để quảng cáo các công ty hoặc để tìm lỗ hổng trong bảo mật Web.