) 進(jìn)行了第一次抓取。把IP地址65.55.106.108輸進(jìn)到IP138或其他查詢IP的系統(tǒng)里面可以看出,該IP地址對 應(yīng)的是“美國 Microsoft公司”,那么我們可以看成微軟的bing搜索引擎的蜘蛛的第一次到來。搜索引擎根據(jù)robots.txt的設(shè)定,知道了哪些答應(yīng)抓取,哪些不盼看被抓取,那它就在這個(gè)網(wǎng)站上開工了,“日志2”顯示的是bing首先抓取了該網(wǎng)址的主頁(斜杠/意為主頁)。
/blog/2009/11/21/125879090551788.html
感謝 田東山 的投稿