首先是通過互聯(lián)網(wǎng)進(jìn)行網(wǎng)頁抓取，把準(zhǔn)備好的URL隊列里的網(wǎng)頁內(nèi)容全部獲取出來。然后把獲取到的數(shù)據(jù)進(jìn)行預(yù)處理操作，進(jìn)行初步的去重，去燥，再按照既定的規(guī)則進(jìn)行數(shù)據(jù)檢索，從而得到需要的數(shù)據(jù)展示給用戶。