您好,歡迎您登陸華人企業網絡營銷!

業務電話:010-85755626 13910736436

當前位置:首頁 > 新聞中心 > 網站重復內容的判斷

網站重復內容的判斷

時間:2019-06-20 11:52:39 來源:華人企業網 作者:admin 點擊: 157次

網站重復內容的判斷

  A,獲取多個網頁;

  B,分別提取網頁的網頁正文;

  C,從網頁正文中提取一個或多個句子,并根據一個或多個句子計算網頁正文句子簽名;

  D,根據網頁正文句子簽名對多個網頁進行聚類;

  E,針對每一類下的網頁,計算網頁的附加簽名;

  F,根據附加簽名判斷每一類下的網頁是否重復。

  通過上述方式,網頁重復的判斷系統及其判斷方法通過包括網頁正文句子簽名在內的多維度簽名有效且快速地判斷網頁是否重復。

  

 

  網站頁面基本架構

  提取正文

  A,對網頁進行分塊;

  B,對分塊后的網頁進行塊過濾,以獲取包含網頁正文的內容快;

  C,從內容塊中提取網頁正文。

  正文分句

  A,對網頁正文進行分句;

  在本步驟中,可利用分號,句號,感嘆號等表示句子完結的標志符號來對網頁正文進行分句。此外,還可以通過網頁正文的視覺信息來對網頁正文進行分句。

  B,對分句后的網頁正文進行過濾及轉換;

  在步驟中,首先過濾掉句子中的數字信息;版權信息以及其他對網頁重復判斷不起決定性作用的信息。隨后,對句子進行轉換,例如,進行全角/半角轉換或者繁體/簡體轉換,以使得轉換后的句子的格式統一。

  C,從過濾及轉換后的網頁正文中提取長的一個或多個句子;

  在本步驟中,過濾及轉換后的網頁正文提取出長的一個句子或者做場的預定數量連續句子的組合。例如,某個網頁實例中,經過過濾及轉換后的某段長,遠超其他句子,因此可選擇該段為網頁正文句子,或者選擇長的連續句子組合作為網頁正文句子。

  D,對一個或多個句子進行hash簽名運算,以獲取網頁正文句子簽名。

  simhash算法就是比較各網頁的附加簽名是否相同或相似來判斷網頁是否重復。具體來說,在比較利用simhash簽名運算獲得的網頁正文簽名時,比較網頁正文簽名的不同位數,不同位越少,表示網頁重復的可能性越高,在比較其他的附加簽名時,若附加簽名相等,表示網頁在該緯度上重復。

  總結:

  1、兩個網頁的真實標題簽名相同。

  2、兩個我那工業的網頁內容簽名相同。

  3、兩個網頁的網頁正文簽名的不同位數小于6.。

  4、兩個網頁的網頁位置簽名相同,并且url文件名簽名相同。

  5、評論塊簽名、資源簽名、標簽標題簽名、摘要簽名、url文件名簽名中有三個簽名相同。

  附加信息整站判斷重復標準:

  通過兩兩頁面比較,可以得到真重復url的集合。一般來說,如果這個真重復url集合中的網頁的數量/整個網頁集中網頁的數量大于30%,則認為整個網頁集都是真重復,否則就是假重復。

 

華企商城更多商品介紹:B2B網站優化化助手     微信微商獵手服務    美食欄目廣告投放方案

文章轉載請注明出處:http://www.netshop168.com/article-10321.html

  轉載請注明本文地址:http://www.soexid.live/xwzx/2019062025309.html

上一篇:上一篇:簡單的看下妙游網絡的微信朋友圈廣告投放案例

下一篇:下一篇:做網站優化的幾個心得及體會

天吉彩票论坛