基于最大熵海量網絡POI數據判重技術的研究.pdf

1、隨著移動互聯網的發(fā)展，基于位置的服務極大的提高了人們出行的方便，基于位置的服務也成為工業(yè)界和學術界的研究熱點；與此同時，基于位置服務的內容和應用模式也隨著人們獲取信息的需求不斷的變化?；谖恢玫姆仗N涵著巨大的商業(yè)價值，已經成為各大互聯網廠家相互爭奪的陣地。興趣點（POI）是位置服務平臺的一種基礎數據元素，其質量直接影響到位置服務的質量。然而，POI數據來源廣泛，數據格式多樣，有效信息缺失或錯誤等問題，給POI數據的融合更新帶來了很大的

2、困難。有效的更新POI數據庫，使其能更好的對應不斷變化地理實體，既是現實的客觀需求，也可以更好的滿足用戶多樣化的信息需求，推動各廠商位置服務向著內容豐富、服務精準和便捷高效發(fā)展。針對互聯網上多源異構POI數據的融合的問題，本文所做的工作主要包括以下幾個方面的內容：
　?。?）網絡POI數據的收集和預處理。首先分析各大基于位置服務網站的技術結構，利用python腳本設計爬蟲算法，抽取相關網絡平臺的POI數據，對數據進行清洗，將不同格

3、式的數據統(tǒng)一到標準格式下，尤其是將不同坐標系下的空間屬性，轉換到同一的經緯度坐標下。
　?。?）基于POI數據空間和屬性的約束關系，針對海量POI數量難以在有效的時間內處理的問題，設計一種哈希索引方法，這種方法使得加入新POI數據的比較過程，局限在一個較小的POI數據集合內，使得數據的融合判重過程得以順利進行。
　　（3）POI各屬性的相似度分級判定規(guī)則，POI的比較是綜合比較各屬性的結果，每個屬性的相同或不相同，難以客觀反

4、映現實，通過細分各相似度的等級，使其更加準確，為最大熵模型的輸入輸入創(chuàng)造條件。
　?。?）基于最大熵模型的判重方法，分別比較一對POI的經緯度，名稱和地址的相似度，利用人工確定樣本訓練最大熵模型，將POI層輸出的相似度等級作為特征輸入，利用最大熵模型得到一個綜合的相似度，然后取一個閥值來衡量一對POI點是否重復。實驗結果表明，本文提出的技術可以在少量人工的干預下，極大的提高網絡POI數據的融合更新效率，并且具有較低誤判率，能夠提高