網(wǎng)頁防抓取系統(tǒng)的設計與實現(xiàn).pdf

1、某公司是中國領先的在線旅游平臺，機票搜索交易平臺是其中的重要基礎平臺之一，搜索范圍覆蓋全球范圍內約18余萬條航線，可實時搜索4000多家旅游代理商網(wǎng)站，同時其2014年度的機票交易也突破了8000萬張。然而在業(yè)務量持續(xù)增長的同時，機票搜索交易平臺及其相關業(yè)務系統(tǒng)都面臨著各類外部來源的信息抓取所帶來的壓力，大量的抓取請求帶來了一系列嚴峻的問題：○1數(shù)據(jù)安全問題，面對非正常的抓取訪問的，關鍵數(shù)據(jù)存在被競爭對手獲取的風險；○2系統(tǒng)性能問題，大

2、量的抓取請求造成服務器資源的耗盡，嚴重影響用戶的搜索和交易體驗；○3不同的業(yè)務系統(tǒng)重復對防抓取進行實現(xiàn)，且實現(xiàn)質量良莠不齊，形成了資源的浪費。
　　論文通過對網(wǎng)絡爬蟲和防抓取相關技術的深入研究，設計并實現(xiàn)了網(wǎng)頁防抓取系統(tǒng)（Web Anti-Crawling System，ACS）。ACS系統(tǒng)為公司的機票搜索交易平臺及其下面的多個業(yè)務項目提供了統(tǒng)一的、高質量的防抓取服務，實現(xiàn)了HTTP協(xié)議頭、JS加密串、IP黑名單、訪問頻率控制等防

3、抓取策略；通過對機票搜索交易平臺業(yè)務的深入了解，實現(xiàn)了業(yè)務邏輯相關的行為模式防抓取策略，進一步提高了抓取所需的成本；另外，ACS系統(tǒng)對策略接口、防抓取服務接口的設計，使得API接口與實現(xiàn)分離，不僅具有良好的拓展性，同時也降低與業(yè)務系統(tǒng)之間的耦合性，便于防抓取服務的接入。Anti-Crawling System為上述由抓取帶來的問題提供了一個解決方案。
　　整個防抓取系統(tǒng)經(jīng)過一定的功能測試和性能測試，確定論文中所述的五個防抓取策略已