(Python)爬蟲偽裝User-Agent - fake_useragent套件

前言

爬蟲程式會消耗網站伺服器系統資源,因此有些網站會檢查偵測網站訪問是否為爬蟲程式,並進一步阻擋爬蟲程式,常見的像是封鎖IP來阻擋請求。

本文介紹一個Python套件fake_useragent,將爬蟲程式偽裝為瀏覽器提出請求訪問網站。

什麼是User-Agent

User-Agnet(使用者代理,簡稱UA),會告訴網站伺服器,你是透過什麼工具(作業系統、瀏覽器名稱、瀏覽器版本、渲染引擎、外掛程式…等資訊)發送請求的。

繼續閱讀