Selenium 最強反反爬方案來了！
來源：未聞 Code
之前我們提到目前網上的反檢測方法幾乎都是掩耳盜鈴，因爲模擬瀏覽器有幾十個特徵可以被檢測，僅僅隱藏 webdriver 這一個值是沒有任何意義的。
今天我們就來說說應該如何正確解決這個問題
我們首先給出解決方案，然後再說明這個解決方案，我是通過什麼方式找到的
解決這個問題的關鍵，就是一個 js 文件，叫做stealth.min.js，稍後我會說明如何生成這個文件
我們需要設定，讓 Selenium 或者 Pyppeteer 在打開任何頁面之前，先運行這個 Js 文件
這裏，我以 Selenium 爲例來說明如何操作，我們編寫如下代碼：
import time
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument("--headless")
chrome_options.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')
driver = Chrome('./chromedriver', options=chrome_options)
with open('/Users/kingname/test_pyppeteer/stealth.min.js') as f:
js = f.read()
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": js
})
driver.get('https://bot.sannysoft.com/')
time.sleep(5)
driver.save_screenshot('walkaround.png')
# 你可以保存源代碼爲 html 再雙擊打開，查看完整結果
source = driver.page_source
with open('result.html', 'w') as f:
f.write(source)運行截圖如下：
可以看到，雖然我使用的是無頭模式，但是能夠被識別的特徵都被成功隱藏。大家還可以雙擊打開保存下來的 html 文件，看看是不是結果跟普通瀏覽器幾乎一樣。
如果你使用的是 Pyppeteer，那麼可以根據我上面文章中給出的方法，試着加載一下這個 js 文件，看看是不是也能成功隱藏特徵。
那麼，這個stealth.min.js文件是怎麼來的呢？這就要說到puppeteer了。我們知道，Python 版本的pyppeteer已經很久沒有人維護了，但是 Node.js 版本的 puppeteer持續有人維護，並且在持續更新，生態也越來越好。
有開發者給 puppeteer 寫了一套插件，叫做puppeteer-extra。其中，就有一個插件叫做 puppeteer-extra-plugin-stealth[1]。這個東西，就來專門用來讓 puppeteer 隱藏模擬瀏覽器的指紋特徵。
這個東西是專門給 puppeteer 用的。所以，如果你使用的是 puppeteer，那麼你可以根據它的 Readme 說明，直接使用。
那麼，我們用 Python 的人怎麼辦呢？實際上也有辦法。就是把其中的隱藏特徵的腳本提取出來，做成一個單獨的 js 文件。然後讓 Selenium 或者 Pyppeteer 在打開任意網頁之前，先運行一下這個 js 文件裏面的內容。
puppeteer-extra-plugin-stealth 的作者還寫了另外一個工具，叫做 extract-stealth-evasions[2]。這個東西就是用來生成stealth.min.js文件的。
如果你在國外，並且網速足夠快的話。那麼你根據它的 Readme，首先安裝 Node.js，然後安裝 Npm，接着運行如下命令：
npx extract-stealth-evasions就會在你執行命令的文件夾下面生成一個stealth.min.js文件。然後你就可以正常使用了。
如果你在國內，那麼執行這個命令的過程中，會有一個下載 Chromium 的過程，速度非常慢，雖然只有 130MB，但是可能會下載好幾個小時。
此時，你需要把它的package.json和index.js兩個文件保存到本地。然後打開package.json文件，修改其中的dependencies這一項，把裏面的puppeteer改成puppeteer-core，如下圖所示：
然後修改index.js，給.launch()函數增加一個參數executablePath，指向你電腦上的 Chrome 瀏覽器，如下圖所示：
修改完成以後。首先執行yarn install安裝依賴包。然後執行node index.js運行程序。1 秒鐘以後就會生成stealth.min.js了。
本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/9P8YhhjlriMDI_QK-GSzbw