免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

在上一節(jié)總結(jié)一些網(wǎng)站加密和混淆技術中，我們介紹了網(wǎng)頁防護技術，包括接口加密和 JavaScript 壓縮、加密和混淆。這就引出了一個問題，如果我們碰到了這樣的網(wǎng)站，那該怎么去分析和爬取呢？

本節(jié)我們就通過一個案例來介紹一下這種網(wǎng)站的分析思路，本節(jié)介紹的這個案例網(wǎng)站不僅在 API 接口層有加密，而且前端 JavaScript 也帶有壓縮和混淆，其前端壓縮打包工具是使用了現(xiàn)在流行的 Webpack，混淆工具是使用了 javascript-obfuscator，這二者結(jié)合結(jié)合起來，前端的代碼會變得難以閱讀和分析。

如果我們不使用 Selenium 或 Pyppeteer 等工具來模擬瀏覽器的形式爬取的話，要想直接從接口層面上獲取數(shù)據(jù)，基本上我們就要一點點調(diào)試分析 JavaScript 的調(diào)用邏輯、堆棧調(diào)用關系來整個弄清楚網(wǎng)站加密的實現(xiàn)方法了，我們可以稱之為這個過程叫 JavaScript 逆向。這些接口的加密參數(shù)往往都是一些加密算法或編碼的組合，完全搞明白其中的邏輯之后，我們就能把這個算法用 Python 模擬出來，從而實現(xiàn)接口的請求了。

案例介紹

案例的地址為：https://dynamic6.scrape.cuiqingcai.com/，頁面如圖所示。

初看之下并沒有什么特殊的，但仔細觀察可以發(fā)現(xiàn)其 Ajax 請求接口和每部電影的 URL 都包含了加密參數(shù)。

比如我們點擊任意一部電影，觀察一下 URL 的變化，如圖所示。

這里我們可以看到詳情頁的 URL 和包含了一個長字符串，看似是一個 Base64 編碼的內(nèi)容。

那么接下來直接看看 Ajax 的請求，我們從列表頁的第 1 頁到第 10 頁依次點一下，觀察一下 Ajax 請求是怎樣的，如圖所示。

可以看到 Ajax 接口的 URL 里面多了一個 token，而且不同的頁碼這個 token 還是不一樣的，這個 token 同樣看似是一個 Base64 編碼的字符串。

另外更困難的是，這個接口還是有時效性的，如果我們把 Ajax 接口 URL 直接復制下來，短期內(nèi)是可以訪問的，但是過段時間之后就無法訪問了，會直接返回 401 狀態(tài)碼。

接下來我們再看下列表頁的返回結(jié)果，比如我們打開第一個請求，看看第一部電影數(shù)據(jù)的返回結(jié)果，如圖所示。

這里我們把看似是第一部電影的返回結(jié)果全展開了，但是剛才我們觀察到第一步電影的 URL 的鏈接卻為 https://dynamic6.scrape.cuiqingcai.com/detail/ZWYzNCN0ZXVxMGJ0dWEjKC01N3cxcTVvNS0takA5OHh5Z2ltbHlmeHMqLSFpLTAtbWIx，看起來是 Base64 編碼，我們解碼一下，結(jié)果為 ef34#teuq0btua#(-57w1q5o5--j@98xygimlyfxs*-!i-0-mb1，但是看起來似乎還是毫無規(guī)律，這個解碼后的結(jié)果又是怎么來的呢？返回結(jié)果里面也并不包含這個字符串，那這又是怎么構造的呢？

再然后，這僅僅是某一個詳情頁頁面的 URL，其真實數(shù)據(jù)是通過 Ajax 加載的，那么 Ajax 請求又是怎樣的呢，我們再觀察下，如圖所示。

好，這里我們發(fā)現(xiàn)其 Ajax 接口除了包含剛才所說的 URL 中攜帶的字符串，又多了一個 token，同樣也是類似 Base64 編碼的內(nèi)容。

那么總結(jié)下來這個網(wǎng)站就有如下特點：

·列表頁的 Ajax 接口參數(shù)帶有加密的 token·詳情頁的 URL 帶有加密 id·詳情頁的 Ajax 接口參數(shù)帶有加密 id 和加密 token

那如果我們要想通過接口的形式來爬取，必須要把這些加密 id 和 token 構造出來才行，而且必須要一步步來，首先我們要構造出列表頁 Ajax 接口的 token 參數(shù)，然后才能獲取每部電影的數(shù)據(jù)信息，然后根據(jù)數(shù)據(jù)信息構造出加密 id 和 token。

OK，那到現(xiàn)在為止我們就知道了這個網(wǎng)站接口的加密情況了，我們下一步就是去找這個加密實現(xiàn)邏輯了。

由于是網(wǎng)頁，所以其加密邏輯一定藏在前端代碼里面，但上節(jié)課我們也說了，前端為了保護其接口加密邏輯不被輕易分析出來，會采取壓縮、混淆的一些方式來加大分析的難度。

好，那么我們 就來看看這個網(wǎng)站的源代碼和 JavaScript 文件是怎樣的吧。

首先看看網(wǎng)站源代碼，我們在網(wǎng)站上點擊右鍵，彈出選項菜單，然后點擊「查看源代碼」，可以看到結(jié)果如圖所示。

內(nèi)容如下：

這是一個典型的 SPA （單頁 Web 應用）的頁面， 其 JavaScript 文件名帶有編碼字符、chunk、vendors 等關鍵字，整個這就是經(jīng)過 Webpack 打包壓縮后的源代碼，目前主流的前端開發(fā)，如 Vue.js、React.js 的輸出結(jié)果都是類似這樣的結(jié)果。

好，那么我們再看下其 JavaScript 代碼是什么樣子的，我們在開發(fā)者工具中打開 Sources 選項卡下的 Page 選項卡，然后打開 js 文件夾，這里我們就能看到 JavaScript 的源代碼，如圖所示。

我們隨便復制一些出來，看看是什么樣子的，結(jié)果如下：

(window['webpackJsonp']=window['webpackJsonp']||[])['push']([['chunk-19c920f8'],{'5a19':function(_0x3cb7c3,_0x5cb6ab,_0x5f5010){},'c6bf':function(_0x1846fe,_0x459c04,_0x1ff8e3){},'ca9c':function(_0x195201,_0xc41ead,_0x1b389c){'use strict';var _0x468b4e=_0x1b389c('5a19'),_0x232454=_0x1b389c['n'](_0x468b4e);_0x232454['a'];},'d504':...,[_0xd670a1['_v'](_0xd670a1['_s'](_0x2227b6)+'\x0a\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20\x20')]);}),0x1),_0x4ef533('div',{'staticClass':'m-v-sm\x20info'},[_0x4ef533('span',[_0xd670a1['_v'](_0xd670a1['_s'](_0x1cc7eb['regions']['join']('、')))]),_0x4ef533('span',[_0xd670a1['_v']('\x20/\x20')]),_0x4ef533('span',[_0xd670a1['_v'](_0xd670a1['_s'](_0x1cc7eb['minute'])+'\x20分鐘')])]),_0x4ef533('div',...,_0x4ef533('el-col',{'attrs':{'xs':0x5,'sm':0x5,'md':0x4}},[_0x4ef533('p',{'staticClass':'score\x20m-t-md\x20m-b-n-sm'},[_0xd670a1['_v'](_0xd670a1['_s'](_0x1cc7eb['score']['toFixed'](0x1)))]),_0x4ef533('p',[_0x4ef533('el-rate',{'attrs':{'value':_0x1cc7eb['score']/0x2,'disabled':'','max':0x5,'text-color':'#ff9900'}})],0x1)])],0x1)],0x1);}),0x1)],0x1),_0x4ef533('el-row',[_0x4ef533('el-col',{'attrs':{'span':0xa,'offset':0xb}},[_0x4ef533('div',{'staticClass':'pagination\x20m-v-lg'},[_0x4ef533('el-pagination',...:function(_0x347c29){_0xd670a1['page']=_0x347c29;},'update:current-page':function(_0x79754e){_0xd670a1['page']=_0x79754e;}}})],0x1)])],0x1)],0x1);},_0x357ebc=[],_0x18b11a=_0x1a3e60('7d92'),_0x4369=_0x1a3e60('3e22'),...;var _0x498df8=...['then'](function(_0x59d600){var _0x1249bc=_0x59d600['data'],_0x10e324=_0x1249bc['results'],_0x47d41b=_0x1249bc['count'];_0x531b38['loading']=!0x1,_0x531b38['movies']=_0x10e324,_0x531b38['total']=_0x47d41b;});}}},_0x28192a=_0x5f39bd,_0x5f5978=(_0x1a3e60('ca9c'),_0x1a3e60('eb45'),_0x1a3e60('2877')),_0x3fae81=Object(_0x5f5978['a'])(_0x28192a,_0x443d6e,_0x357ebc,!0x1,null,'724ecf3b',null);_0x6f764c['default']=_0x3fae81['exports'];},'eb45':function(_0x1d3c3c,_0x52e11c,_0x3f1276){'use strict';var _0x79046c=_0x3f1276('c6bf'),_0x219366=_0x3f1276['n'](_0x79046c);_0x219366['a'];}}]);

嗯，就是這種感覺，可以看到一些變量都是一些十六進制字符串，而且代碼全被壓縮了。

沒錯，我們就是要從這里面找出 token 和 id 的構造邏輯，看起來是不是很崩潰？

要完全分析出整個網(wǎng)站的加密邏輯還是有一定的難度的，不過不用擔心，我們本節(jié)會一步步地講解逆向的思路、方法和技巧，如果你能跟著這個過程走完，相信還是能學會一定的 JavaScript 逆向技巧的。

為了適當降低難度，本節(jié)的案例的 JavaScript 混淆其實并沒有設置特別復雜，并沒有開啟字符串編碼、控制流扁平化等混淆方式。

列表頁 Ajax 入口尋找

好，那么接下來我們就開始第一步入口的尋找吧，這里就簡單介紹兩種尋找入口的方式：

·全局搜索標志字符串·設置 Ajax 斷點

全局搜索標志字符串

一些關鍵的字符串通常會作為找尋 JavaScript 混淆入口的依據(jù)，我們可以通過全局搜索的方式來查找，然后根據(jù)搜索到的結(jié)果大體觀察是否是我們想找的入口。

好，我們重新打開列表頁的 Ajax 接口，看下請求的 Ajax 接口，如圖所示。

這里的 Ajax 接口的 URL 為 https://dynamic6.scrape.cuiqingcai.com/api/movie/?limit=10&offset=0&token=NTRhYWJhNzAyYTZiMTc0ZThkZTExNzBiNTMyMDJkN2UxZWYyMmNiZCwxNTg4MTc4NTYz，可以看到帶有 offset、limit、token 三個參數(shù)，那關鍵就是找 token，我們就全局搜索下 token 是不是存在吧，我們可以點擊開發(fā)者工具右上角的下拉選項卡，然后點擊 Search，如圖所示。

這樣我們就能進入到一個全局搜索模式，我們搜索 token，可以看到的確搜索到了幾個結(jié)果，如圖所示。

觀察一下，下面的兩個結(jié)果可能是我們想要的，我們點擊進入第一個看下，定位到了一個 JavaScript 文件，如圖所示。

這時候可以看到整個代碼都是壓縮過后的，只有一行，不好看，我們可以點擊左下角的 {} 按鈕，美化一下 JavaScript 代碼，如圖所示。

美化后的結(jié)果就是這樣子了，如圖所示。

這時候可以看到這里彈出來了一個新的選項卡，其名稱是 JavaScript 文件名加上了 :formatted，代表格式化后代碼結(jié)果，在這里我們再次定位到 token 觀察一下。

那可以看到這里有 limit、offset、token 然后觀察下其他的邏輯，基本上能夠確定這就是構造 Ajax 請求的地方了，如果不是的話可以繼續(xù)搜索其他的文件觀察下。

那現(xiàn)在，混淆的入口點我們就成功找到了，這是一個首選的找入口的方法。

XHR 斷點

由于這里 token 這個字符串并沒有被混淆，所以上面的這個方法是奏效的。之前我們也講過，這種字符串由于非常容易成為找尋入口點的依據(jù)，所以這樣的字符串也會被混淆成類似 Unicode、Base64、RC4 的一些編碼形式，這樣我們就沒法輕松搜索到了。

那如果遇到這種情況，我們可以怎么辦呢？這里再介紹一種通過打 XHR 斷點的方式來尋找入口。

XHR 斷點，顧名思義，就是在發(fā)起 XHR 的時候進入斷點調(diào)試模式，JavaScript 會在發(fā)起 Ajax 請求的時候挺住，這時候我們可以通過當前的調(diào)用棧的邏輯順著找到入口。

怎么設置呢？我們可以在 Sources 選項卡的右側(cè)，XHR/fetch Breakpoints 處添加一個斷點選項。首先點擊 + 號，然后這里就會讓我們輸入匹配的 URL 內(nèi)容，由于 Ajax 接口的形式是 /api/movie/?limit=10... 這樣的格式，所這里我們就截取一段填進去就好了，這里填的就是 /api/movie，如圖所示。

添加完畢之后重新刷新下頁面，可以發(fā)現(xiàn)就進入了斷點模式，如圖所示。

好，接下來我們重新點下 {} 格式化一下代碼，看看斷點是在哪里，如圖所示。

那這里看到有個 send 的字符，我們可以初步猜測這就是相當于發(fā)送 Ajax 請求的一瞬間。

那到了這里感覺 Ajax 都馬上要發(fā)出去了，是不是有點太晚了，我們想找的是構造 Ajax 的那個時候來分析 Ajax 參數(shù)啊？不用擔心，這里我們通過調(diào)用棧就可以找回去。我們點擊右側(cè)的 Call Stack，這里記錄了 JavaScript 的方法逐層調(diào)用過程，如圖所示。

這里當前指向的是一個名字為 anonymouns，也就是匿名的調(diào)用，在它的下方就顯示了調(diào)用這個 anonymouns 的方法，名字叫做 _0x594ca1，然后再下一層就又顯示了調(diào)用 _0x594a1 這個方法的方法，依次類推。

這里我們可以逐個往下找下去，然后通過一些觀察看看有沒有 token 這樣的信息，就能找到對應的位置了，最后我們就可以找到 onFetchData 這個方法里面實現(xiàn)了這個 token 的構造邏輯，這樣我們也成功找到 token 的參數(shù)構造的位置了，如圖所示。

好，那到現(xiàn)在為止我們就通過兩個方法找到入口點了。

其實還有其他的尋找入口的方式，比如 Hook 關鍵函數(shù)的方式，稍后后文我們會講到，這里就暫時不講了。

列表頁加密邏輯尋找

好，那么接下來我們已經(jīng)找到 token 的位置了，可以觀察一下這個 token 對應的變量叫做 _0xa70fc9，所以我們的關鍵就是要找這個變量是哪里來的了。

怎么找呢？我們打個斷點就好了。

看下這個變量是在哪里生成的，我們在對應的行打一個斷點，如果打了剛才的 XHR 斷點的話可以先取消掉，如圖所示。

這時候我們就設置了一個新的斷點了。由于只有一個斷點，可以重新刷新下網(wǎng)頁，這時候我們會發(fā)現(xiàn)網(wǎng)頁停在了新的斷點上面。

那這里我們就可以觀察下運行的一些變量了，比如我們把鼠標放在各個變量上面去，可以看到變量的一些值和類型，比如我們看 _0x18b11a 這個變量，會有一個浮窗顯示，如圖所示。

另外我們還可以通過在右側(cè)的 Watch 面板添加想要查看的變量名稱，如這行代碼的內(nèi)容為：

我們比較感興趣的可能就是 _0x18b11a 還有 this 里面額這個值了，我們可以展開 Watch 面板，然后點擊 + 號，把想看的變量添加到 Watch 面板里面，如圖所示。

觀察下可以發(fā)現(xiàn) _0x18bba 這是一個 Object，它有個 a 屬性，其值是一個 function，然后 this['$store']['state']['url']['index'] 的值其實就是 /api/movie，就是 Ajax 請求 URL 的 Path。_0xa70fc9 就是調(diào)用了前者這個 function 然后傳入了 /api/movie 得到的。

那么下面一步就是去尋找這個 function 在哪里了，我們可以把 Watch 面板的 _0x18bba 展開，這里會顯示一個 FunctionLocation，就是這個 function 的代碼位置，如圖所示。

點擊進入之后發(fā)現(xiàn)其仍然是未格式化的代碼，再次點擊 {} 格式化一下代碼。

這時候我們就進入到了一個新的名字為 _0xc9e475 這個方法里面，這個方法里面應該就是 token 的生成邏輯了，我們再打上斷點，然后執(zhí)行面板右上角藍色箭頭狀的 Resume 按鈕，如圖所示。

這時候就發(fā)現(xiàn)我們就單步執(zhí)行到這個位置了。

接下來我們不斷進行單步調(diào)試，觀察一下這里面的執(zhí)行邏輯和每一步調(diào)試過程中結(jié)果都有什么變化，如圖所示。

在每步的執(zhí)行過程中，我們可以發(fā)現(xiàn)一些運行值會被打到代碼的右側(cè)并帶有高亮表示，同時在 watch 面板還能看到每步的變量具體結(jié)果。

最后我們總結(jié)出這個 token 的構造邏輯如下：

·傳入的 /api/movie 會構造一個初始化列表，變量命名為 _0x3dde76。·獲取當前的時間戳，命名為 _0x4c50b4，push 到 _0x3dde76 這個變量里面。·將 _0x3dde76 變量用 , 拼接，然后進行 SHA1 編碼，命名為 _0x46ba68。·將 _0x46ba68 （SHA1 編碼的結(jié)果）和 _0x4c50b4 （時間戳）用逗號拼接，命名為 _0x495a44。·將 _0x495a44 進行 Base64 編碼，命名為 _0x2a93f2，得到最后的 token。

以上的一些邏輯經(jīng)過反復的觀察就可以比較輕松地總結(jié)出來了，其中有些變量可以實時查看，同時也可以自己輸入到控制臺上進行反復驗證，相信總結(jié)出這個結(jié)果并不難。

好，那現(xiàn)在加密邏輯我們就分析出來啦，基本的思路就是：

·先將 /api/movie 放到一個列表里面·列表中加入當前時間戳·將列表內(nèi)容用逗號拼接·將拼接的結(jié)果進行 SHA1 編碼·將編碼的結(jié)果和時間戳再次拼接·將拼接后的結(jié)果進行 Base64 編碼

驗證下邏輯沒問題的話，我們就可以用 Python 來實現(xiàn)出來啦。

Python 實現(xiàn)列表頁的爬取

要 Python 實現(xiàn)這個邏輯，我們需要借助于兩個庫，一個是 hashlib，它提供了 sha1 方法；另外一個是 base64 庫，它提供了 b64encode 方法對結(jié)果進行 Base64 編碼。

代碼實現(xiàn)如下：

import hashlibimport timeimport base64from typing import List, Anyimport requests
INDEX_URL = 'https://dynamic6.scrape.cuiqingcai.com/api/movie?limit={limit}&offset={offset}&token={token}'LIMIT = 10OFFSET = 0
def get_token(args: List[Any]):    timestamp = str(int(time.time()))    args.append(timestamp)    sign = hashlib.sha1(','.join(args).encode('utf-8')).hexdigest()    return base64.b64encode(','.join([sign, timestamp]).encode('utf-8')).decode('utf-8')
args = ['/api/movie']token = get_token(args=args)index_url = INDEX_URL.format(limit=LIMIT, offset=OFFSET, token=token)response = requests.get(index_url)print('response', response.json())

這里我們就根據(jù)上面的邏輯把加密流程實現(xiàn)出來了，這里我們先模擬爬取了第一頁的內(nèi)容，最后運行一下就可以得到最終的輸出結(jié)果了。

另外，還有一些

·Hook 原理·Hook 注入·Overrides 功能·Tampermonkey 插件·Python 模擬實現(xiàn)

的內(nèi)容，我放在了下一節(jié)，下一節(jié)會于 5.3 號發(fā)出，我們不見不散～

崔慶才

靜覓博客博主，《Python3網(wǎng)絡爬蟲開發(fā)實戰(zhàn)》作者

隱形字

個人公眾號：進擊的Coder