二、擁有技能:
1.在過往的經(jīng)驗之中主要是進行爬蟲開發(fā),熟悉爬蟲開發(fā)框架Scrapy,接口框架FastAPI,We" />
一、編程語言: 主要是:Python ,簡單寫Java。熟悉 linux 基礎操作指令, 簡單編寫js代碼。
二、擁有技能:
1.在過往的經(jīng)驗之中主要是進行爬蟲開發(fā),熟悉爬蟲開發(fā)框架Scrapy,接口框架FastAPI,Web框架Falsk,Django。 通用組件: R
equets,Redis,RabbitMq ,Selenium,Pywin32,Puppeteer,Pyinstaller,Pyqt。 了解Frida擴展組件。
2.熟悉國內(nèi)大部分反爬蟲原理。 包括RS4-6,網(wǎng)站加密Token。 擅于逆向JS破解,縱深挖掘。 了解APP的加殼解殼,了解APP的HTT
PS解密。
3.熟悉掌握正則表達式、Xpath、CSS等頁面抽取技術。IP代理池、應用IP池,熟練使用Fiddler、Wireshark等抓包工具。
4.熟悉Python 機器學習,針對圖片驗證碼,滑動驗證碼,旋轉驗證碼等,通過 Python 機器學習能夠解決部分驗證碼。
5.對MySQL,PgSQL,Hive,Hadoop有過建模數(shù)據(jù)操作經(jīng)歷,在之后的工作生活中有自學數(shù)據(jù)開發(fā)工程師相應課程。
1.企業(yè)信息獲取,通過愛企查官網(wǎng)獲得企業(yè)相關信息。
2.稅務發(fā)票查驗平臺接口,解決驗證碼,日訪問量5-12萬不等。
3.有其他平臺接口破解(知識產(chǎn)權等)。生成簽名 token-sign。
4.國內(nèi)瑞數(shù)4 ,5 , 6。
5.國內(nèi)外航空公司加密加密。
6.國際物流網(wǎng)站加密解密.
7.驗證碼突破,機器學習識別。
8.搭建全球爬蟲系統(tǒng),包含(北美,澳洲,歐洲,亞洲)數(shù)據(jù)爬取,收集,清洗,處理,優(yōu)化,展示。
破解17track,51track等物流查詢平臺 1.17track平臺為目前最大的國際物流查詢平臺,反爬手段是lastevent-id,此cookie值會對瀏覽器指紋,瀏覽器版本參數(shù)等進行加密。 2.51track平臺功能物流網(wǎng)站涉及沒17track全面,反爬手段是參數(shù)會被
加密,反混淆加密js,在js中找到要點逆向編譯得出生成cookie值。 在處理接口因為參數(shù)復雜,接口攜帶cookie賦值多,需要仔細處理每個關鍵接口。
1.獲取發(fā)票查驗四要素(發(fā)票代碼、發(fā)票號碼、開票日期、校驗碼) 2.破解網(wǎng)站混淆JS,拿到Token. 3.用TensorFlow進行循環(huán)卷積神經(jīng)網(wǎng)絡對驗證碼識別訓練。 4.攜帶驗證碼以及Token進行發(fā)票驗真, 5.發(fā)票返回結果通過網(wǎng)站混淆,獲取到的結果進行反混淆曲正。
1.通過逆向反混淆加密JS,反VMP結構,獲得加密Token。 2.獲取旋轉驗證碼,通過Pytorch進行訓練。 3.利用Flask提供接口提供內(nèi)外部使用。