2. 熟悉爬蟲原理,熟悉各類數據爬取,有過大規模、高并發爬蟲開發經驗;
3. 熟悉主流爬取技術及爬蟲框架工具,熟練掌握python,fiddler、charles等抓抓包改包工具" />
1. 985碩士,多年爬蟲采集相關工作經驗;
2. 熟悉爬蟲原理,熟悉各類數據爬取,有過大規模、高并發爬蟲開發經驗;
3. 熟悉主流爬取技術及爬蟲框架工具,熟練掌握python,fiddler、charles等抓抓包改包工具
4. 擅長驗證碼加密處理/代理池等爬蟲相關技術;
5. 有一定逆向分析能力,熟悉Android、Js逆向、反編譯、設備指紋、混淆、脫殼、動態分析、HOOK,Js混淆、ollvm混淆等。
熟悉各類電商平臺,旅游網站,問答網站,音視頻網站等各類網頁版、小程序版、app版本的數據爬取。
例如:美團酒店、餓了么藥店、拼多多、淘寶、抖音、新浪財經、58、去哪兒、馬蜂窩、飛豬、酷狗、網易云等各類網站。
分析餓了么app買藥模塊,按城市分析數據接口,獲取藥店名稱,評分,營業時間,商家地址,以及售賣各類藥品名稱,id,價格,優惠幅度,月銷量等數據,解決反爬問題,進行定時更新。
分析馬蜂窩網頁端數據接口,選擇旅游攻略模塊,進行城市列表解析過去,逆向cookie信息,進行攻略數據的抓取分析,包括攻略發布時間,圖文內容,閱讀量,評論量,作者信息等,實現全量數據爬取。