熟練使用 Scrapy、Scrapy - Redis 等爬蟲框架，精通 Requests、BeautifulSoup、lxml 等網(wǎng)絡請求與數(shù)據(jù)解析庫
熟練運用 Spring 全家桶（Sp" /> ,,

欧美操bb-欧美不卡在线视频-欧美不卡视频在线-欧美不卡1卡2卡三卡老狼-欧美爆插-欧美白人极品性喷潮

猿急送>

北京Python兼職程序員

ID：388230

浮生

高級開發(fā)工程師

公司信息：
中科軟科技股份有限公司

工作經(jīng)驗：
5年

兼職日薪：
500元/8小時

兼職時間：
下班后
周六
周日

所在區(qū)域：
北京
海淀

技術能力

熟練掌握java和python語言
熟練使用 Scrapy、Scrapy - Redis 等爬蟲框架，精通 Requests、BeautifulSoup、lxml 等網(wǎng)絡請求與數(shù)據(jù)解析庫
熟練運用 Spring 全家桶（Spring Boot、Spring Cloud、Spring MVC 等）進行企業(yè)級應用開發(fā)，熟悉 Struts、Hibernate 等框架。
熟練掌握 MySQL、MongoDB 等數(shù)據(jù)庫的使用，能夠設計合理的數(shù)據(jù)庫表結(jié)構(gòu)，編寫高效的 SQL 語句與 MongoDB 查詢語句，實現(xiàn)數(shù)據(jù)的存儲與讀取。了解 Redis 在緩存和數(shù)據(jù)隊列方面的應用。

項目經(jīng)驗

項目：新聞資訊爬蟲與輿情監(jiān)測系統(tǒng)
項目描述：開發(fā)新聞資訊爬蟲，實時抓取各大新聞網(wǎng)站的新聞內(nèi)容，構(gòu)建輿情監(jiān)測系統(tǒng)，為公司公關部門提供輿情預警與分析服務。
工作職責：
運用 Scrapy - Redis 分布式爬蟲框架，實現(xiàn)多臺服務器協(xié)同工作，將新聞數(shù)據(jù)采集效率提升了10倍。
針對新聞網(wǎng)站的驗證碼反爬蟲機制，采用機器學習方法，利用 TensorFlow 訓練驗證碼識別模型，識別準確率達到70%，有效突破驗證碼限制。同時，結(jié)合打碼平臺備用，確保在復雜驗證碼場景下爬蟲仍能穩(wěn)定運行。
對采集到的新聞文本進行自然語言處理，使用 Jieba 分詞工具進行分詞，結(jié)合 TextBlob 進行情感分析，判斷新聞的情感傾向（正面、負面、中性），為輿情監(jiān)測提供量化指標。
將處理后的數(shù)據(jù)存儲到 MongoDB 數(shù)據(jù)庫，利用其靈活的文檔存儲結(jié)構(gòu)適應新聞數(shù)據(jù)的多樣性。搭建基于 Flask 的 Web 應用，為公關部門提供友好的輿情監(jiān)測界面，方便其實時查看新聞動態(tài)與輿情分析結(jié)果。

案例展示

新聞資訊爬蟲

運用 Scrapy - Redis 分布式爬蟲框架，實現(xiàn)多臺服務器協(xié)同工作，實現(xiàn)高速新聞數(shù)據(jù)采集工作。針對新聞網(wǎng)站的驗證碼反爬蟲機制，采用機器學習方法，利用 TensorFlow 訓練驗證碼識別模型，識別準確率達到80%，有效突破驗證碼限制。同時，結(jié)合打碼平臺備用，確保在復雜
音樂數(shù)據(jù)爬取

爬蟲工程師：深入分析各大音樂平臺的網(wǎng)頁結(jié)構(gòu)與數(shù)據(jù)加載方式，利用 Scrapy 框架構(gòu)建高效爬蟲，每日穩(wěn)定采集音樂數(shù)據(jù)，涵蓋音樂名稱、價格、銷量、評論數(shù)等關鍵信息。針對平臺的反爬蟲機制，綜合運用 IP 代理池技術，維護一個包含多個可用代理 IP 的池，使代理 IP 有效率保