2.熟悉MTV架構,熟悉Django,Flask等框架,熟悉Restful API 開發思想。
3.熟悉前端網頁技術,包括HTML5、C" />
1.熟練掌握Python語言、JAVA語言,1年以上的Python語言應用開發經驗
2.熟悉MTV架構,熟悉Django,Flask等框架,熟悉Restful API 開發思想。
3.熟悉前端網頁技術,包括HTML5、CSS、JavaScript、VUE.JS等。熟悉TCP/IP 協議等。
4.了解基于Docker環境的應用開發和部署,了解Celery任務調度框架熟悉網頁抓取原理及技術。
5.熟悉re、beautifulsoup、xpath、selenium、scrapy、feapder框架等網頁信息抽取技術。
6.熟悉常見的反爬機制及應對策略,熟悉scrapy框架。
7.熟悉Linux平臺及 Linux 常用命令的使用。
8.熟練使用MySQL關系型數據庫,MongoDB非關系型數據庫。
9.熟悉常用的版本管理工具,如Git。
10.具備良好的Python編碼規范。
11.會使用影刀RPA、八爪魚RPA技術等自動化技術。
有爬取股票信息、探跡、閑魚、淘寶、京東、抖音、小紅書各大平臺數據。
圖書管理系統
項目概述:該項目是圖書管理系統,頁面主體是整個網頁模板的框架和前端部分;使用的是Django框架,采用Django的用戶和鑒權系統,然后通過Django的用戶系統完成注冊和登錄頁面;
項目職責:
1.負責項目的需求分析
2.負責數據庫模型設計
3.負責后臺業務邏輯的編寫與前后端交互
4.負責項目的單元測試
二手房數據采集
項目概述:本項目旨在使用 Scrapy 爬取5i5j網站的二手房和公寓樓數據,并將提取的信息存儲到 MongoDB 數據庫中。主要爬取的數據包括房產名稱、戶型、面積、戶型結構、建筑類型、房屋朝向、裝修情況、配備電梯、建筑結構、供暖方式、產權、購房年限、抵押情況、價格等信息。
項目職責:設計爬蟲抓取邏輯并實現代碼開發,對爬取的數據進行提取和清洗,使用 Scrapy 框架實現網絡爬蟲。
技能描述:項目采用 Python3 語言,Scrapy 框架,使用 Xpath 解析網頁,使用 Referer 和 User-Agent 池處理網站的反爬機制,使用 Scrapy-Redis 分布式架構進行分布式爬取,采用 MongoDB 非關系數據庫進行持久化存儲。
探跡RPA自動化數據采集
項目概述:本項目的目標是利用八爪魚RPA技術從探跡網站自動化采集外貿企業的信息數據。這些數據包括出口國家、貿易類型、公司名稱、聯系方式、年營業額以及企業地址等。
項目目的:是通過自動化手段減少人工操作的需求,提高數據采集的效率和精確性,并將所得數據存儲于Excel文件中以便后續處理和分析。
項目職責:使用自動化進行爬取數據,理清每個邏輯并進行完善模塊化開發,負責將爬取的數據進行必要的清洗、格式化處理后存儲到Excel文件中,確保數據的可用性和整潔性。
技能描述:為了讓企業能夠快速掌握外貿企業公司的基本信息和聯系方式,就采用最快速簡便的腳本進行獲取數據。
Python 爬取股票信息并進行可視化分析 項目概述 本項目旨在使用Python爬取實時的股票數據,通過JSON接口獲取股票相關的價格、成交量等數據,并對這些數據進行可視化分析。項目的主要目標是為用戶提供一個自動化的工具,可以隨時獲取最新的股票信息,并通過圖表等方式進行數據分
使用八爪魚RPA爬取閑魚租房信息自動化流程 作品簡介 本作品展示了如何使用八爪魚RPA工具,實現對閑魚平臺租房信息的自動化數據抓取。通過本流程,用戶可以輕松獲取到閑魚上最新的租房信息,包括租金、房源位置、房屋描述等,提升數據收集效率。 爬取步驟 確定目標網址:選擇閑魚
使用八爪魚RPA爬取閑魚租房信息自動化流程 作品簡介 本作品展示了如何使用八爪魚RPA工具,實現對閑魚平臺租房信息的自動化數據抓取。通過本流程,用戶可以輕松獲取到閑魚上最新的租房信息,包括租金、房源位置、房屋描述等,提升數據收集效率。 爬取步驟 確定目標網址:選擇閑魚