ID：246014
璃殤
Python
- 公司信息：
- 浙江科技大學
- 工作經驗：
- 1年
- 兼職日薪：
- 500元/8小時
- 兼職時間：
- 周六
- 周日
- 可工作日遠程
- 所在區域：
- 杭州
- 余杭
技術能力
掌握Python基礎語法，具備基礎的編程能力;掌握Linux基本操作命令，掌握MySQL進階內容。知識點包括Python基本語法規則及變量、邏輯控制、內置數據結構、文件操作、高級函數、模塊、Python常用標準庫模塊、函數、異常處理、MySQL使用、協程等。掌握爬蟲、數據采集、數據機構與算法，掌握人工智能技術。涉及的知識點有數據抓取、數據提取、數據存儲、爬蟲并發、動態網頁抓取、scrapy框架、分布式爬蟲、爬蟲攻防、數據結構、算法等。
項目經驗
項目時間：2017-01到2011-10
項目名稱：分布式爬蟲爬取北京市企業信用信息網
項目描述：
項目介紹
這個項目是通過scrapy-redis搭建分布式爬蟲爬取企業信用信息網公布欄，爬取列表頁每一項下的子頁獲取數據
我的職責
首先爬取首頁后通過xpath匹配每個的信息塊的span后構建請求，并通過scrapy.Request發送請求，用xpath匹配需要的信息。
同時循環創建下一頁請求的form表單，通過scrapy.FormRequest發送POST請求。所有爬取的信息緩存到redis數據庫中，
最后通過編寫python腳本將redis數據庫中數據讀取出來加入mysql數據庫。
其他爬取的網站：搜狐新聞、豆瓣、騰訊新聞網
相似人才推薦
-
500元/天python高級工程師北京富能通科技有限公司概要：1. 高性能架構 1.1. 分布式架構思維 1.2. Zookeeper分布式環境指揮官
-
500元/天python工程師易恒健康概要：- Web開發：Python/Node/go - Web框架：Django-restful/fla
-
600元/天Python開發工程師上海戎磐網絡科技有限公司概要：Python、Django、Mysql、Redis、Elasticsearch、Celery、Scr
-
500元/天php python 前端溫州市溫工匯文化傳媒有限公司概要：1、5年的php開發經驗 2、會的開發語言 前端（熟練） html css js vue un
-
500元/天Python開發雨云科技概要：熟悉 MySQL，MariaDb, Redis 數據庫，了解 MongoDB 數據庫； 熟悉 Dj
-
500元/天python網絡爬蟲程序員北京寬明科技有限公司概要：熟悉掌握python語言，html5，javascript，Jquery，mysql，mongodb
-
500元/天python爬蟲工程師鑫奉工作室概要：熟悉python爬蟲，可編寫scrapy框架等，可做數據采集工作，可以存儲到數據庫·表格等方式進行存
-
500元/天python后端安徽萬工信息技術有限公司概要：目前是安徽大學計算機專業研究生二年級在讀，研究方向為圖像識別。本人熟練掌握python及Linux系
