職位描述
1、負(fù)責(zé)web端數(shù)據(jù)的爬取、清洗、解析、入庫(kù)2、熟練掌握Python編程語(yǔ)言,熟悉****,熟悉fastapi后端服務(wù)構(gòu)建;3、熟練使用數(shù)據(jù)庫(kù),掌握redis、pgsql、mysql等;4、數(shù)量使用docker進(jìn)行服務(wù)部署;5、熟悉各種抓取技術(shù),包括爬蟲(chóng)反爬、代理、驗(yàn)證碼處理;6、熟練使用正則表達(dá)式、xpath等,能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;7、掌握常見(jiàn)的反爬機(jī)制,精通各種反爬破解,包括但不限于:hook、Js防護(hù)、混淆、逆向分析等技能;8、參與設(shè)計(jì)與優(yōu)化分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng),熟悉采集系統(tǒng)的調(diào)度策略,實(shí)時(shí)監(jiān)控爬蟲(chóng)的進(jìn)度和警報(bào)反饋;任職要求:1、編程能力:精通Python,熟悉****,能使用FastAPI構(gòu)建后端服務(wù)2、數(shù)據(jù)庫(kù):熟練使用PostgreSQL/MySQL進(jìn)行數(shù)據(jù)存儲(chǔ),Redis實(shí)現(xiàn)緩存與去重3、精通XPath/正則表達(dá)式解析結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)4、掌握代理IP池構(gòu)建、請(qǐng)求偽裝、動(dòng)態(tài)渲染等技術(shù)5、備反爬破解能力(Hook技術(shù)、JS逆向、混淆代碼分析等)6、有瑞數(shù)、國(guó)密算法逆向經(jīng)驗(yàn)者優(yōu)先7、熟練使用Docker容器化部署服務(wù)
企業(yè)介紹
北京協(xié)合運(yùn)維風(fēng)電技術(shù)有限公司(簡(jiǎn)稱(chēng)“協(xié)合運(yùn)維”),是新能源行業(yè)綜合型技術(shù)服務(wù)龍頭企業(yè)。 公司成立于2007年,擁有超過(guò)17年的新能源電站運(yùn)行維護(hù)、資產(chǎn)托管及技術(shù)服務(wù)經(jīng)驗(yàn)。面向新能源發(fā)電設(shè)備、輸變電設(shè)備、綜合能源系統(tǒng),提供基于數(shù)據(jù)驅(qū)動(dòng)的設(shè)備預(yù)警、智能診斷、維修決策、現(xiàn)場(chǎng)運(yùn)維、技改優(yōu)化、備件供應(yīng)與維修等一站式服務(wù)解決方案。公司目前服務(wù)管理300多個(gè)新能源交付單元,全球在運(yùn)維容量突破3000萬(wàn)千瓦,擁有3000余人的專(zhuān)業(yè)服務(wù)團(tuán)隊(duì)??蛻?hù)涵蓋大型電力集團(tuán)、地方國(guó)企、民營(yíng)投資商、整機(jī)制造商,以及蘋(píng)果基金等國(guó)內(nèi)外知名企業(yè)。經(jīng)過(guò)多年踐行探索,公司形成北京總部管控支持、區(qū)域服務(wù)共享、電站標(biāo)準(zhǔn)化執(zhí)行的三級(jí)管理模式,憑借強(qiáng)大的數(shù)據(jù)分析能力、完善的平臺(tái)支持、專(zhuān)業(yè)的技術(shù)人員,提供安全、專(zhuān)業(yè)、可靠的新能源運(yùn)營(yíng)服務(wù)。