職位描述
工作職責(zé):1. 全局統(tǒng)籌并建設(shè)高性能、高對(duì)抗的分布式群控爬蟲(chóng)采集平臺(tái)的建設(shè);2. 構(gòu)建億級(jí)爬蟲(chóng)平臺(tái)對(duì)應(yīng)的賬號(hào)、網(wǎng)絡(luò)、風(fēng)控等基礎(chǔ)設(shè)施;3. 負(fù)責(zé)公司的重要爬蟲(chóng)項(xiàng)目的方案設(shè)計(jì),工程實(shí)現(xiàn),數(shù)據(jù)源以海外電商為主,如亞馬遜、tiktok、google等;4. 協(xié)助團(tuán)隊(duì)對(duì)數(shù)據(jù)平臺(tái)存儲(chǔ)的海量數(shù)據(jù)進(jìn)行挖掘研究;5. 負(fù)責(zé)帶領(lǐng)其他初級(jí)爬蟲(chóng)工程師協(xié)同工作。 任職資格:1. 計(jì)算機(jī)本科相關(guān)專業(yè),熟悉計(jì)算機(jī)基礎(chǔ)知識(shí);2. 搭建過(guò)億級(jí)數(shù)據(jù)采集平臺(tái),熟悉分布式采集/群控原理,了解分布式調(diào)度,有百億級(jí)數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先;3. 有網(wǎng)絡(luò)安全意識(shí),了解多種破解反爬策略,具備識(shí)別和規(guī)避風(fēng)控風(fēng)險(xiǎn)的能力;4. 熟練掌握至少一門編程語(yǔ)言,java/python/go不限,3年以上爬蟲(chóng)或反爬工作經(jīng)驗(yàn)5. 有海外商品數(shù)據(jù)抓取經(jīng)驗(yàn)和國(guó)內(nèi)數(shù)據(jù)抓取經(jīng)驗(yàn),擅長(zhǎng)高并發(fā)快速采集;6. 熟悉常用的爬蟲(chóng)框架和Hook工具frida、xposed,逆向工具IDA等,有國(guó)內(nèi)外中大型電商數(shù)據(jù)爬取經(jīng)驗(yàn);7. 有自己的一套爬蟲(chóng)工具庫(kù),例如js反混淆腳本和爬蟲(chóng)采集框架,快速開(kāi)發(fā)基于rpc或rpa的爬蟲(chóng)工具;8. 掌握驗(yàn)證碼識(shí)別技術(shù)、js逆向,反混淆等常用反爬技能;9. 良好的溝通能力,抗壓能力強(qiáng),能獨(dú)立解決開(kāi)發(fā)過(guò)程遇到的各類問(wèn)題。福利說(shuō)明:1.廣闊發(fā)展空間,條件優(yōu)秀者可分配股票期權(quán);2.五險(xiǎn)一金+意外險(xiǎn)+健全的薪酬晉升體系;3.帶薪年假/病假、年度體檢、國(guó)家法定假日及過(guò)節(jié)福利等。
企業(yè)介紹
集團(tuán)于一九九零年在香港成立,進(jìn)入中國(guó)內(nèi)地房地產(chǎn)市場(chǎng)投資30年。集團(tuán)投資已經(jīng)遍布于中國(guó)東北、華北、華中、華東、華南以及西南六大經(jīng)濟(jì)區(qū)域的主要城市。近十年積極開(kāi)拓多元化業(yè)務(wù), 目前已有互聯(lián)網(wǎng)服務(wù),紅酒莊園,以及人工智能等成熟業(yè)務(wù)。為了配合AI科技業(yè)務(wù)板塊的發(fā)展,急需招聘大量人才加入成就團(tuán)隊(duì)的發(fā)展與進(jìn)化。集團(tuán)于1997年在香港聯(lián)合交易所主板上市。2005—2017年連續(xù)十三年入選“中國(guó)房地產(chǎn)百?gòu)?qiáng)企業(yè)” ;2012—2016年連續(xù)五年位居“中國(guó)房地產(chǎn)上市公司綜合實(shí)力50強(qiáng)”;2007—2009年連續(xù)三年榮獲“中國(guó)藍(lán)籌地產(chǎn)企業(yè)”稱號(hào)。