職責描述：
1、負責SPARK數據分析模塊與其它系統(tǒng)/模塊之間的銜接，提供基礎數據分析能力；
2、運用數據挖掘算法，解決海量數據分析、挖掘方面的業(yè)務需求，負責數據倉庫的設計，開發(fā)，維護；
3、支撐產品和運營各種業(yè)務數據分析需求；
4、負責數據平臺的開發(fā)和優(yōu)化，基于大數據平臺完成各類統(tǒng)計和開發(fā)任務；
5、負責數據庫監(jiān)控、優(yōu)化大數據計算性能；


任職要求：1、3年以上代碼開發(fā)及2年以上大數據項目管理經驗；
2、熟悉Python/Shell/Perl等一種或幾種腳本語言；
3、精通Hadoop、Spark集群搭建、配置、優(yōu)化以及維護和管理；
4、能夠基于Hadoop生態(tài)的大數據存儲平臺進行數據倉庫的搭建和部署工作，熟練掌握Hive，熟悉HBase或其它任意一種非關系型數據庫；
5、熟練掌握大數據相關管理工具、技術，如Sqoop、Hue、Oozie等；
6、熟練掌握Kafka、Flume 進行消息數據的收發(fā)、優(yōu)化工作，具有豐富的MapReduce調優(yōu)經驗者優(yōu)先；
7、熟悉OpenStack，Docker等云計算平臺或容器平臺構建和維護經驗者優(yōu)先；
8、有數據挖掘、機器學習的經驗；
9、有網絡安全從業(yè)背景者優(yōu)先；

光通公司于2014年4月成立，兩年來，公司業(yè)務以600%的增長率發(fā)展，成為行業(yè)發(fā)展的奇跡。
主營業(yè)務為網絡安全服務、云計算、數據中心業(yè)務及互聯網大數據行業(yè)解決方案的互聯網科技企業(yè)。公司已在北京、上海、深圳開設分公司，業(yè)務遍布國內33個大中城市。創(chuàng)立伊始，公司即專注于網絡安全服務市場，是國內首批進入互聯網抗DDos攻擊領域的企業(yè)，成立三年以來，已具備豐富的網絡攻防、DDos攻擊防范經驗，研發(fā)搭建了T級防御能力的超高安全防護架構及系統(tǒng)，是國內目前最專業(yè)的DDos網絡高防產品。