ETL高級(jí)工程師職位要求
1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等專業(yè),本科以上學(xué)歷;
2、精通SQL語(yǔ)言;熟悉數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、建模;
3、精通Python,能夠編寫腳本處理、分析數(shù)據(jù);
4、熟悉批量離線式分布式并行計(jì)算技術(shù)(如Hadoop、MapReduce、Hive、Spark等)
5、熟悉SQLServer、MySQL數(shù)據(jù)庫(kù);了解Redis等非關(guān)系型數(shù)據(jù)庫(kù);
6、熟悉至少一種常用ETL工具(如Kettle、SSIS、Gobblin);了解常用報(bào)表工具(如Reporting Services以及各類開源報(bào)表);
7、了解常用數(shù)據(jù)挖掘方法(回歸、決策樹、聚類等)。
ETL高級(jí)工程師崗位職責(zé)
1、負(fù)責(zé)國(guó)際網(wǎng)站后臺(tái)數(shù)據(jù)倉(cāng)庫(kù)搭建、維護(hù);
2、運(yùn)用各類大數(shù)據(jù)工具設(shè)計(jì)ETL流程,消費(fèi)生產(chǎn)環(huán)境埋點(diǎn)、日志等數(shù)據(jù);
3、日常數(shù)據(jù)監(jiān)控以及數(shù)據(jù)預(yù)警,異常數(shù)據(jù)解讀挖掘,并與業(yè)務(wù)同事溝通解決方案;
4、分析用戶的特征和行為數(shù)據(jù),挖掘不同類型用戶的行為特性,為實(shí)際的業(yè)務(wù)運(yùn)營(yíng)提供數(shù)據(jù)支持;
5、從數(shù)據(jù)分析結(jié)果中尋找insight和商業(yè)價(jià)值,并以簡(jiǎn)明扼要的形式傳導(dǎo)到其他部分,指導(dǎo)實(shí)際的業(yè)務(wù)運(yùn)營(yíng);
6、處理國(guó)際網(wǎng)站的臨時(shí)數(shù)據(jù)需求,并對(duì)于常用重要需求轉(zhuǎn)化成數(shù)據(jù)產(chǎn)品。