數據開發(fā)崗位職責
在不斷進步的社會中,越來越多地方需要用到崗位職責,制定崗位職責可以有效規(guī)范操作行為。那么制定崗位職責真的很難嗎?下面是小編整理的數據開發(fā)崗位職責,歡迎閱讀與收藏。
數據開發(fā)崗位職責1
職責描述:
1、承擔現(xiàn)有數據平臺的.開發(fā)和優(yōu)化工作
2、根據業(yè)務需求進行數據模型的調研、設計、開發(fā)及驗證工作,并持續(xù)進行模型優(yōu)化
3、負責數據模型架構的構建,建立數據抽取、清洗、校驗等數據加工流程規(guī)范及olap多維數據分析模型
4、負責實時計算平臺搭建。
職位要求:
1、3—5年以上的相關工作經驗
2、熟悉分布式計算平臺
3、有日志采集,數據處理,數據倉庫建模,etl等經驗
4、熟悉java、python、spark開發(fā)
5、熟練掌握linux shell及sql語言
6、有獨立負責數據某一模塊的實際項目經驗
7、有過用戶畫像等方面開發(fā)經驗者優(yōu)先
8、有實時處理開發(fā)經驗者優(yōu)先
數據開發(fā)崗位職責2
崗位職責:
1、負責集團基礎數據平臺架構并實施建設開發(fā);
2、負責構建設計良好的信息源數據采集、傳輸、存儲、計算、分析和挖掘技術實施方案;
3、實現(xiàn)優(yōu)化調度系統(tǒng)、查詢引擎、數據工具等降低數據的'使用門檻,保證平臺穩(wěn)定高效運行;
3、負責應對處理每天千億增量的玩家行為數據;
4、負責對接并支持業(yè)務系統(tǒng)的數據分析工作,支持對內對外部數據進行梳理、整合及共享;
任職要求:
1、計算機或數學相關專業(yè),3年以上數據從業(yè)經驗;
2、深入hadoop大數據生態(tài)體系,對包括flume、kafka、hbase、hive、spark等有深刻理解,了解過flink、impala、kylin等;
3、精通kafka/redis/rabbitmq等其中至少一種消息隊列技術,擅長mysql存儲原理及索引優(yōu)化;
4、有過支撐每日億級別數據處理經驗,在離線數據處理、在線檢索方面有豐富的經驗,了解集群管理、資源調度等綜合實現(xiàn);
5、熟練使用scala/java/python開發(fā),具有較強的數據敏感性,熟悉web開發(fā)技術,有游戲相關數據處理與分析平臺開發(fā)經驗者優(yōu)先。
數據開發(fā)崗位職責3
工作職責:
1、根據公司數據分析需求進行基于hadoop平臺的項目開發(fā);
2、根據需求進行數據倉庫模型設計,熟練使用kettle工具進行etl程序的開發(fā);包括實時數據加工,計算,etl,管理,監(jiān)控等;
3、負責針對源系統(tǒng)進行數據抽取、處理、分析等相關工作,及項目中涉及到的數據庫創(chuàng)建、維護及提供數據接口工作;
4、負責設計并優(yōu)化基于hive的數據倉庫的建設;
5、制定數據庫備份和恢復策略及工作流程與規(guī)范。
6、能出具消費品品牌制造行業(yè)應用的數據分析技術解決方案,并落地。
任職資格:
1、從事數據倉庫領域至少2年以上,熟悉數據倉庫模型設計與etl開發(fā)經驗,具備海量數據加工處理相關經驗;
2、熟悉數據倉庫領域知識和技能者優(yōu)先,包括但不局限于:元數據管理、數據開發(fā)測試工具與方法、數據質量、主數據管理;
3、有從事分布式數據存儲與計算平臺應用開發(fā)經驗,熟悉hadoop生態(tài)相關技術并有相關實踐經驗著優(yōu)先,重點考察hive、hdfs、hbase;
4、熟練掌握kettlesqoop、datax、airflow等;
5、有消費品品牌制造、零售行業(yè)經驗,尤其快消品行業(yè)和財務領域數據項目經驗者優(yōu)先;
6、熟悉分布式計算presto/imapa優(yōu)先;
7、有實時計算方面的`經驗的優(yōu)先。
數據開發(fā)崗位職責4
職責描述:
1、精通java開發(fā)、熟悉restful和maven,精通主流java web開發(fā)框架spring、spring boot、spring data jpa、logback、mybatis;
2、熟悉對常用關系型數據庫和hdfs、hive,kafka、storm等讀寫操作,性能優(yōu)化;
3、具備系統(tǒng)架構設計能力,具備較強的'java程序調優(yōu)能力及數據庫設計和sql調優(yōu)能力,具備良好的溝通能力;
4、熟悉多線程編程、熟悉junit單元測試;
【數據開發(fā)崗位職責】相關文章:
數據庫開發(fā)崗位職責09-30
大數據開發(fā)工程師的崗位職責12-16
數據庫開發(fā)專員簡歷04-06
Oracle數據庫開發(fā)技巧08-19
數據庫開發(fā)簡歷范文09-30
數據平臺崗位職責07-25
數據治理崗位職責11-02