etl崗位職責20篇

崗位職責是什么

etl（extract, transform, load）工程師是一個專門負責數(shù)據(jù)處理和整合的專業(yè)角色。他們從各種數(shù)據(jù)源中抽取（extract）數(shù)據(jù)，對其進行清洗、轉(zhuǎn)換（transform），然后加載（load）到數(shù)據(jù)倉庫或大數(shù)據(jù)平臺，以支持企業(yè)的數(shù)據(jù)分析和決策制定。

崗位職責要求

1. 熟練掌握etl工具，如informatica, talend, ssis等，能進行高效的數(shù)據(jù)提取和加載。

2. 深入理解數(shù)據(jù)庫原理，熟悉sql編程，能夠優(yōu)化數(shù)據(jù)提取效率。

3. 具備數(shù)據(jù)清洗和預處理能力，能處理異常值、缺失值，確保數(shù)據(jù)質(zhì)量。

4. 掌握數(shù)據(jù)建模理論，能設計和實現(xiàn)符合業(yè)務需求的數(shù)據(jù)架構。

5. 具備良好的編程基礎，如python或java，用于編寫腳本和自動化任務。

6. 理解業(yè)務流程，能與業(yè)務部門有效溝通，明確數(shù)據(jù)需求。

崗位職責描述

etl工程師是數(shù)據(jù)工程團隊的核心成員，他們的工作涉及整個數(shù)據(jù)生命周期管理。他們不僅要確保數(shù)據(jù)的準確性和完整性，還要保證數(shù)據(jù)的及時性，以滿足實時或近實時的數(shù)據(jù)分析需求。通過構建和維護etl流程，他們將企業(yè)的運營數(shù)據(jù)轉(zhuǎn)化為有價值的信息，為管理層提供決策支持。

有哪些內(nèi)容

1. 需求分析：與業(yè)務團隊協(xié)作，理解并定義數(shù)據(jù)提取、轉(zhuǎn)換和加載的需求。

2. 設計etl流程：規(guī)劃數(shù)據(jù)流，設計和實施高效的數(shù)據(jù)轉(zhuǎn)換邏輯。

3. 編寫和調(diào)試etl腳本：使用專業(yè)工具或編程語言創(chuàng)建數(shù)據(jù)抽取和轉(zhuǎn)換規(guī)則。

4. 數(shù)據(jù)質(zhì)量監(jiān)控：設定數(shù)據(jù)質(zhì)量標準，實施數(shù)據(jù)驗證，確保數(shù)據(jù)的準確性。

5. 性能優(yōu)化：持續(xù)監(jiān)控etl性能，調(diào)整和優(yōu)化以提高處理速度和效率。

6. 文檔編寫：記錄etl流程，以便于維護和知識傳遞。

7. 系統(tǒng)集成：與數(shù)據(jù)庫管理員、數(shù)據(jù)分析師和業(yè)務智能團隊協(xié)作，確保數(shù)據(jù)的無縫集成。

8. 故障排查和修復：當數(shù)據(jù)問題發(fā)生時，迅速定位并解決，防止影響業(yè)務運行。

9. 持續(xù)改進：跟蹤新技術和最佳實踐，提升etl流程的自動化程度和靈活性。

作為etl工程師，他們需要不斷適應快速變化的技術環(huán)境，以滿足企業(yè)日益復雜的數(shù)據(jù)處理需求，同時保持對業(yè)務目標的敏銳洞察，以驅(qū)動數(shù)據(jù)驅(qū)動的業(yè)務決策。

etl崗位職責范文

第1篇 高級etl開發(fā)經(jīng)理職位描述與崗位職責任職要求

職位描述：

崗位職能：

1. 基于公司數(shù)據(jù)建設需要，完成數(shù)據(jù)平臺構建、數(shù)據(jù)內(nèi)容開發(fā)等工作。包括：數(shù)據(jù)平臺基礎設施建設、數(shù)據(jù)采集、etl、數(shù)倉及數(shù)據(jù)集市、數(shù)據(jù)應用產(chǎn)品等開發(fā)工作；

2. 充分理解需求文檔，基于此進行自測，交付高質(zhì)量的開發(fā)代碼和數(shù)據(jù)內(nèi)容；

3. 工作中對數(shù)據(jù)平臺基礎設施、數(shù)據(jù)內(nèi)容建設等工作主動深度思考，提升效能并積極建言、促進組織和系統(tǒng)發(fā)展；

4. 團隊日常管理，及其他根據(jù)部門需要安排事宜。

崗位要求：

1. 信息技術類、數(shù)學、統(tǒng)計學、計量經(jīng)濟學類專業(yè)，本科，工作年限5年以上；

2. 熟悉數(shù)據(jù)倉庫模型設計和精通etl開發(fā)經(jīng)驗 ，掌握3nf，kimball的維度建模設計方法，具備海量數(shù)據(jù)加工處理（etl）相關經(jīng)驗 ；

3. 掌握至少一種數(shù)據(jù)庫開發(fā)技術：oracle、teradata、db2、mysql等，精通并靈活運用sql實現(xiàn)海量數(shù)據(jù)etl加工處理 ；

4. 熟悉linu_系統(tǒng)常規(guī)shell處理命令，靈活運用shell做的文本處理和系統(tǒng)操作 ；

5. 有從事分布式數(shù)據(jù)存儲與計算平臺應用開發(fā)經(jīng)驗 ；

6. 熟練掌握一門或多門編程語言，并有大型項目建設經(jīng)驗者優(yōu)先，重點考察python、perl、java ；

7. 熟悉數(shù)據(jù)倉庫領域知識和技能者優(yōu)先，包括但不局限于：數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量等；

8. 良好的語言溝通與表達能力和自我驅(qū)動動力。

注：此崗位需在杭州一個月

第2篇 etl數(shù)據(jù)工程師職位描述與崗位職責任職要求

職位描述：

職責：

1. 按業(yè)務分析需求進行建模；

2. 進行數(shù)據(jù)倉庫需求分析、方案設計、etl裝載過程設計；

3. 從業(yè)務數(shù)據(jù)庫到數(shù)據(jù)倉庫的etl開發(fā)；

4. 結合業(yè)務流程和需求進行數(shù)據(jù)分析；

任職資格：

1. 本科以上學歷，計算機等信息技術相關專業(yè)；

2. 有互聯(lián)網(wǎng)金融相關工作經(jīng)驗，了解相關數(shù)據(jù)流和業(yè)務背景優(yōu)先；

3. 兩年及以上數(shù)據(jù)倉庫相關工作經(jīng)驗，對數(shù)據(jù)倉庫系統(tǒng)架構具有良好的認識，熟悉數(shù)據(jù)倉庫相關技術，如 etl、報表開發(fā)，具備數(shù)據(jù)分析技術并具有相關項目經(jīng)驗；

4. 具有hive、spark、mysql、oracle等至少一種大型數(shù)據(jù)庫的應用開發(fā)經(jīng)驗，熟悉數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理；

5. 具備python統(tǒng)計和數(shù)據(jù)挖掘相關基本開發(fā)能力；

6. 溝通能力好，善于規(guī)劃和總結，注重團隊合作及知識共享，能承擔一定的工作壓力；

第3篇 etl數(shù)據(jù)分析崗位職責

bi數(shù)據(jù)分析-數(shù)據(jù)開發(fā)(etl工程師) 阿里健康 阿里健康科技(中國)有限公司,阿里健康,阿里健康科技(北京)有限公司,阿里 數(shù)據(jù)開發(fā)

1、構建全面的、準確的、能反映服務業(yè)務線特征的整體指標體系, 并基于業(yè)務監(jiān)控指標體系,及時發(fā)現(xiàn)與定位業(yè)務問題;

2、根據(jù)日常業(yè)務及產(chǎn)品團隊的需求,提供業(yè)務監(jiān)控,業(yè)務評估的各項數(shù)據(jù)指標;

3、根據(jù)業(yè)務發(fā)展情況,從數(shù)據(jù)中發(fā)現(xiàn)業(yè)務及產(chǎn)品的問題點及機會點,給業(yè)務及產(chǎn)品提供相應的方向;

4、沉淀分析思路與框架, 提煉數(shù)據(jù)產(chǎn)品需求,與相關團隊(如技術開發(fā)團隊) 協(xié)作并推動數(shù)據(jù)產(chǎn)品的落地;

5、與業(yè)務協(xié)作(行業(yè)團隊)組織數(shù)據(jù)的理念、技能、工具的培訓。

崗位描述:

1. 負責各條業(yè)務線數(shù)據(jù)倉庫搭建,場景梳理,數(shù)據(jù)維護;

2. 負責公司內(nèi)部跨部門項目數(shù)據(jù)場景梳理,資源調(diào)配工作;

3. 負責從已有的數(shù)據(jù)中挖掘?qū)I(yè)務目標起到推動作用的分析結論。

崗位要求:

1、統(tǒng)計、數(shù)學、信息技術、生物統(tǒng)計本科以上學歷,有電商bi工作經(jīng)驗優(yōu)先;

2、良好的數(shù)據(jù)敏感度,能從海量數(shù)據(jù)提煉核心結果,有數(shù)據(jù)分析、挖掘、清洗和建模的經(jīng)驗;

3、有從事分布式數(shù)據(jù)存儲與計算平臺應用開發(fā)經(jīng)驗,熟悉hadoop生態(tài)相關技術并有相關開發(fā)經(jīng)驗,熟練運用sql,能高效的與數(shù)據(jù)技術團隊進行溝通者尤佳;

4、較為豐富的數(shù)據(jù)倉庫及數(shù)據(jù)平臺的架構經(jīng)驗,精通數(shù)據(jù)倉庫建模及etl設計開發(fā)。

第4篇 etlhive崗位職責etlhive職責任職要求

etlhive崗位職責

崗位職責:

1、負責品牌官方微信、微博、官網(wǎng)的內(nèi)容創(chuàng)作及運營管理工作，定期輸出運營分析報告;

2、負責制定清晰的社交媒體運營策略及目標，提升品牌粉絲數(shù)量、活躍度及忠誠度;

3、負責策劃全年度線上營銷活動，確?；顒拥某晒﹂_展，并對活動數(shù)據(jù)進行分析評估;

4、負責拓展維護各渠道kol資源，與各渠道官媒、kol等開展有效互動;

5、負責拓展其他符合品牌調(diào)性的線上推廣渠道(如百度貼吧、知乎、微博、豆瓣、微信公眾號等);

6、配合線下活動事件(品質(zhì)活動，高端私享會等)進行線上推廣;

7、協(xié)助品牌官方粉絲社群的搭建及運營維護。

任職要求:

1、2年以上新媒體文案策劃經(jīng)驗，具備獨立撰寫營銷策劃方案、制作熱點話題的能力;

2、市場營銷、漢語言文學、新聞學等本科學歷，有粉絲運營經(jīng)驗者優(yōu)先;

3、具備優(yōu)秀的寫作功底和文字駕馭能力，文案邏輯清晰，腦洞大，思路廣，感染力強;

4、熟練掌握office系列辦公軟件，掌握ps、ai等設計軟件者優(yōu)先;海報設計制作，h5制作

有實操經(jīng)驗;

5、熱愛閱讀、有定期寫作習慣;

6、具備較強的溝通能力及執(zhí)行能力，性格開朗，具有一定的團隊意識。

第5篇 etl架構師崗位職責

數(shù)據(jù)倉庫架構師/etl工程師 同程藝龍 同程網(wǎng)絡科技股份有限公司,同程旅游,同程藝龍,同程 位職責:

1、負責數(shù)據(jù)倉庫數(shù)據(jù)采集、處理、存儲以及挖掘分析的架構實現(xiàn),負責架構設計和指導團隊落地;

2、參與數(shù)據(jù)平臺建設,包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作;設計并實現(xiàn)對bi分析、數(shù)據(jù)產(chǎn)品開發(fā)、算法開發(fā)的系統(tǒng)性支持;

3、研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地,包括但不限于以下領域:大規(guī)模數(shù)據(jù)實時化、研發(fā)模式敏捷化、數(shù)據(jù)計算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務化等方面。

職位要求:

1、具備5年以上dw系統(tǒng)建設經(jīng)驗;了解數(shù)據(jù)倉庫建設過程中的挑戰(zhàn)與問題,有實際架構設計和數(shù)據(jù)建模經(jīng)驗,有作為技術負責人系統(tǒng)化解決問題的成功案例;

2、有dw/bi架構體系中某些領域的專項建設經(jīng)驗,包括但不限于:數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控、流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲、大規(guī)模數(shù)據(jù)實時化、跨平臺資源調(diào)度;

3、熟悉hadoop生態(tài)圈,包括但不限于:hadoop、hive、storm、spark、dremel、kylin等;

4、有海量數(shù)據(jù)建模實踐經(jīng)驗優(yōu)先。

第6篇 數(shù)據(jù)平臺etl開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

工作職能：

1、負責海量數(shù)據(jù)的etl處理。

技能要求：

1、熟悉oracle數(shù)據(jù)庫及sql開發(fā)；

2、精通java、shell；

3、掌握hadoop、hive、kafka、elasticsearch、flink或多項大數(shù)據(jù)開發(fā)技術；

4、有flink相關開發(fā)經(jīng)驗優(yōu)先。

福利待遇：

雙休 五險一金 法定節(jié)假日 健身房 出國旅游

免費體檢 帶薪年假 年終獎

第7篇 高級etl開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

工作職責:

1、負責數(shù)據(jù)平臺的etl設計開發(fā)、工作流調(diào)度設計、存儲過程開發(fā)、自定義函數(shù)開發(fā)。

2、負責各業(yè)務系統(tǒng)數(shù)據(jù)源業(yè)務調(diào)研、數(shù)據(jù)調(diào)研、準確性完整性驗證。

3、負責項目中與第三方系統(tǒng)基于數(shù)據(jù)庫的數(shù)據(jù)對接、數(shù)據(jù)預處理、數(shù)據(jù)清洗、數(shù)據(jù)處理、數(shù)據(jù)導入、數(shù)據(jù)校驗相關開發(fā)工作。

4、負責數(shù)據(jù)平臺的etl相關軟件和工具的研發(fā)和改進。

5、負責數(shù)據(jù)平臺日常管理、跑批、維護、監(jiān)控、處理臨時數(shù)據(jù)需求。

任職資格:

1、本科計算機相關專業(yè)，5年工作經(jīng)驗

2、具備3年或以上etl數(shù)據(jù)處理相關開發(fā)經(jīng)驗

3、擁有3年以上sql開發(fā)

4、掌握hadoop?hive-hql?基礎技能

第8篇 高級etl工程師職位描述與崗位職責任職要求

職位描述：

1、負責公司數(shù)據(jù)平臺項目的etl設計、實現(xiàn)以及優(yōu)化。

2、負責etl流程優(yōu)化，關鍵問題解決、團隊技術與引導和前瞻性技術研究；

3、參與數(shù)據(jù)倉庫數(shù)據(jù)模型設計，進行數(shù)據(jù)質(zhì)量監(jiān)測、校驗和提升；

4、使用etl技術對醫(yī)院信息系統(tǒng)數(shù)據(jù)進行提取、清洗、轉(zhuǎn)換和整合；

崗位要求：

1、至少三年以上etl數(shù)據(jù)開發(fā)經(jīng)驗；計算機相關專業(yè)本科以上學歷，熟悉數(shù)據(jù)分析與數(shù)據(jù)挖掘理論；

2、熟悉dw實施方法論和常規(guī)etl構架，有整體etl開發(fā)經(jīng)驗，深刻理解元數(shù)據(jù)管理；

3、熟練掌握oracle、sql server、mysql、postgresql等至少兩種主流數(shù)據(jù)庫的使用；

4、熟練掌握ssis、kettle、informatica等至少一種etl工具的使用；

5、精通sql、存儲過程、函數(shù)的使用，具備編寫、優(yōu)化復雜sql的能力；

6、對數(shù)字，數(shù)據(jù)敏感，具備良好的邏輯思維能力；

7、具備專業(yè)的業(yè)務研究、分析能力，能夠獨立開展業(yè)務調(diào)研、數(shù)據(jù)分析、數(shù)據(jù)建模、報告編寫工作；

8、有醫(yī)療衛(wèi)生數(shù)據(jù)平臺開發(fā)、實施經(jīng)驗優(yōu)先；

9、能適應長期出差。

第9篇 高級/資深etl工程師職位描述與崗位職責任職要求

職位描述：

崗位職能：

1. 基于公司數(shù)據(jù)建設需要，完成數(shù)據(jù)平臺構建、數(shù)據(jù)內(nèi)容開發(fā)等工作。包括：數(shù)據(jù)平臺基礎設施建設、數(shù)據(jù)采集、etl、數(shù)倉及數(shù)據(jù)集市、數(shù)據(jù)應用產(chǎn)品等開發(fā)工作；

2. 充分理解需求文檔，基于此進行自測，交付高質(zhì)量的開發(fā)代碼和數(shù)據(jù)內(nèi)容；

3. 工作中對數(shù)據(jù)平臺基礎設施、數(shù)據(jù)內(nèi)容建設等工作主動深度思考，提升效能并積極建言、促進組織和系統(tǒng)發(fā)展；

4. 其他根據(jù)部門需要安排事宜；

崗位要求：

1. 信息技術類、數(shù)學、統(tǒng)計學、計量經(jīng)濟學類專業(yè)，研究生及以上學歷。優(yōu)秀候選人學歷可以放寬至本科，工作年限5年以上；

2. 熟悉數(shù)據(jù)倉庫模型設計和精通etl開發(fā)經(jīng)驗 ，掌握3nf，kimball的維度建模設計方法，具備海量數(shù)據(jù)加工處理（etl）相關經(jīng)驗 ；

3. 掌握至少一種數(shù)據(jù)庫開發(fā)技術：oracle、teradata、db2、mysql等，精通并靈活運用sql實現(xiàn)海量數(shù)據(jù)etl加工處理 ；

4. 熟悉linu_系統(tǒng)常規(guī)shell處理命令，靈活運用shell做的文本處理和系統(tǒng)操作 ；

5. 有從事分布式數(shù)據(jù)存儲與計算平臺應用開發(fā)經(jīng)驗，熟悉hadoop生態(tài)相關技術并有相關實踐經(jīng)驗著優(yōu)先，重點考察hdfs、hive（hql)、hbase ；

6. 熟練掌握一門或多門編程語言，并有大型項目建設經(jīng)驗者優(yōu)先，重點考察python、perl、java ；

7. 熟悉數(shù)據(jù)倉庫領域知識和技能者優(yōu)先，包括但不局限于：數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量等；

8. 良好的語言溝通與表達能力和自我驅(qū)動動力。

第10篇 中級etl開發(fā)職位描述與崗位職責任職要求

職位描述：

崗位職責：

1、負責項目實施過程中所對接的第三方系統(tǒng)的數(shù)據(jù)處理及質(zhì)量分析，并完成項目實施過程中的etl工作；

2、熟練掌握etl設計過程，參與大數(shù)據(jù)平臺架構的設計、開發(fā)、流程優(yōu)化及解決etl相關技術問題；

3、與用戶和項目組進行有效溝通，采集項目需求，并提出相應的解決方案；

4、負責監(jiān)控etl并解決出現(xiàn)的問題及性能調(diào)優(yōu)，協(xié)助完成bi數(shù)據(jù)建模；

5、根據(jù)規(guī)范，完成項目相關設計開發(fā)文檔的整理與編寫；

任職要求：

1、 統(tǒng)招全日制本科及以上學歷，具備大數(shù)據(jù)處理經(jīng)驗尤佳；

2、 熟悉etl工具，具有一定項目經(jīng)驗，負責監(jiān)控etl并解決出現(xiàn)的問題及性能調(diào)優(yōu)；

3、熟悉hive和hadoop；

4、 具備一定的編程能力，熟悉至少一種常用編程語言，java尤佳；

5、 掌握關系數(shù)據(jù)庫常見用法，熟悉常見軟件的安裝，參與過項目的etl工具開發(fā)項目的完整分析、設計、開發(fā)流程者優(yōu)先；

6、 具備較強的自我學習能力、有較強分析問題的能力、人際溝通能力、團隊協(xié)作能力和工作責任感；

第11篇 etl/bi工程師職位描述與崗位職責任職要求

職位描述：

崗位職責：

1、數(shù)倉開發(fā)、etl開發(fā)；

2、銀行業(yè)數(shù)據(jù)模型的設計輔助、mapping和落地等；

3、shell腳本開發(fā)維護；

4、銀行業(yè)務系統(tǒng)的數(shù)據(jù)調(diào)研和分析；

任職要求：

1、本科及以上學歷，計算機或相關專業(yè)；

2、2年以上oracle、db2等數(shù)據(jù)庫開發(fā)經(jīng)驗，熟悉數(shù)據(jù)庫體系結構；

3、精通pl/sql編程，精通存儲過程開發(fā)；

4、熟悉linu_操作系統(tǒng)；

5、熟悉etl調(diào)度工具和前端工具；

6、軟件基礎理論知識扎實，具備良好的數(shù)據(jù)結構、算法功底，有一定獨立分析、技術研究能力；

7、良好的溝通能力、團隊合作精神、樂于；

8、具備較強的自學能力，有一點抗壓能力，能夠接受出差性質(zhì)的工作。

如有以下技術背景優(yōu)先考慮：

1、有銀行業(yè)系統(tǒng)開發(fā)經(jīng)驗；

2、參與過數(shù)倉項目開發(fā)、實施；

3、有數(shù)據(jù)治理項目經(jīng)驗的。

第12篇 etl工程師崗位職責職位要求

職責描述：

崗位職責：

1、根據(jù)概要設計，進行詳細設計的文檔編寫；

2、負責etl過程的設計/開發(fā)實施、單元測試；

3、負責項目中etl相關需求調(diào)研、源數(shù)據(jù)調(diào)研、整體設計；

4、負責項目中環(huán)境安裝及配置。

5、維護和升級現(xiàn)有etl任務和存儲過程，快速定位并修復現(xiàn)有系統(tǒng)缺陷

職位要求：

1、 大專及以上學歷，計算機相關專業(yè)，3年以上 etl 工作經(jīng)驗。

2、 熟悉etl開發(fā)流程，有hadoop和etl工作經(jīng)驗；有從傳統(tǒng)數(shù)據(jù)庫抽取數(shù)據(jù)到hive數(shù)據(jù)倉庫經(jīng)驗，了解sqoop應用原理者優(yōu)先。

3、 熟悉主流數(shù)據(jù)庫sql server、oracle、db2、mysql等；熟悉開源的etl工具。

4、有海量數(shù)據(jù)處理工作經(jīng)驗，數(shù)據(jù)分析和挖掘經(jīng)驗者優(yōu)先；

5、做過數(shù)據(jù)倉庫、ods項目，對數(shù)據(jù)治理、數(shù)據(jù)標準及元數(shù)據(jù)有很好理念及實施經(jīng)驗的優(yōu)先；

6、熟練使用腳本語言：如perl、python、shell等任意一種以上；

7、熟悉linu_系統(tǒng)指令和性能優(yōu)化；

8、善于學習新技術，對新技術有較強的接受能力；工作認真細致，愿意于人交流溝通。

9、有大型數(shù)據(jù)倉庫系統(tǒng)研發(fā)、設計經(jīng)驗者優(yōu)先；

10、熟悉 java 語言或 hadoop 技術者優(yōu)先；

崗位要求：

學歷要求：大專

語言要求：不限

年齡要求：不限

工作年限：3-4年經(jīng)驗

第13篇 etl senior engineer職位描述與崗位職責任職要求

職位描述：

position responsibility:

1) work closely with the business unit and solution leads to better understand the requirement and ensure delivery quality and timeline

2) develop and maintain etl process based on cloud platform

3) work closely in a global team for incident management， change management and fast trouble shooting with high quality resolution

4) as a senior resource， coach the junior resource in the team with good communication and team working skills

position requirement:

1) senior e_perience in ssis / informatica / datastage or other etl tools

2) e_perience of etl performance tuning， testing and data validation

3) strong sql programming knowledge and .net knowledge

4) e_perience in the understanding of data warehouse processes

5) e_perience in other programming language such as shell is preferred

6) understand big data technologies such as hadoop， spark， hbase， hive is a plus

第14篇 大數(shù)據(jù)開發(fā)高級工程師-etl方向職位描述與崗位職責任職要求

職位描述：

工作職責:

1、 根據(jù)公司數(shù)據(jù)分析需求進行基于hadoop 平臺的項目開發(fā)；

2、 根據(jù)需求進行數(shù)據(jù)倉庫模型設計，熟練使用kettle工具進行etl程序的開發(fā)；包括實時數(shù)據(jù)加工，計算，etl，管理， 監(jiān)控等；

3、 負責針對源系統(tǒng)進行數(shù)據(jù)抽取、處理、分析等相關工作，及項目中涉及到的數(shù)據(jù)庫創(chuàng)建、維護及提供數(shù)據(jù)接口工作；

4、 負責設計并優(yōu)化基于hive 的數(shù)據(jù)倉庫的建設；

5、 制定數(shù)據(jù)庫備份和恢復策略及工作流程與規(guī)范。

6、能出具消費品品牌制造行業(yè)應用的數(shù)據(jù)分析技術解決方案，并落地。

任職資格:

1．從事數(shù)據(jù)倉庫領域至少2年以上，熟悉數(shù)據(jù)倉庫模型設計與etl開發(fā)經(jīng)驗 ，具備海量數(shù)據(jù)加工處理相關經(jīng)驗；

2. 熟悉數(shù)據(jù)倉庫領域知識和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理；

3．有從事分布式數(shù)據(jù)存儲與計算平臺應用開發(fā)經(jīng)驗，熟悉hadoop生態(tài)相關技術并有相關實踐經(jīng)驗著優(yōu)先，重點考察hive、hdfs、hbase;

4. 熟練掌握kettlesqoop、data_、airflow等;

5. 有消費品品牌制造、零售行業(yè)經(jīng)驗，尤其快消品行業(yè)和財務領域數(shù)據(jù)項目經(jīng)驗者優(yōu)先;

6. 熟悉分布式計算presto/imapa優(yōu)先;

7．有實時計算方面的經(jīng)驗的優(yōu)先。

第15篇 etl高級工程師崗位職責及相關職位要求

etl高級工程師職位要求

1、計算機、數(shù)學或統(tǒng)計等專業(yè)，本科以上學歷；

2、精通sql語言；熟悉數(shù)據(jù)倉庫設計、建模；

3、精通python，能夠編寫腳本處理、分析數(shù)據(jù)；

4、熟悉批量離線式分布式并行計算技術（如hadoop、mapreduce、hive、spark等）

5、熟悉sqlserver、mysql數(shù)據(jù)庫；了解redis等非關系型數(shù)據(jù)庫；

6、熟悉至少一種常用etl工具（如kettle、ssis、gobblin）；了解常用報表工具（如reporting services以及各類開源報表）；

7、了解常用數(shù)據(jù)挖掘方法（回歸、決策樹、聚類等）。

etl高級工程師崗位職責

1、負責國際網(wǎng)站后臺數(shù)據(jù)倉庫搭建、維護；

2、運用各類大數(shù)據(jù)工具設計etl流程，消費生產(chǎn)環(huán)境埋點、日志等數(shù)據(jù)；

3、日常數(shù)據(jù)監(jiān)控以及數(shù)據(jù)預警，異常數(shù)據(jù)解讀挖掘，并與業(yè)務同事溝通解決方案；

4、分析用戶的特征和行為數(shù)據(jù)，挖掘不同類型用戶的行為特性，為實際的業(yè)務運營提供數(shù)據(jù)支持；

5、從數(shù)據(jù)分析結果中尋找insight和商業(yè)價值，并以簡明扼要的形式傳導到其他部分，指導實際的業(yè)務運營；

6、處理國際網(wǎng)站的臨時數(shù)據(jù)需求，并對于常用重要需求轉(zhuǎn)化成數(shù)據(jù)產(chǎn)品。

第16篇 數(shù)據(jù)倉庫/etl/bi工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1、負責數(shù)據(jù)倉庫建模，業(yè)務數(shù)據(jù)集市建設開發(fā)

2、負責數(shù)據(jù)倉庫etl流程的優(yōu)化及解決etl相關技術問題、etl流程監(jiān)控，保障數(shù)據(jù)平臺架構穩(wěn)定性

3、建立數(shù)據(jù)分析指標體系，不斷完善指標體系和分析模型；

4、通過專項分析，輸出專項分析報告

5、負責數(shù)據(jù)分析相關需求和數(shù)據(jù)測試的工作

任職要求：

學歷要求：

全日制統(tǒng)考類本科及以上學歷，計算機、通信、電子、軟件工程、統(tǒng)計學、應用數(shù)學、數(shù)據(jù)分析等相關專業(yè)

專業(yè)技能：

1、熟悉數(shù)據(jù)倉庫各類模型建模理論，熟悉數(shù)據(jù)倉庫數(shù)據(jù)分層架構和多維數(shù)據(jù)模型設計；

2、豐富的數(shù)據(jù)分析經(jīng)驗，熟練掌握sql、hql、sparksql，擅長運用其分析并完成復雜業(yè)務數(shù)據(jù)查詢

3、掌握至少一種數(shù)據(jù)庫開發(fā)技術：mysql/oracle/db2等，靈活運用sql實現(xiàn)海量數(shù)據(jù)etl加工處理；

4、熟悉hadoop生態(tài)（如：hdfs/mapreduce/hive/hbase等），并有相關實踐經(jīng)驗；

5、熟練掌握一門或多門編程語言（如：python/shell/java/c++等），并有大型項目建設經(jīng)驗者優(yōu)先；

素質(zhì)：

1、敏銳的數(shù)據(jù)觀察和分析能力，及時發(fā)現(xiàn)和分析其中隱含的變化和問題并給出建議；

2、良好的溝通能力和團隊精神，較強的學習能力，能承擔一定的工作壓力。

經(jīng)驗：

至少2年以上數(shù)據(jù)倉庫（離線&實時）模型設計開發(fā)、etl設計開發(fā)的相關經(jīng)驗，有通信運營商o域/b域大數(shù)據(jù)、智慧城市大數(shù)據(jù)的數(shù)據(jù)倉庫、etl設計研發(fā)經(jīng)驗者優(yōu)先

第17篇 etl崗位工作職責

簡介:etl,是英文 e_tract-transform-load 的縮寫,用來描述將數(shù)據(jù)從來源端經(jīng)過抽取(e_tract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過程。etl一詞較常用在數(shù)據(jù)倉庫,但其對象并不限于數(shù)據(jù)倉庫。

etl職位描述(模板一)

崗位職責:

1、協(xié)助做報表二次分析,主動思考,熱愛學習;

2、負責報表開發(fā),數(shù)據(jù)中心建設。

任職要求:

1、精通oracle,sqlserver,mysql等主流數(shù)據(jù)庫;

2、熟悉etl,bi,cognos等數(shù)據(jù)處理工具;

3、有數(shù)據(jù)中心,數(shù)據(jù)倉庫建設經(jīng)驗優(yōu)先;

4、3年以上開發(fā)經(jīng)驗。etl職位描述(模板二)

崗位職責:

1、根據(jù)公司業(yè)務需求,構建可擴展的數(shù)據(jù)倉庫,負責數(shù)據(jù)模型的規(guī)劃,設計,實現(xiàn)和優(yōu)化;

2、負責業(yè)務數(shù)據(jù)的采集,清洗,特征抽取;

3、負責etl的維護工作,發(fā)現(xiàn)故障及時診斷、定位、分析和調(diào)試,保證數(shù)據(jù)準確、穩(wěn)定;

4、根據(jù)業(yè)務需要,提供面向業(yè)務的報表、數(shù)據(jù)提取等數(shù)據(jù)服務。

任職要求:

1、計算機相關專業(yè),本科以上學歷,2年以上etl工作經(jīng)驗;

2、精通至少一種主流數(shù)據(jù)庫的開發(fā)和調(diào)優(yōu),可以根據(jù)需求編寫復雜存儲過程;

3、熟悉python、javascript、shell等至少一種腳本語言;

4、踏實認真細心,有責任心和團隊精神。etl職位描述(模板三)

崗位職責:

1、負責數(shù)據(jù)倉庫(ods、edw、csl、adm)的設計與開發(fā)、etl過程的設計與開發(fā);

2、負責各業(yè)務系統(tǒng)數(shù)據(jù)源業(yè)務探查、數(shù)據(jù)探查、id調(diào)研、準確性完整性驗證;

3、為前端展示提供數(shù)據(jù)支持,為業(yè)務人員提供數(shù)據(jù)查詢;

4、數(shù)據(jù)倉庫日常管理、跑批、維護、監(jiān)控。

任職要求:

1、3年以上數(shù)據(jù)倉庫項目開發(fā)經(jīng)驗,本科以上學歷;

2、熟悉mysql、oracle等數(shù)據(jù)庫,熟悉kettle、powercenter等etl工具;

3、熟悉inmon企業(yè)數(shù)據(jù)倉庫(edw)設計理論與技術、kimball維度建模理論與技術;

4、了解powerdesigner、erwin等建模工具,熟悉概念模型、邏輯模型、物理模型;

5、熟悉p2p、互聯(lián)網(wǎng)金融業(yè)務優(yōu)先;

6、熟悉hadoop生態(tài)圈sqoop、hive、hbase優(yōu)先;

7、責任心強、思路清晰、學習力強。etl職位描述(模板四)

崗位職責:

1、負責數(shù)據(jù)的etl的工作;

2、負責數(shù)據(jù)分析工具平臺的設計和研發(fā);

3、讓數(shù)據(jù)平臺為公司的商業(yè)決策提供有效的支持。

任職要求:

1、大學本科以上學歷,3年以上工作經(jīng)驗,計算機相關專業(yè);

2、精通java和hive sql, 有sql性能調(diào)優(yōu)經(jīng)驗豐富的尤佳;

3、熟悉大數(shù)據(jù)相關技術,對apache hadoop/hive/hbase/sqoop/spark等組件有一定程度的了解;

4、熟悉腳本語言python,perl,shell中的一種或幾種;

5、好的溝通能力、團隊精神和服務意識;

6、具有強烈的上進心和求知欲,優(yōu)秀的自主學習能力,自我管理能力。etl職位描述(模板五)

崗位職責:

1、負責數(shù)據(jù)倉庫核心結構設計,及相關數(shù)據(jù)模塊任務模塊設計;

2、負責各種業(yè)務數(shù)據(jù)的etl任務及數(shù)據(jù)倉庫部署和管理;

3、持續(xù)改進優(yōu)化etl、分析處理、數(shù)據(jù)呈現(xiàn)等流程,協(xié)調(diào)海量數(shù)據(jù)壓力問題;

4、保證數(shù)據(jù)安全、穩(wěn)定、可恢復;

5、負責數(shù)據(jù)倉庫的日常維護工作。

任職要求:

1、計算機相關專業(yè)本科及以上學歷,三年以上模型設計相關工作經(jīng)驗,具 有金融/互聯(lián)網(wǎng)行業(yè)任職背景者優(yōu)先;

2、精通常用模型設計工具erwin、powerdesigner,熟悉tableau,pentaho 等bi軟件;

3、具有金融業(yè)bi項目模型設計或etl開發(fā)經(jīng)驗邏輯數(shù)據(jù)模型和建模經(jīng)驗;

4、熟悉掌握java/r/python語言,kettle組件,熟悉mysql、oracle等數(shù)據(jù) 庫,能熟練進行sql優(yōu)化;

5、有大數(shù)據(jù)處理經(jīng)驗,有hadoop/spark sql/mapreduce/hive等相關數(shù)據(jù) 處理經(jīng)驗優(yōu)先;

6、具有良好的邏輯分析能力、語言表達能力。

第18篇 etl engineer職位描述與崗位職責任職要求

職位描述：

incorporated in 2017， kpmg technology r&d centre combines four functions: r&d， in-house services， outsourced services and operational services.it is kpmg’s first r&d centre and second delivery centre in china.

as kpmg’s first r&d centre in china， our business activities currently include:

- development， design， production of computer software and computer system integration;

- ai， r&d and delivery of technologies

- big data-related services and technical support， including data development， data processing， data mining etc.

driven by increasing market demand， we will e_pand the r&d centre’s scope of business on an ongoing basis to enable technologies to provide quality services for our clients.

崗位職責

- 負責公司數(shù)據(jù)倉庫系統(tǒng)etl開發(fā)、維護、監(jiān)控、優(yōu)化

- 參與數(shù)據(jù)倉庫建模，不斷改進現(xiàn)有數(shù)據(jù)倉庫

- 與bi分析師協(xié)同工作，解決數(shù)據(jù)報表、數(shù)據(jù)異常相關的技術問題

- 根據(jù)公司要求規(guī)范，編寫相應的技術文檔

崗位描述

- 本科或以上學歷

- 2年以上相關工作經(jīng)驗 ，計算機或相關專業(yè)

- 至少熟悉datastage， informatica， odi， kettle中一種工具，有kettle或者odi使用經(jīng)驗更佳

- 熟悉oracle ，sql server， my sql等主流數(shù)據(jù)庫系統(tǒng)

- 有金融行業(yè)工作經(jīng)驗者優(yōu)先

第19篇 中級etl工程師崗位職責

中級etl工程師 比孚科技 上海比孚信息科技有限公司,比孚,比孚科技,比孚 職位描述:

1. 負責數(shù)據(jù)倉庫/數(shù)據(jù)集市etl設計開發(fā);

2. 負責與業(yè)務部門數(shù)據(jù)需求的溝通與確認;

任職資格:

1. 三以上工作經(jīng)驗;

2. 熟悉主流etl開發(fā)工具,如:ssis 、kettle、datastage等;

3. 熟練掌握主流數(shù)據(jù)庫的使用,如:sql server、mysql、oracle,對sql查詢優(yōu)化有豐富的經(jīng)驗;

4. 熟悉主流報表工具,如:tableau、powerbi、cognos;

5. 良好的溝通技能,清晰的邏輯思維能力;

6. 工作認真仔細,積極主動,具備較強的自主學習、自我總結能力。

第20篇 etl數(shù)據(jù)分析崗位職責任職要求

etl數(shù)據(jù)分析崗位職責

職責描述:

1、與數(shù)據(jù)分析師、數(shù)據(jù)開發(fā)工程師配合，進行數(shù)據(jù)清洗、數(shù)據(jù)準備;

2、理解數(shù)據(jù)分析及業(yè)務，設計維護數(shù)據(jù)倉庫;

3、與數(shù)據(jù)分析師配合，進行數(shù)據(jù);

4、配合數(shù)據(jù)開發(fā)工程師，完成模型部署后的業(yè)務驗證、反饋。

任職要求:

1、 大學本科及以上，計算機信息類、數(shù)學/應用數(shù)學類等專業(yè)背景;

2、3年以上工作經(jīng)驗，具有電力/能源/工業(yè)數(shù)據(jù)分析背景的人員優(yōu)先考慮;

3、熟悉數(shù)據(jù)結構，熟悉數(shù)據(jù)清洗、降維、變量選擇等數(shù)據(jù)準備過程，能夠熟練實現(xiàn)海量數(shù)據(jù)的清洗、準備;

4、對回歸、分類、聚類、關聯(lián)規(guī)則、時間序列、神經(jīng)網(wǎng)絡、決策樹及其他常用數(shù)據(jù)分析和挖掘技術有了解，能夠配合數(shù)據(jù)分析師開展相關分析挖掘;

5、能夠熟練使用至少一種主流關系數(shù)據(jù)庫及結構化查詢語言，熟悉hive，并了解spark、hadoop等大數(shù)據(jù)架構環(huán)境，能夠進行數(shù)據(jù)倉庫建設與維護;

6、熟練掌握python、r等語言工具中的至少一種，能夠熟練使用相關的數(shù)據(jù)分析、數(shù)據(jù)處理庫;

7、有l(wèi)inu_使用經(jīng)驗，了解shell操作。