- 目錄
第1篇 etl工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、負(fù)責(zé)數(shù)據(jù)分析、加工、清理、處理程序的開發(fā)
2、負(fù)責(zé)數(shù)據(jù)相關(guān)平臺(tái)的搭建、開發(fā)、維護(hù)、優(yōu)化
3、分布式平臺(tái)應(yīng)用開發(fā)(hadoop/spark/hive/hbase)
4、開發(fā)數(shù)據(jù)統(tǒng)計(jì)系統(tǒng),各類統(tǒng)計(jì)程序報(bào)表。
任職要求:
1、2年以上java或python開發(fā)工作經(jīng)驗(yàn),java基礎(chǔ)扎實(shí);
2、熟悉常見在線與離線大數(shù)據(jù)系統(tǒng), 如hive, hbase, es, kafka等的工作原理與開發(fā)調(diào)優(yōu); 具有mapreduce開發(fā)經(jīng)驗(yàn),有實(shí)際大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn);
3、熟練掌握oracle、mysql等主流數(shù)據(jù)庫上的開發(fā);
4、具有良好的溝通能力、組織能力及團(tuán)隊(duì)協(xié)作精神,有較強(qiáng)的分析和解決問題的能力.
第2篇 etl工程師(中級數(shù)據(jù)倉庫工程師)職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、 負(fù)責(zé)數(shù)據(jù)倉庫建模和etl技術(shù)工作,參與數(shù)據(jù)項(xiàng)目各類數(shù)據(jù)源etl的接口設(shè)計(jì)和文檔、流程規(guī)范;
2、負(fù)責(zé)項(xiàng)目中數(shù)據(jù)清洗、數(shù)據(jù)處理、數(shù)據(jù)校驗(yàn)相關(guān)開發(fā)工作;
3. 配合使用主流數(shù)據(jù)挖掘工具、etl工具、bi展現(xiàn)的設(shè)計(jì)和開發(fā);
4、 能夠按照公司全面質(zhì)量管理的要求,高質(zhì)量地完成各類技術(shù)支持工作。
任職要求:
1.計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷,3年以上工作經(jīng)驗(yàn);
2.熟悉etl開發(fā)、數(shù)據(jù)倉庫設(shè)計(jì)流程,熟悉mysql、oracle, ms sql server等主流數(shù)據(jù)庫,表結(jié)構(gòu)設(shè)計(jì),存儲(chǔ)過程編寫;
3.有一定的sql調(diào)優(yōu)知識和經(jīng)驗(yàn),具有bi相關(guān)知識;
4.有hana、hive經(jīng)驗(yàn)優(yōu)先;
5.具備財(cái)務(wù)基礎(chǔ)知識或者erp基礎(chǔ)知識者優(yōu)先;
第3篇 高級/資深etl工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職能:
1. 基于公司數(shù)據(jù)建設(shè)需要,完成數(shù)據(jù)平臺(tái)構(gòu)建、數(shù)據(jù)內(nèi)容開發(fā)等工作。包括:數(shù)據(jù)平臺(tái)基礎(chǔ)設(shè)施建設(shè)、數(shù)據(jù)采集、etl、數(shù)倉及數(shù)據(jù)集市、數(shù)據(jù)應(yīng)用產(chǎn)品等開發(fā)工作;
2. 充分理解需求文檔,基于此進(jìn)行自測,交付高質(zhì)量的開發(fā)代碼和數(shù)據(jù)內(nèi)容;
3. 工作中對數(shù)據(jù)平臺(tái)基礎(chǔ)設(shè)施、數(shù)據(jù)內(nèi)容建設(shè)等工作主動(dòng)深度思考,提升效能并積極建言、促進(jìn)組織和系統(tǒng)發(fā)展;
4. 其他根據(jù)部門需要安排事宜;
崗位要求:
1. 信息技術(shù)類、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)量經(jīng)濟(jì)學(xué)類專業(yè),研究生及以上學(xué)歷。優(yōu)秀候選人學(xué)歷可以放寬至本科,工作年限5年以上;
2. 熟悉數(shù)據(jù)倉庫模型設(shè)計(jì)和精通etl開發(fā)經(jīng)驗(yàn) ,掌握3nf,kimball的維度建模設(shè)計(jì)方法,具備海量數(shù)據(jù)加工處理(etl)相關(guān)經(jīng)驗(yàn) ;
3. 掌握至少一種數(shù)據(jù)庫開發(fā)技術(shù):oracle、teradata、db2、mysql等,精通并靈活運(yùn)用sql實(shí)現(xiàn)海量數(shù)據(jù)etl加工處理 ;
4. 熟悉linu_系統(tǒng)常規(guī)shell處理命令,靈活運(yùn)用shell做的文本處理和系統(tǒng)操作 ;
5. 有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開發(fā)經(jīng)驗(yàn),熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先,重點(diǎn)考察hdfs、hive(hql)、hbase ;
6. 熟練掌握一門或多門編程語言,并有大型項(xiàng)目建設(shè)經(jīng)驗(yàn)者優(yōu)先,重點(diǎn)考察python、perl、java ;
7. 熟悉數(shù)據(jù)倉庫領(lǐng)域知識和技能者優(yōu)先,包括但不局限于:數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量等;
8. 良好的語言溝通與表達(dá)能力和自我驅(qū)動(dòng)動(dòng)力。
第4篇 大數(shù)據(jù)etl工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
負(fù)責(zé)etl設(shè)計(jì)、模型設(shè)計(jì)、開發(fā)、技術(shù)支持等工作,并保證數(shù)據(jù)安全、及時(shí)、穩(wěn)定、可恢復(fù)
任職要求:
1、3年及以上數(shù)據(jù)處理(etl)開發(fā)經(jīng)驗(yàn),能獨(dú)立完成數(shù)據(jù)處理開發(fā)工作
2、熟悉mysql/oracle等標(biāo)準(zhǔn)數(shù)據(jù)庫,熟練上述數(shù)據(jù)庫的開發(fā)
3、有hadoop和hivesql的使用經(jīng)驗(yàn)
4、熟悉etl設(shè)計(jì),熟悉數(shù)據(jù)倉庫的架構(gòu)、開發(fā)規(guī)范和流程
5、熟悉至少一種etl開發(fā)工具,如datastage,informatica, kettle等
6、具備數(shù)據(jù)倉庫實(shí)施經(jīng)驗(yàn)者優(yōu)先
福利待遇:
試用期全額工資、六險(xiǎn)一金、體檢、年假、節(jié)假日禮品等
第5篇 高級etl工程師職位描述與崗位職責(zé)任職要求
職位描述:
1、負(fù)責(zé)公司數(shù)據(jù)平臺(tái)項(xiàng)目的etl設(shè)計(jì)、實(shí)現(xiàn)以及優(yōu)化。
2、負(fù)責(zé)etl流程優(yōu)化,關(guān)鍵問題解決、團(tuán)隊(duì)技術(shù)與引導(dǎo)和前瞻性技術(shù)研究;
3、參與數(shù)據(jù)倉庫數(shù)據(jù)模型設(shè)計(jì),進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)測、校驗(yàn)和提升;
4、使用etl技術(shù)對醫(yī)院信息系統(tǒng)數(shù)據(jù)進(jìn)行提取、清洗、轉(zhuǎn)換和整合;
崗位要求:
1、至少三年以上etl數(shù)據(jù)開發(fā)經(jīng)驗(yàn);計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷,熟悉數(shù)據(jù)分析與數(shù)據(jù)挖掘理論;
2、熟悉dw實(shí)施方法論和常規(guī)etl構(gòu)架,有整體etl開發(fā)經(jīng)驗(yàn),深刻理解元數(shù)據(jù)管理;
3、熟練掌握oracle、sql server、mysql、postgresql等至少兩種主流數(shù)據(jù)庫的使用;
4、熟練掌握ssis、kettle、informatica等至少一種etl工具的使用;
5、精通sql、存儲(chǔ)過程、函數(shù)的使用,具備編寫、優(yōu)化復(fù)雜sql的能力;
6、對數(shù)字,數(shù)據(jù)敏感,具備良好的邏輯思維能力;
7、具備專業(yè)的業(yè)務(wù)研究、分析能力,能夠獨(dú)立開展業(yè)務(wù)調(diào)研、數(shù)據(jù)分析、數(shù)據(jù)建模、報(bào)告編寫工作;
8、有醫(yī)療衛(wèi)生數(shù)據(jù)平臺(tái)開發(fā)、實(shí)施經(jīng)驗(yàn)優(yōu)先;
9、能適應(yīng)長期出差。
第6篇 etl工程師 - 銀行監(jiān)管報(bào)表職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
overview
we are a leading provider of collateral management and regulatory compliance software solutions to banks and financial institutions on a worldwide basis. we are currently seeking a consultant, to be based in our singapore office to be responsible for providing consultancy to our clients in relation to their regulatory reporting requirements for the monetary authority of singapore.
main role & responsibilities
?be part of the specialist team which provide regulatory subject matter e_pertise to clients
?keep abreast of any regulatory changes advised by the regulator
?support the senior consultant at client workshops to identify data requirements and how they map to the agile reporter data model.
?use etl tool to map and transform client data such as to satisfy the project scope and specification within the timetable set by and agreed with the project manager/senior consultant.
?report to the project manager/senior consultant any delays or e_pected delays to a project, whether due to internal or customer delays, and in particular to highlight any potential scheduling conflicts that could result in such a delay.
?perform product testing as requested by the line manager to be completed within the deadlines set.
任職要求:
?degree level
?2+ years e_perience in etl/bi
?e_perience with rdbms software (e.g. sql server, oracle)
?previous e_perience of the implementation of major regulatory changes is a plus
?basic knowledge of hkma, mas or apra reporting is a plus
languages
?english
?chinese (mandarin)
第7篇 etl工程師崗位職責(zé)職位要求
職責(zé)描述:
崗位職責(zé):
1、根據(jù)概要設(shè)計(jì),進(jìn)行詳細(xì)設(shè)計(jì)的文檔編寫;
2、負(fù)責(zé)etl過程的設(shè)計(jì)/開發(fā)實(shí)施、單元測試;
3、負(fù)責(zé)項(xiàng)目中etl相關(guān)需求調(diào)研、源數(shù)據(jù)調(diào)研、整體設(shè)計(jì);
4、負(fù)責(zé)項(xiàng)目中環(huán)境安裝及配置。
5、維護(hù)和升級現(xiàn)有etl任務(wù)和存儲(chǔ)過程,快速定位并修復(fù)現(xiàn)有系統(tǒng)缺陷
職位要求:
1、 大專及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),3年以上 etl 工作經(jīng)驗(yàn)。
2、 熟悉etl開發(fā)流程,有hadoop和etl工作經(jīng)驗(yàn);有從傳統(tǒng)數(shù)據(jù)庫抽取數(shù)據(jù)到hive數(shù)據(jù)倉庫經(jīng)驗(yàn),了解sqoop應(yīng)用原理者優(yōu)先。
3、 熟悉主流數(shù)據(jù)庫sql server、oracle、db2、mysql等;熟悉開源的etl工具。
4、有海量數(shù)據(jù)處理工作經(jīng)驗(yàn),數(shù)據(jù)分析和挖掘經(jīng)驗(yàn)者優(yōu)先;
5、做過數(shù)據(jù)倉庫、ods項(xiàng)目,對數(shù)據(jù)治理、數(shù)據(jù)標(biāo)準(zhǔn)及元數(shù)據(jù)有很好理念及實(shí)施經(jīng)驗(yàn)的優(yōu)先;
6、熟練使用腳本語言:如perl、python、shell等任意一種以上;
7、熟悉linu_系統(tǒng)指令和性能優(yōu)化;
8、善于學(xué)習(xí)新技術(shù),對新技術(shù)有較強(qiáng)的接受能力;工作認(rèn)真細(xì)致,愿意于人交流溝通。
9、有大型數(shù)據(jù)倉庫系統(tǒng)研發(fā)、設(shè)計(jì)經(jīng)驗(yàn)者優(yōu)先;
10、熟悉 java 語言或 hadoop 技術(shù)者優(yōu)先;
崗位要求:
學(xué)歷要求:大專
語言要求:不限
年齡要求:不限
工作年限:3-4年經(jīng)驗(yàn)
第8篇 dw數(shù)據(jù)倉庫etl工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1. 負(fù)責(zé)數(shù)據(jù)倉庫開發(fā)需求收集和分析;
2. 負(fù)責(zé)數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計(jì)和開發(fā);
3. 負(fù)責(zé)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā);
4. 負(fù)責(zé)對公司數(shù)據(jù)倉庫平臺(tái)整體架構(gòu)改進(jìn)與流程優(yōu)化;
5. 負(fù)責(zé)bi報(bào)表開發(fā)和優(yōu)化。
任職資格:
1. 2年以上數(shù)據(jù)倉庫工作經(jīng)驗(yàn);
2. 熟悉數(shù)據(jù)庫、etl、bi建模等工具;
3. 良好編程習(xí)慣,以及較強(qiáng)的學(xué)習(xí)能力和溝通能力。