- 目錄
-
第1篇 高級數(shù)據(jù)架構(gòu)師-798095979953職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責數(shù)據(jù)架構(gòu)設(shè)計,包括定義數(shù)據(jù)的存儲、集成、應(yīng)用,支撐測試業(yè)務(wù)運營和數(shù)據(jù)分析類需求實現(xiàn);
2、制定集成測試領(lǐng)域的數(shù)據(jù)體系化管理措施,包括數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、元數(shù)據(jù)設(shè)計等工作,確保數(shù)據(jù)可信與安全;
3、基于行業(yè)數(shù)據(jù)積累,滿足業(yè)務(wù)的數(shù)據(jù)挖掘需求,實現(xiàn)從數(shù)據(jù)到資產(chǎn)的轉(zhuǎn)變,根據(jù)目標行業(yè)建立具有前瞻性的數(shù)據(jù)模型;
4、應(yīng)用先進的統(tǒng)計建模、數(shù)據(jù)挖掘、機器學習方法建立數(shù)據(jù)模型解決實際問題,并研發(fā)創(chuàng)新方法以解決常規(guī)算法不能解決的問題;
5、對各產(chǎn)品的數(shù)據(jù)安全負責,主導制定和實施數(shù)據(jù)庫系統(tǒng)安全策略,保證整體方案數(shù)據(jù)安全;
任職要求:
業(yè)務(wù)技能要求:
1、深入理解云化、paas、數(shù)據(jù)技術(shù),在參與過的系統(tǒng)設(shè)計中,至少涉及兩項關(guān)鍵技術(shù);
2、精通或者熟悉hadoop體系架構(gòu),以及hdfs/hbase/mapreduce/spark/storm等技術(shù),有直接的產(chǎn)品設(shè)計與開發(fā)及部署經(jīng)驗;
3、熟悉常見rdbms(oracle / postgresql / mysql)和nosql(redis / memcached/ mongodb)的使用及開發(fā), 熟悉與架構(gòu)設(shè)計相關(guān)的數(shù)據(jù)存儲、性能調(diào)優(yōu)等相關(guān)領(lǐng)域知識,有相關(guān)項目經(jīng)驗尤佳;
4、熟悉業(yè)界常用的數(shù)據(jù)采集、集成、數(shù)據(jù)存儲、計算、數(shù)據(jù)模型、數(shù)據(jù)分析的技術(shù)方案,具有數(shù)據(jù)分析或數(shù)據(jù)挖掘相關(guān)經(jīng)驗;
5、精通大數(shù)據(jù)領(lǐng)域如洞察、用戶畫像等完整想, 具備一定的后臺搭建、數(shù)據(jù)收集分析、數(shù)據(jù)挖掘與算法處理經(jīng)驗者優(yōu)先;
6、有阿里或騰訊相關(guān)開發(fā)經(jīng)驗優(yōu)先;
專業(yè)知識要求:
1、具備數(shù)據(jù)治理的知識與體系方案,包含政策、組織、角色、流程、規(guī)范等,以及規(guī)劃相應(yīng)的支撐方案。了解業(yè)界的數(shù)據(jù)管理方法論;
2、具備數(shù)據(jù)use case設(shè)計和開發(fā)能力。能夠基于業(yè)務(wù)相關(guān)數(shù)據(jù)進行業(yè)務(wù)需求分析和痛點識別,將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)的需求,完成數(shù)據(jù)use case的設(shè)計和開發(fā);
3、具備數(shù)據(jù)建模能力。能夠基于數(shù)據(jù)知識將業(yè)務(wù)需求轉(zhuǎn)化為對數(shù)據(jù)與建模的需求,使用常用的數(shù)理統(tǒng)計/算法模型解決業(yè)務(wù)問題,可對算法模型進行評估與優(yōu)化;
4、熟悉政務(wù)、工業(yè)、交通、醫(yī)療等業(yè)務(wù),精通數(shù)據(jù)倉庫、數(shù)據(jù)集市的構(gòu)建流程。
第2篇 高級數(shù)據(jù)架構(gòu)師職位描述與崗位職責任職要求
職位描述:
崗位職責
?結(jié)合所有業(yè)務(wù)場景和需求,設(shè)計業(yè)務(wù)端數(shù)據(jù)架構(gòu)和各數(shù)據(jù)模塊
?和技術(shù)團隊溝通,推動整體數(shù)據(jù)架構(gòu)和各數(shù)據(jù)模塊的實現(xiàn)
?深入了解業(yè)務(wù)變化,對數(shù)據(jù)庫存儲和利用率要求提出解決方案建議
?分析數(shù)據(jù)庫實施方法,以確保它們符合公司政策和可能適用的任何外部法規(guī)
?為管理和執(zhí)行團隊開發(fā)數(shù)據(jù)庫設(shè)計和架構(gòu)文檔
?與客戶數(shù)據(jù)庫管理/體系結(jié)構(gòu)和數(shù)據(jù)分析團隊合作,幫助設(shè)置企業(yè)數(shù)據(jù)策略和標準
崗位要求
?計算機,專業(yè)本科及以上學歷;data mining專業(yè)為佳
?5年以上數(shù)據(jù)架構(gòu)搭建實施相關(guān)工作經(jīng)驗,有汽車或互聯(lián)網(wǎng)行業(yè)相關(guān)經(jīng)驗優(yōu)先;
?至少精通一種傳統(tǒng)數(shù)據(jù)庫sql server, oracle, mysql等,有hadoop平臺和nosql相關(guān)經(jīng)驗優(yōu)先;
?擅長數(shù)據(jù)挖掘流程和實際實現(xiàn)
?必須能夠為問題開發(fā)創(chuàng)造性的解決方案
第3篇 大數(shù)據(jù)架構(gòu)師崗位職責大數(shù)據(jù)架構(gòu)師職責任職要求
大數(shù)據(jù)架構(gòu)師崗位職責
工作職責:
負責大數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘、算法平臺的技術(shù)架構(gòu)及建設(shè);
負責大數(shù)據(jù)實時檢索分析平臺的架構(gòu)和建設(shè);
負責pcg業(yè)務(wù)算法推薦,實時流計算框架的研發(fā)優(yōu)化;
跟蹤移動互聯(lián)網(wǎng)開源大數(shù)據(jù)框架、新算法框架的技術(shù)選型及平臺化預(yù)研及架構(gòu);
負責業(yè)務(wù)挖掘、算法應(yīng)用的平臺支持;
負責>;5人的技術(shù)或ft團隊管理。
任職要求:
5年以上系統(tǒng)建設(shè),設(shè)計,架構(gòu)經(jīng)驗;4年以上大數(shù)據(jù)系統(tǒng)開發(fā),設(shè)計,架構(gòu)經(jīng)驗;3年以上軟件工程管理經(jīng)驗;
熟悉商業(yè)智能系統(tǒng),熟悉數(shù)據(jù)倉庫,熟悉數(shù)據(jù)集市;
熟悉大數(shù)據(jù)相關(guān)技術(shù):hadoop, hive, hbase, zookeeper, spark, cassandra, mapreduce;并閱讀過相關(guān)源碼;
管理過數(shù)據(jù)量上t級別,節(jié)點數(shù)300以上的大數(shù)據(jù)集群,開發(fā),優(yōu)化并管理過上t級別的大數(shù)據(jù)作業(yè);
熟悉常用機器學習算法,了解深度學習,強化學習,遷移學習算法,了解相關(guān)原理(ff, bf, sgd等);
熟悉各種抽樣方法(分層,過抽樣等),特征處理方法(缺失值處理,離散化等);
熟悉機器學習框架或工具(spark mllib,tensorflow, caffe等),了解源碼并能應(yīng)用項目;
具備大數(shù)據(jù)云平臺、計算存儲平臺、可視化開發(fā)平臺經(jīng)驗,具備中大型成功項目經(jīng)驗優(yōu)先;具備大規(guī)模分布式計算平臺的使用和并行算法的開發(fā)經(jīng)驗,對大數(shù)據(jù)處理及應(yīng)用有濃厚興趣;
具備較強的團隊管理能力和溝通能力,思維活躍,前瞻學習能力強;
了解軟件項目管理、敏捷管理方法論,在中大型項目中有所實踐。
第4篇 數(shù)據(jù)架構(gòu)師職位描述與崗位職責任職要求
職位描述:
工作職責:
1. 負責數(shù)據(jù)倉庫建設(shè),主要從事數(shù)據(jù)倉庫的基礎(chǔ)架構(gòu)設(shè)計、etl與開發(fā)流程優(yōu)化,整體管理數(shù)據(jù)的生產(chǎn)、建模、應(yīng)用等;
2. 負責數(shù)據(jù)治理平臺,制定數(shù)據(jù)規(guī)范及標準、建設(shè)數(shù)據(jù)管理體系和流程,完善數(shù)據(jù)治理制度,提升數(shù)據(jù)質(zhì)量;
3. 基于數(shù)據(jù)驅(qū)動參與構(gòu)建交易相關(guān)的數(shù)據(jù)中后臺系統(tǒng),并負責維護與運行;
3. 深入業(yè)務(wù),理解并合理抽象業(yè)務(wù)需求,建設(shè)數(shù)據(jù)主題,發(fā)揮數(shù)據(jù)價值;
4. 有數(shù)據(jù)中臺建設(shè)經(jīng)驗者優(yōu)先;有大型數(shù)據(jù)平臺項目建設(shè)經(jīng)驗者優(yōu)先
任職資格:
1. 精通數(shù)據(jù)模型和數(shù)據(jù)架構(gòu),有大型數(shù)據(jù)倉庫建設(shè)經(jīng)驗
2. 熟悉數(shù)據(jù)倉庫模型設(shè)計與etl開發(fā)經(jīng)驗,具備海量數(shù)據(jù)加工處理(etl)相關(guān)經(jīng)驗;
3. 精通sql,并且有一定的sql性能調(diào)優(yōu)經(jīng)驗,并且熟悉my sql等常用數(shù)據(jù)庫;
4.熟悉hive、hbase、storm、mahout、flume、elasticsearch、spark、kafka等,具備實際項目設(shè)計及開發(fā)經(jīng)驗;
5. 對數(shù)據(jù)敏感、對技術(shù)敏感,有研究的意識
第5篇 資深大數(shù)據(jù)架構(gòu)師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、負責大數(shù)據(jù)平臺架構(gòu)的評估、規(guī)劃和設(shè)計;
2、分布式存儲、流式/實時計算等應(yīng)用層架構(gòu)搭建及核心代碼實現(xiàn);
3、數(shù)據(jù)采集、加工、監(jiān)控、分析、使用,可視化的全過程;
4、主流hadoop生態(tài)大數(shù)據(jù)系統(tǒng)相關(guān)組件的性能改進、功能擴容和故障分析;
5、解決規(guī)模增長帶來的技術(shù)和業(yè)務(wù)問題,持續(xù)建設(shè)數(shù)據(jù)平臺的分布式計算與存儲能力;
6、對海量數(shù)據(jù)利用多維查詢引擎,提供秒級查詢的解決方案,促進業(yè)務(wù)發(fā)展;
任職要求:
1、統(tǒng)招本科以上學歷,至少5年以上大數(shù)據(jù)領(lǐng)域工作經(jīng)驗;
2、熟悉分布式系統(tǒng),有良好的java編碼基礎(chǔ)或者c++基礎(chǔ);
3、負責過大型數(shù)據(jù)平臺設(shè)計,豐富的olap系統(tǒng)經(jīng)驗,對常見的olap引擎有深入研究及優(yōu)化經(jīng)驗;
4、具有良好的問題分析和追蹤能力,具有正確的團隊合作意識和良好的溝通能力;
5、對hadoop的大數(shù)據(jù)體系有深入認識,對hadoop、hive、hbase、spark、flink、 kafka、es等有實際應(yīng)用研發(fā)經(jīng)驗,讀過關(guān)鍵源碼;
6、具有數(shù)據(jù)挖掘、機器學習、推薦算法、人工智能、數(shù)學建模項目經(jīng)驗者優(yōu)先;
7、有民航、在線旅游、電商類業(yè)務(wù)經(jīng)驗者優(yōu)先;
第6篇 大數(shù)據(jù)架構(gòu)師(數(shù)據(jù)中臺)職位描述與崗位職責任職要求
職位描述:
崗位描述:
1.負責公司數(shù)據(jù)工廠建設(shè),業(yè)務(wù)領(lǐng)域核心數(shù)據(jù)體系的規(guī)劃設(shè)計,在數(shù)據(jù)化運營和數(shù)據(jù)能力產(chǎn)品化等方向上,制定數(shù)據(jù)技術(shù)和服務(wù)的策略;
2.規(guī)劃設(shè)計數(shù)據(jù)服務(wù)工具,提升數(shù)據(jù)研發(fā)的工作效率,搭建數(shù)據(jù)服務(wù)的工具/產(chǎn)品,賦能業(yè)務(wù)同學和業(yè)務(wù)產(chǎn)品,靈活支撐業(yè)務(wù)的創(chuàng)新和探索,讓數(shù)據(jù)價值更浸透;
3.負責數(shù)據(jù)質(zhì)量、穩(wěn)定性等數(shù)據(jù)管理,數(shù)據(jù)內(nèi)部共享融通的數(shù)據(jù)平臺,讓數(shù)據(jù)標準更規(guī)范、數(shù)據(jù)獲取更高效;
崗位要求:
1. 5年以上數(shù)據(jù)開發(fā)崗位的經(jīng)驗,對數(shù)據(jù)倉庫、數(shù)據(jù)平臺、數(shù)據(jù)分析、數(shù)據(jù)挖掘、深度學習、nlp等領(lǐng)域有深刻的理解,豐富的數(shù)據(jù)架構(gòu)經(jīng)驗,精通數(shù)據(jù)建模及etl設(shè)計開發(fā);有較為系統(tǒng)的海量數(shù)據(jù)性能處理經(jīng)驗;有前瞻性的整套數(shù)據(jù)管理、數(shù)據(jù)服務(wù)等解決方案的規(guī)劃和落地經(jīng)驗尤佳;
2. 對公司業(yè)務(wù)有整體的理解,對數(shù)據(jù)業(yè)務(wù)場景非常敏感,能夠有效結(jié)合業(yè)務(wù)和技術(shù)創(chuàng)新,全局地規(guī)劃或完善數(shù)據(jù)服務(wù)體系以解決業(yè)務(wù)/產(chǎn)品的問題;
3. 具有大型跨部門的復(fù)雜項目或者技術(shù)領(lǐng)域的管理經(jīng)驗,有成熟的團隊梯隊建設(shè)經(jīng)驗和技能儲備的思路;
4. 具備創(chuàng)新精神,邏輯思維能力強,商業(yè)嗅覺敏銳者優(yōu)先;
第7篇 民航大數(shù)據(jù)架構(gòu)師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 負責民航大數(shù)據(jù)系統(tǒng)架構(gòu)的整體規(guī)劃、設(shè)計與研發(fā);
2. 針對電子商務(wù)、在線營銷等領(lǐng)域開展深入的數(shù)據(jù)挖掘和數(shù)據(jù)分析,構(gòu)建大數(shù)據(jù)基礎(chǔ)架構(gòu),優(yōu)化建模,采集和處理海量數(shù)據(jù),規(guī)劃基于云服務(wù)的高效、可靠的數(shù)據(jù)訪問能力;
3. 負責大數(shù)據(jù)服務(wù)平臺的研發(fā),帶領(lǐng)團隊獨立完成大數(shù)據(jù)產(chǎn)品的設(shè)計與開發(fā),解決技術(shù)開發(fā)過程中的技術(shù)難題。
職位要求:
1. 具備數(shù)據(jù)倉庫理論和實踐經(jīng)驗,熟悉hadoop、spark等大數(shù)據(jù)相關(guān)技術(shù),熟悉分布式系統(tǒng)基礎(chǔ)設(shè)施中常用的技術(shù),如緩存、消息中間件、搜索引擎等,有機器學習、推薦引擎、決策引擎等項目經(jīng)驗;
2. 熟悉web應(yīng)用,移動應(yīng)用,桌面應(yīng)用等用戶行為分析模型,精通java語言以及j2ee平臺特性,熟悉常用的設(shè)計模式和開源框架;
3. 有基于公有云、私有云的應(yīng)用架構(gòu)的項目經(jīng)驗,具備高可用性、高性能性、高擴展系統(tǒng)設(shè)計經(jīng)驗,對高并發(fā)系統(tǒng)架構(gòu)設(shè)計有深刻理解;
4. 本科以上學歷,5年以上大數(shù)據(jù)或大型項目架構(gòu)設(shè)計經(jīng)驗;
5. 具備民航、旅游業(yè)相關(guān)行業(yè)經(jīng)驗有限;
6. 較好的英文溝通能力。
第8篇 big data architect 大數(shù)據(jù)架構(gòu)師職位描述與崗位職責任職要求
職位描述:
responsibilities
?project delivery
?understand, analyze the customer requirements, and design the corresponding solution
?assist clients in the definition of the information architecture, to enable and leverage business analytics capabilities, starting from client's requirements to define the strategic approach to design big data architectures
?keep a close communication with clients and implementation team, clarify the question and doubt on both side, guarantee the project carried forward smoothly
?deal with the other project issue according to the project condition.
?project preparation
?coordinate with other team to prepare for the new opportunities and give the necessary support
?knowledge obtaining and sharing
?keep desire to learn new technology, follow up the trend, and review and share the new knowledge regularly.
requirements
?basic requirement
?bachelor’s degree
?e_cellent communication skills (english & mandarin)
?technical skills
?substantial e_pertise in advanced analytics technologies & solutions (incl. spss, sas, r, tableau, qlikview)
?proven practical e_pertise in big data projects with hadoop ecosystem, nosql or cloud data management technologies, master to basic technical operation including but not limit to linu_, shell, sql, python etc.
?good understanding to data model design, business analysis and data process, familiar with basic data process method and be able to handle the practical operation.
?soft skills
?strong problem solving attitude and proactive behavior to growth
?proven ability as a team leader with responsibility of defining customer needs and designing client’s solutions
?e_perience
?e_perience in /as an architect in the data warehousing and bi structure (incl. sql / data modelling, data integration, data governance) for several projects
第9篇 首席數(shù)據(jù)架構(gòu)師崗位職責首席數(shù)據(jù)架構(gòu)師職責任職要求
首席數(shù)據(jù)架構(gòu)師崗位職責
職責描述:
1. 負責集團大數(shù)據(jù)資產(chǎn)庫的技術(shù)架構(gòu)、核心設(shè)計方案,并推動落地;
2. 帶領(lǐng)大數(shù)據(jù)技術(shù)團隊實現(xiàn)各項數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化;
3. 新技術(shù)預(yù)研,解決團隊技術(shù)難題。
任職要求:
1. 在技術(shù)領(lǐng)域有5年以上相關(guān)經(jīng)驗,3年以上的架構(gòu)設(shè)計或產(chǎn)品經(jīng)理經(jīng)驗;
2. 具有2年以上大數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析相關(guān)項目經(jīng)驗;
3. 精通大數(shù)據(jù)分布式系統(tǒng)(hadoop、spark、hive等)的架構(gòu)原理、技術(shù)設(shè)計;精通linu_系統(tǒng);精通一門主流編程語言,java優(yōu)先;
4. 具備良好的團隊合作精神與溝通協(xié)調(diào)能力,具備出色的文檔編寫能力。
第10篇 航空業(yè)務(wù)-大數(shù)據(jù)架構(gòu)師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 負責民航大數(shù)據(jù)系統(tǒng)架構(gòu)的整體規(guī)劃、設(shè)計與研發(fā);
2. 針對電子商務(wù)、在線營銷等領(lǐng)域開展深入的數(shù)據(jù)挖掘和數(shù)據(jù)分析,構(gòu)建大數(shù)據(jù)基礎(chǔ)架構(gòu),優(yōu)化建模,采集和處理海量數(shù)據(jù),規(guī)劃基于云服務(wù)的高效、可靠的數(shù)據(jù)訪問能力;
3. 負責大數(shù)據(jù)服務(wù)平臺的研發(fā),帶領(lǐng)團隊獨立完成大數(shù)據(jù)產(chǎn)品的設(shè)計與開發(fā),解決技術(shù)開發(fā)過程中的技術(shù)難題。
職位要求:
1. 具備數(shù)據(jù)倉庫理論和實踐經(jīng)驗,熟悉hadoop、spark等大數(shù)據(jù)相關(guān)技術(shù),熟悉分布式系統(tǒng)基礎(chǔ)設(shè)施中常用的技術(shù),如緩存、消息中間件、搜索引擎等,有機器學習、推薦引擎、決策引擎等項目經(jīng)驗;
2. 熟悉web應(yīng)用,移動應(yīng)用,桌面應(yīng)用等用戶行為分析模型,精通java語言以及j2ee平臺特性,熟悉常用的設(shè)計模式和開源框架;
3. 有基于公有云、私有云的應(yīng)用架構(gòu)的項目經(jīng)驗,具備高可用性、高性能性、高擴展系統(tǒng)設(shè)計經(jīng)驗,對高并發(fā)系統(tǒng)架構(gòu)設(shè)計有深刻理解;
4. 本科以上學歷,5年以上大數(shù)據(jù)或大型項目架構(gòu)設(shè)計經(jīng)驗;
5. 具備民航、旅游業(yè)相關(guān)行業(yè)經(jīng)驗有限;
6. 較好的英文溝通能力。
第11篇 高級大數(shù)據(jù)架構(gòu)師職位描述與崗位職責任職要求
職位描述:
崗位職責
1. 負責樂播私有云及大數(shù)據(jù)系統(tǒng)的規(guī)劃和架構(gòu)工作,主導系統(tǒng)的架構(gòu)設(shè)計和核心模塊開發(fā),確保項目質(zhì)量和關(guān)鍵性能指標達成;
2.負責面向pb量級的數(shù)據(jù)查詢、數(shù)據(jù)計算、數(shù)據(jù)存儲以及數(shù)據(jù)模型與管理的總體架構(gòu)與優(yōu)化,提升數(shù)據(jù)查詢的響應(yīng)效率;
3.負責平臺數(shù)據(jù)建模和設(shè)計工作,數(shù)據(jù)抽取,數(shù)據(jù)清洗,數(shù)據(jù)建模工作,具有etl設(shè)計與開發(fā),數(shù)據(jù)質(zhì)量保障,元數(shù)據(jù)管理,指標體系建立;
4.負責研發(fā)技術(shù)發(fā)展方向,新技術(shù)領(lǐng)域的探索,將新技術(shù)應(yīng)用到項目;
任職資格:
1. 本科及以上學歷,5年以上大數(shù)據(jù)平臺架構(gòu)經(jīng)驗,有多個數(shù)據(jù)產(chǎn)品開發(fā)和實施經(jīng)驗;
2. 熟悉bi平臺架構(gòu),大數(shù)據(jù)解決方案及hadoop、spark大數(shù)據(jù)相關(guān)技術(shù),熟悉分布式系統(tǒng)基礎(chǔ)設(shè)施中常用的技術(shù),如緩存、消息中間件、搜索引擎等,有實踐經(jīng)驗者優(yōu)先;
3.精通java語言以及j2ee平臺特性,熟悉常用的設(shè)計模式和開源框架,有大型互聯(lián)網(wǎng)項目經(jīng)驗或業(yè)內(nèi)知名產(chǎn)品研發(fā)經(jīng)驗者優(yōu)先;
4.精通面向?qū)ο蠓治龊驮O(shè)計,并能熟練運用建模工具進行設(shè)計工作,且能夠指導初中級人員進行開發(fā)和設(shè)計工作;
5. 深刻理解數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計,有系統(tǒng)分析和設(shè)計實踐經(jīng)驗;
第12篇 首席大數(shù)據(jù)架構(gòu)師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、負責公司大數(shù)據(jù)平臺系統(tǒng)架構(gòu)設(shè)計、核心開發(fā)工作(hadoop生態(tài)圈),基于業(yè)務(wù)場景設(shè)計最優(yōu)的系統(tǒng)解決方案。
2、構(gòu)架大數(shù)據(jù)開發(fā)平臺,包括數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)計算、數(shù)據(jù)管理的平臺系統(tǒng)及相關(guān)監(jiān)控,推進平臺的架構(gòu)設(shè)計和實現(xiàn)。
3、利用hadoop、spark、flink等大數(shù)據(jù)技術(shù)對海量數(shù)據(jù)進行處理,支持建模(算法)的工程化實現(xiàn),實現(xiàn)可視化bi分析。
4、對現(xiàn)有系統(tǒng)的進行架構(gòu)深入分析及系統(tǒng)優(yōu)化,進一步提升系統(tǒng)的性能及數(shù)據(jù)處理能力。
5、了解機器學習等技術(shù)進行數(shù)據(jù)分析及建模的方案的系統(tǒng)化設(shè)計,跟進數(shù)據(jù)挖掘項目的架構(gòu)設(shè)計工作。
6、解決部門遇到的技術(shù)難題,能夠進行技術(shù)和培訓。
任職要求:
1、統(tǒng)招本科或以上學歷,計算機相關(guān)專業(yè), 2年以上大數(shù)據(jù)項目經(jīng)驗、3年以上架構(gòu)經(jīng)驗。
2、熟練使用cdh、hdp、fi等hadoop生態(tài)系統(tǒng)發(fā)行版套件,進行平臺服務(wù)的安裝、部署和維護。
3、具備較豐富的基于hadoop生態(tài)圈的大數(shù)據(jù)處理項目經(jīng)驗,熟悉數(shù)倉建設(shè)、數(shù)據(jù)中臺建設(shè)
4、熟悉hadoop、hive、hbase、kafka、spark、flink、es、flume、sqoop、ozzie、tez、hue、azkanban、data_等大數(shù)據(jù)組件的使用和調(diào)優(yōu),了解數(shù)據(jù)分析和數(shù)據(jù)挖掘。
5、深刻理解大數(shù)據(jù)平臺安全機制kerberos、ranger以及血緣分析套件atlas。
6、熟悉大數(shù)據(jù)應(yīng)用開發(fā)平臺的架構(gòu)和設(shè)計,對數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)血緣分析、數(shù)據(jù)存儲、作業(yè)調(diào)度、數(shù)據(jù)安全、數(shù)據(jù)分析有豐富的經(jīng)驗。
7、優(yōu)秀的團隊合作精神、誠實、勤奮、嚴謹,敢于接受挑戰(zhàn)。
8、機器學習技術(shù)、數(shù)據(jù)挖掘經(jīng)驗豐富者優(yōu)先考慮。
第13篇 大數(shù)據(jù)架構(gòu)師職位描述與崗位職責任職要求
職位描述:
崗位描述:
1. 制定公司的大數(shù)據(jù)發(fā)展(數(shù)據(jù)驅(qū)動、數(shù)據(jù)中臺)規(guī)劃、技術(shù)發(fā)展路線,建設(shè)合理的數(shù)據(jù)倉庫架構(gòu);
2. 分析業(yè)界大數(shù)據(jù)技術(shù)使用情況,研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地;
3. 領(lǐng)導數(shù)據(jù)資產(chǎn)管理和系統(tǒng)化的數(shù)據(jù)模型建設(shè);
4. 提升團隊大數(shù)據(jù)能力,塑造團隊在行業(yè)的技術(shù)影響力;
5. 對公司其他團隊普及大數(shù)據(jù)技術(shù)能力,并帶領(lǐng)團隊提供大數(shù)據(jù)使用能力。
崗位要求:
1. 計算機/應(yīng)用數(shù)學等相關(guān)專業(yè)、全日制本科及以上學歷;
2. 具有7年以上大數(shù)據(jù)架構(gòu)工作經(jīng)驗,擁有3年以上大型互聯(lián)網(wǎng)公司相關(guān)經(jīng)驗優(yōu)先;
3. 具有很強的數(shù)據(jù)設(shè)計抽象能力,具有海量數(shù)據(jù)、復(fù)雜業(yè)務(wù)的治理和管理經(jīng)驗;
4. 熟悉大數(shù)據(jù)架構(gòu)與生態(tài)圈技術(shù)(如:hive、hbase、storm、kafka、es、kylin等);
5. 熟悉大數(shù)據(jù)技術(shù)演變歷史,并能夠總結(jié)發(fā)展特點;
6. 對數(shù)據(jù)挖掘、分析、算法、工程化、ai等技術(shù)了解者優(yōu)先;
7. 具備良好的溝通協(xié)調(diào)能力、快速學習能力, 強烈的工作主動性和責任心,且熱愛技術(shù)、具有鉆研精神;
第14篇 大數(shù)據(jù)架構(gòu)師崗位職責及相關(guān)職位要求
大數(shù)據(jù)架構(gòu)師職位要求
1.計算機、工業(yè)自動化等相關(guān)專業(yè)本科及以上學歷。
2.熟悉數(shù)據(jù)倉庫建模理論,3年以上相關(guān)領(lǐng)域?qū)嵺`經(jīng)驗,能夠獨立完成系統(tǒng)架構(gòu)。
3.熟悉hadoop、hive、spark等大數(shù)據(jù)技術(shù)。
4.熟練使用java或其他語言進行復(fù)雜業(yè)務(wù)邏輯的數(shù)據(jù)處理工作,具備海量數(shù)據(jù)處理以及性能優(yōu)化的能力。
5.熟練mysql、redis、hbase等數(shù)據(jù)庫,能夠完成存儲查詢的優(yōu)化。
6.思路清晰,具備良好的溝通能力和理解能力,較強的學習能力以及快速解決問題的能力。
7.對新技術(shù),新事物有很好的探索和求知欲。
大數(shù)據(jù)架構(gòu)師崗位職責
1.負責大數(shù)據(jù)項目技術(shù)架構(gòu)評估與設(shè)計。
2.負責關(guān)鍵功能的開發(fā),技術(shù)難題的解決,以及輸出代碼的關(guān)鍵把控。
3.負責對使用關(guān)鍵技術(shù)的預(yù)研和選型,完成poc。
4.負責大數(shù)據(jù)平臺新技術(shù)的開發(fā)使用和性能優(yōu)化,測試。
5.能夠帶領(lǐng)團隊完成項目開發(fā)工作,并能分享技術(shù)經(jīng)驗。
6.研究主流技術(shù),能夠應(yīng)用于產(chǎn)品,推動產(chǎn)品功能、性能的提升。
第15篇 數(shù)據(jù)架構(gòu)師(杭州/北京)職位描述與崗位職責任職要求
職位描述:
工作職責:
1、交流和理解客戶業(yè)務(wù)需求,將需求轉(zhuǎn)化成對數(shù)據(jù)加工生產(chǎn)的要求;
2、深入理解行業(yè)數(shù)據(jù),理解和提煉標準,結(jié)合數(shù)據(jù)的技術(shù)特點設(shè)計數(shù)據(jù)模型和加工生產(chǎn)邏輯
3、對數(shù)據(jù)處理過程中的問題進行準確的分析和定位
4、負責包括數(shù)據(jù)標準在內(nèi)的項目相關(guān)的技術(shù)文檔的輸出;
5、針對數(shù)據(jù)項目的實施和運維要求,對人員進行組織架構(gòu)定義,職責分工以保障項目交付
6、作為技術(shù)專家,向客戶進行項目方案匯報溝通;
任職資格:
1、深入理解數(shù)據(jù)治理的方法,具備數(shù)據(jù)倉庫建設(shè)經(jīng)驗,包括數(shù)據(jù)清洗、etl、質(zhì)量監(jiān)控和評估等實施經(jīng)驗
2、具有行業(yè)數(shù)據(jù)標準梳理的能力,對行業(yè)領(lǐng)域數(shù)據(jù)模型和標準有深入了解
3、熟悉行業(yè)典型數(shù)倉的建設(shè)過程
4、具備建模能力,熟練使用uml等,準確表達需求和設(shè)計
5、對數(shù)據(jù)的可視化展現(xiàn)有深入認識和理解
6、掌握各類數(shù)據(jù)庫的使用場景,包括常見的關(guān)系型數(shù)據(jù)庫、nosql數(shù)據(jù)庫、mpp數(shù)據(jù)庫等
7、熟悉大數(shù)據(jù)離線計算和流式計算平臺,理解大數(shù)據(jù)平臺的分布式架構(gòu)特點
8、具有基于大數(shù)據(jù)平臺進行數(shù)據(jù)開發(fā)的豐富經(jīng)驗
9、熟悉相關(guān)領(lǐng)域的業(yè)界產(chǎn)品和方案
10、具有很強的溝通能力和技術(shù)文檔撰寫能力