- 目錄
崗位職責是什么
數據工,是企業(yè)數據處理團隊中的關鍵角色,主要負責收集、整理、分析和解讀各類業(yè)務數據,為企業(yè)的決策制定提供有力的數據支持。
崗位職責要求
1. 熟練掌握數據分析工具,如excel、sql、python等,具備數據清洗、預處理和建模的能力。
2. 具備良好的統計學知識,能理解和應用相關統計方法進行數據挖掘。
3. 對業(yè)務流程有深入理解,能將業(yè)務問題轉化為數據問題并進行解答。
4. 注重細節(jié),確保數據的準確性和完整性。
5. 良好的溝通技巧,能以清晰易懂的方式呈現復雜的數據洞察。
崗位職責描述
數據工的工作日常涉及到對海量數據的處理,從多個來源整合數據,消除數據不一致性,構建數據倉庫或數據湖。他們需要對數據進行深度分析,發(fā)現潛在的模式、趨勢和關聯,為管理層提供戰(zhàn)略性的見解。此外,他們還需要監(jiān)控數據質量,及時發(fā)現并解決數據問題,保證數據驅動的決策過程的可靠性。
有哪些內容
1. 數據采集與整理:從內部系統、外部api或其他數據源收集數據,進行數據清洗和格式化,確保數據可用性。
2. 數據分析:運用統計學方法和數據挖掘技術,對數據進行探索性分析,發(fā)現業(yè)務洞察。
3. 報告撰寫:創(chuàng)建數據報告和可視化圖表,以直觀的方式展示分析結果,幫助管理層理解數據背后的故事。
4. 項目協作:與業(yè)務部門、it部門和其他數據團隊緊密合作,確保數據需求得到滿足,同時推動數據驅動的改進措施。
5. 系統維護:維護和優(yōu)化數據基礎設施,包括數據庫、數據管道和分析工具,提高數據處理效率。
6. 持續(xù)學習:跟蹤最新的數據分析技術和行業(yè)動態(tài),不斷提升自身的數據分析能力,以適應企業(yè)的發(fā)展需求。
數據工的角色在當今數據驅動的企業(yè)環(huán)境中至關重要,他們的工作成果直接影響到企業(yè)的決策質量和業(yè)務績效。作為數據工,不僅要具備技術能力,還需要具備業(yè)務敏感性和團隊協作精神,以實現數據的最大價值。
數據工崗位職責范文
第1篇 大數據工程師崗位職責職位要求
職責描述:
華為企業(yè)bg-大數據工程師
1、基于hadoop/spark/mppdb的大數據、數倉平臺架構設計及開發(fā)工作
2、數據處理流程設計及開發(fā)
3、海量數據的采集、存儲、管理、分析、建模
4、負責大數據、數倉平臺的監(jiān)控及優(yōu)化,針對持續(xù)增長的數據提供相應的解決方案
5、負責大數據、數倉項目的疑難問題解決,性能優(yōu)化
專業(yè)知識要求:
1、有3年以上相關崗位工作經歷,或者非金融業(yè)的數據服務或信息數據管理工作經驗
2、數學、計算機技術等相關專業(yè)
3、精通大數據(mppdb、hadoop)等相關技術,并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3個組件技術。
4、至少精通主流數據庫技術oracle/postresql/mysql/sql server中的一種,精通數據倉庫理論架構,包括但不限于數據調度、etl、元數據管理、數據監(jiān)控;
5、精通1-2門開發(fā)語言(java/python/scala/shell)
6、具有比較突出的組織、策劃、協調及溝通能力,有強烈的結果導向和客戶導向。
崗位要求:
學歷要求:本科
語言要求:不限
年齡要求:不限
工作年限:3-5年
第2篇 erp數據工程師崗位職責erp數據工程師職責任職要求
erp數據工程師崗位職責
1.需要將原來各系統的數據進行分析,整理并導入到erp。2.與業(yè)務部門溝通,收集需要導入的數據。3.有計算機軟件相關背景,熟悉系統維護,可以幫助用戶解決日常簡單問題,懂數據庫者優(yōu)先考慮4.熟練運用e_cel5.三年左右工作經驗,英語一般。6.工作認真負責.細致,有較強的責任心。
第3篇 python數據工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1.?高校數據庫的管理與維護;
2.?高校數據的分析;
3.?協助開發(fā)各類數據平臺;
4.?數據清洗與入庫;
5.?完成上級安排的其他工作。
崗位要求:
1.?全日制本科以上學歷,計算機相關專業(yè),1年以上相關工作經驗;
2.?熟悉python,全面掌握python的基本語法,基本數據結構,常用library,熟悉numpy,pandas的基本用法和功能,了解python自然語言處理;
3.熟練掌握mysql;
4.?有一定的數理統計基礎,熱愛和數據打交道;
5.?認同創(chuàng)業(yè)文化,事業(yè)心強。
第4篇 大數據工程師(電商行業(yè))職位描述與崗位職責任職要求
職位描述:
工作職責:
1、基于hive的數據倉庫建設、etl開發(fā);
2、使用hive/flink等平臺進行分析內部及外部的數據,配合業(yè)務團隊進行定量和定性分析,把數據轉化成為業(yè)務增值的信息;
3、探索、評估新的技術和解決方案,提高數據并行計算能力和運行速度。
任職要求:
1、熟悉大數據相關技術:kafka/flink/hadoop/druid/hbase 等;
2、具備數據庫系統理論知識,掌握主流數據庫管理和應用,精通sql;
3、了解統計以及數據挖掘、機器學習、人工智能技術,會使用關聯分析、分類預測、聚類分析等常用分析方法;
4、熟練使用 java、python、php、go語言中的一種或者多種;
6、兩年以上大數據開發(fā)經驗,有高性能分布式平臺開發(fā)經驗,有電商行業(yè)經驗優(yōu)先。
第5篇 服務器數據工程師崗位職責
服務器開發(fā)工程師(python數據方向) ihandy 北京漢迪移動互聯網科技股份有限公司,ihandy,ihandysoft,漢迪 ?崗位 職責
? 負責開發(fā)推薦系統的業(yè)務后端
? 支持各種業(yè)務開發(fā)、架構設計和性能調優(yōu)
? 職位要求
? 精通python,有python web相關開發(fā)經驗
? 有高并發(fā)的設計和實現經驗
? 具有極強的編碼能力和工程實踐能力
? 至少熟悉一種數據庫(sql/nosql),至少熟悉一種緩存組件(redis/memcached)
? 了解推薦系統lambda架構者優(yōu)先
? 有hadoop/spark等大數據處理經驗者優(yōu)先
第6篇 大數據工程師崗位工作職責
簡介:大數據(big data),指無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。
大數據工程師職位描述(模板一)
崗位職責:
1.負責數據分析、加工、清洗、處理程序的開發(fā);
2.從事海量數據分析、挖掘相關工作;
3.負責大數據相關平臺的搭建、開發(fā)、維護、優(yōu)化;
4.對業(yè)務部門的數據分析需求給予實現與支持;
5.對公司的“數據驅動運營”的業(yè)務目標進行大數據架構方案實現。
任職要求:
1.計算機相關專業(yè),本科及以上學歷,3年以上java開發(fā)工作經驗,學習能力突出;
2.熟悉hadoop生態(tài)系統內常見項目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce開發(fā)經驗,有實際大數據項目經驗優(yōu)先;
3.熟練掌握oracle、mysql等主流數據庫;
4.精通java,熟悉基于j2ee的web架構設計,熟悉web開發(fā)流程,有豐富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)開發(fā)經驗;
5.熟悉linu_/uni_系統環(huán)境下的操作;熟悉tomcat等應用服務器的配置和優(yōu)化;
6.具有良好的溝通能力、組織能力及團隊協作精神,有較強的分析和解決問題的能力。大數據工程師職位描述(模板二)
崗位職責:
1.大數據平臺功能規(guī)劃、設計;
2.大數據平臺的設計、研發(fā);
3.大數據平臺實施、數據接入。
任職要求:
1.統招本科及以上學歷,計算機科學、軟件工程、數學、統計學相關專業(yè)畢業(yè);
2.具有扎實的java基礎,精通sql、mysql以及2年以上軟件開發(fā)經驗;
3.熟悉hadoop平臺架構,有hadooop、hbase、hive、spark、kafka使用經驗;
4.熟練python進行數據處理,網頁爬取;
5.有非結構化數據解析、識別經驗優(yōu)先。大數據工程師職位描述(模板三)
崗位職責:
1.負責數據倉庫建設、設計、優(yōu)化和落地;
2.負責數據etl開發(fā)、數據平臺建設、設計并實現對bi分析、數據產品開發(fā)。
任職要求:
1.985院校計算機相關專業(yè)本科以上學歷;
2.有較扎實的數據倉庫理論基礎,對數據模型建設、應用層建設有比較豐富的經驗;
3.有hadoop、hive、spark、impala等大數據技術使用經驗者優(yōu)先。大數據工程師職位描述(模板四)
崗位職責:
1.主要負責電信業(yè)務的大數據開發(fā)工作;
2.結合業(yè)務需求設計數據分析場景,并形成后臺實現方案,獨立完成業(yè)務數據建模,并將結果轉化為運營指標;
3.對產品全生命周期跟進,協調各種資源保證產品順利發(fā)展。
任職要求:
1.計算機或者相關專業(yè)本科及以上學歷,3年及以上相關工作經驗;
2.熟練掌握java開發(fā)語言,熟悉多線程和線程調優(yōu),如懂scala開發(fā)更佳;
3.熟悉linu_服務器環(huán)境、熟悉shell;
4.熟悉分布式系統、集群管理、soa架構等相關技術,熟悉hadoop on yarn集群部署和工作原理,熟練掌握mr開發(fā),有大型集群開發(fā)運維經驗更佳;
5.熟悉以下技術中3種及以上者優(yōu)先考慮:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬蟲;
6.具有良好的溝通能力和團隊精神,具有良好的抗壓能力。大數據工程師職位描述(模板五)
崗位職責:
1.負責大數據處理平臺應用的開發(fā)工作;
2.利用hadoop yarn/storm/spark進行開發(fā)、存儲、分布式計算應用的代碼實現;
3.優(yōu)化hadoop yarn/storm/spark 參數,實現系統調優(yōu),滿足行業(yè)應用的實時大數據處理需求;
4.學習新技術,提高整個平臺的計算能力和效率;
5.開發(fā)基于hive、hbase、es等數據處理方式的腳本程序。
任職要求:
1.3年以上hadoop/storm/spark開發(fā)經驗,對分布式、并行計算理論有深刻理解;
2.精通java/scala/python任一語言;
3.對hadoop/storm/spark源碼有研究,有大數據平臺開發(fā)工作經驗者優(yōu)先;
4.有很好的技術敏感性,良好的學習能力和吃苦耐勞能力;
5.具有較好的溝通協調能力、團隊合作能力、文檔編寫能力。
第7篇 大數據工程師-廣告系統職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責字節(jié)跳動海量用戶行為數據的處理,在分布式計算平臺基礎上建立高效、實時的數據 pipeline;
2、負責推薦系統、廣告系統的數據分析,發(fā)現模式與規(guī)律,為實驗解釋、系統改進提供數據支持;
3、負責 hadoop,spark 等大數據基礎設施和平臺的改進,解決大規(guī)模生產環(huán)境集群可用性和性能優(yōu)化問題。
任職要求:
1、2019屆畢業(yè),本科及以上學歷,計算機相關專業(yè);
2、熱愛計算機科學和互聯網技術,優(yōu)秀的編碼能力,樂于快速學習和嘗試新技術、新工具;
3、對數據敏感,掌握量化分析方法,善于從數據中發(fā)現問題,提出假設并使用數據進行驗證;
4、對至少一項分布式計算平臺有使用經驗,例如 hadoop,spark,hive,storm,kafka 等;
5、有參與開源項目對社區(qū)有貢獻的經歷,有互聯網公司實習經歷,有大數據處理或用戶行為數據分析經驗者優(yōu)先。
第8篇 數據工程師(data engineer)職位描述與崗位職責任職要求
職位描述:
崗位職責:
建立基礎設施,收集大量原始數據并處理成適合分析的數據
在大量數據的基礎上設計和實施近實時數據應用程序
支持業(yè)務團隊的操作監(jiān)控請求
任職要求:
碩士/學士學位,在相關領域擁有1-2年的工作經驗
熟練掌握java, python 或scala;熟練使用linu_
bash
熟悉云計算平臺(alicloud / aws)
具有大數據平臺/編程經驗(hadoop / spark )
具有數據庫使用經驗(oracle / mysql / mongodb),精通sql數據庫和sql編程
加分項:
良好的英語口頭和書面溝通能力
第9篇 華為大數據工程師崗位職責職位要求
職責描述:
1. 負責項目組數據挖掘、數據分析、數據建模工作,能夠按要求、高質量地完成任務;
2. 熟練掌握分析設計工具,按照規(guī)范的要求,編寫設計文檔;
3. 按照設計功能,實現模塊的代碼編寫和維護;
4. 按照公司的規(guī)范進行編碼,并對開發(fā)的代碼進行單元測試;
5. 負責項目開發(fā)過程中的技術攻關及運行中出現的技術問題。
任職資格:
1、3年以上數據倉庫和數據建模經驗,包括不限于:etl、dw、olap、多維數據模型等;
2、一定的數據可視分析基礎,熟練掌握power pivot、powerbi等工具用于數據分析;
3、有ssas方案的設計或開發(fā)經驗優(yōu)先;
4、熟練使用至少一款bi相關工具,包括tableau,powerbi,oracle biee,qlik等等。
5、理解數據倉庫和數據建模相關知識。
6、溝通能力優(yōu)秀,勤奮好學,熱愛數據工作;
7、良好的團隊精神,工作負責,具有良好的職業(yè)操守。
8、本科以上學歷學位,具備cet-4/6優(yōu)先。
崗位要求:
學歷要求:本科
語言要求:不限
年齡要求:不限
工作年限:3-4年經驗
第10篇 數據工程師(數據賦能)職位描述與崗位職責任職要求
職位描述:
職責描述:
1.負責開發(fā)數據處理產品模組;
2.負責根據數據分析師提出的開發(fā)規(guī)格,開發(fā)數據流程及數據服務接口;
3.運用 etl相關工具,負責自動化數據處理流程。
4.負責執(zhí)行數據管理策略應用開發(fā),包含數據質量,數據目錄,元數據管理產品開發(fā);
5.負責保證項目進度,總結項目經驗,歸納案例,實現經驗共享。
任職要求:
本科畢業(yè),計算機相關專業(yè)
專業(yè)技能:
1.具備 java / python/ r 等語言開發(fā)能力, 熟練使用 etl 工具 (nifi , streamset , informatica , kettle ,sqoop等工具)
2.熟悉 hadoop,hive,hbase,mongodb, elk,spark, flink, kafka 等大數據組件,數據庫管理,data warehouse (teradata, greenplum) 等經驗
3.熟悉 數據處理方法及流程,數據清洗,數據模型,數據管理等領域有相關經驗
4 對數據敏感度高,曾開發(fā)數據服務產品daas 者優(yōu)先
應知應會:
1. 能解釋分析結果并轉換成改善方案
3. 應用數據產品解決分析問題
第11篇 etl數據工程師職位描述與崗位職責任職要求
職位描述:
職責:
1. 按業(yè)務分析需求進行建模;
2. 進行數據倉庫需求分析、方案設計、etl裝載過程設計;
3. 從業(yè)務數據庫到數據倉庫的etl開發(fā);
4. 結合業(yè)務流程和需求進行數據分析;
任職資格:
1. 本科以上學歷,計算機等信息技術相關專業(yè);
2. 有互聯網金融相關工作經驗,了解相關數據流和業(yè)務背景優(yōu)先;
3. 兩年及以上數據倉庫相關工作經驗,對數據倉庫系統架構具有良好的認識,熟悉數據倉庫相關技術,如 etl、報表開發(fā),具備數據分析技術并具有相關項目經驗;
4. 具有hive、spark、mysql、oracle等至少一種大型數據庫的應用開發(fā)經驗,熟悉數據標準管理、元數據管理、數據質量管理;
5. 具備python統計和數據挖掘相關基本開發(fā)能力;
6. 溝通能力好,善于規(guī)劃和總結,注重團隊合作及知識共享,能承擔一定的工作壓力;
第12篇 金融數據工程師崗位職責
資深數據開發(fā)工程師-網易金融032 網易集團 網易(杭州)網絡有限公司,杭州網易,網易,網易杭州,網易游戲,網易網絡,網易集團,網易 工作職責:
1. 根據業(yè)務狀況構建數據倉庫體系和數據指標體系,為信貸風控業(yè)務提供數據和框架支持;
2. 沉淀算法和數據分析思路, 提煉數據產品需求, 協作并推動數據產品的落地 ;
3. 與相關團隊協作進行數據建模工作,推動業(yè)務部門的數據化運營。
任職要求:
1.熟練掌握sql,掌握python/java/scala至少一門編程語言,熟練掌握hive、spark等大數據工具,有數據倉庫、數據分析的工作經驗;
2.熟悉數據倉庫模型設計 ,掌握常用數據建模方法,具備海量數據加工處理(etl)相關經驗;
3.較好的業(yè)務理解能力,良好的語言溝通與表達能力;
4.熱愛技術,勤于鉆研,追求極致;
5.良好的技術視野,能適應新業(yè)務新技術快速的發(fā)展變更,對新業(yè)務/新技術有持續(xù)學習的熱情;
6.優(yōu)秀的分析問題解決問題能力,喜歡挑戰(zhàn)自己,良好的溝通能力。
第13篇 高級數據工程師(數倉方向)職位描述與崗位職責任職要求
職位描述:
工作職責:
1.負責全司數據的數據調研,數據模型設計,etl開發(fā),任務監(jiān)控和優(yōu)化等
2.負責數據倉庫多場景的基礎服務層建設,如多維分析,即席查詢,實時推送等
3.負責基于數據倉庫之上的數據中臺建設,如數據管控系統,特征工程,指標庫等數據分析相關的通用服務
4.負責數據管理共享系統的設計,開發(fā)和實施;
任職資格:
1、計算機、數學相關專業(yè)全日制本科以上學歷;
2、熟悉數據治理方法論,了解數據質量、數據模型和元數據管理等相關技術
3、5年以上具備大型數據倉庫架構設計(離線&實時)、模型設計、etl設計的相關經驗
4、要求至少精通一種主流的etl產品,如:datastage或infomatica
5、精通oracle存儲過程的開發(fā)
6、具有豐富的etl實施經驗,熟悉金融投資行業(yè)優(yōu)先
第14篇 數據工程師-企業(yè)saas應用職位描述與崗位職責任職要求
職位描述:
工作職責:
1、根據不同的業(yè)務場景,構建業(yè)務指標體系,建立和完善日常業(yè)務報告體系,能夠及時、準確、完整的披露公司整體及各項目的運作情況;
2、參與數據倉庫架構設計與數據開發(fā),建設共享數據倉庫;
3、通過專項分析,輸出專項分析報告,為業(yè)務模塊的決策和產品方向提供數據支持;
4、參與數據底層的工具、平臺、部署流程等技術體系建設的研發(fā)工作。
任職要求:
1、本科及以上學歷;
2、熟悉數據倉庫模型設計方法論,并有實際模型設計及etl開發(fā)經驗;
3、掌握大型數據庫開發(fā)技術,如oracle、teradata、db2、mysql等等掌握至少一種,靈活運用sql實現海量數據etl加工處理與查詢性能調優(yōu);
4、熟悉常用的數據挖掘、分析的工具和方法,有數據挖掘工作經驗;熟悉linu_平臺,精通shell/c(c++)/php/python/等腳本語言的一種或多種,編碼基本功扎實;
5、具備快速學習能力、溝通協調能力及團隊精神,有較強的責任心和學習積極性。
第15篇 高級大數據工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1、參與大數據開放平臺基礎能力建設,承擔系統架構、組件開發(fā)、方案驗證等工作;
2、參與構建大數據系列產品,包括但不限于用戶畫像、用戶增長與用戶經營、數據分析挖掘、實時計算、數據分發(fā)、機器學習平臺、風控反欺詐等產品線;
任職要求:
1、 統招本科或以上學歷,5年以上大數據開發(fā)工作經驗;
2、扎實的java基礎,能熟練使用java進行軟件功能開發(fā);
3、熟練掌握基于hadoop生態(tài)的大數據開發(fā)工具,包括hive、spark、hbase、sqoop、es、impala、flink、storm等,有實時系統開發(fā)經驗優(yōu)先;
4、熟悉常用的數據挖掘算法,例如聚類、回歸、決策樹等,有過nlp項目經驗優(yōu)先;
5、有過互聯網公司數據倉庫、分析系統、用戶畫像、廣告平臺等產品開發(fā)經驗者優(yōu)先;
6、工作積極主動,善于合作,敏而好學;
第16篇 中級數據工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
(1)對測試過程中采集的測試數據,依據標準進行檢查與反饋,對不合格數據及時給出整改意見;項目結項后,對數據進行整理入庫。
(2)依據測試方案,依托測試系統與工具,對測試數據進行分析,結合分析結果編制測試報告;對數據分析中出現的問題,與系統部、標準部進行溝通,及時解決。
(3)依據測試計劃,按照測試流程,進行日常測試工作,包括但不限于:測試前技術交底,測試設備和測試場地準備與定期維護和檢查,客戶進場與離場登記與檢查等。
(4)依據測試方案,構建測試場景環(huán)境,實施測試執(zhí)行,包括但不限于:試驗前搭建、調試設備;試驗中記錄測試數據;試驗后進行數據分析等。
任職要求:
教育背景:
(1)計算機、軟件、應用數據、統計學及相關專業(yè)畢業(yè);
(2)正規(guī)大學全日制本科及以上學歷,985、211優(yōu)先。
基本技能:
(1)word、powerpoint、e_cel熟練運用;
(2)c1以上駕駛執(zhí)照,并熟練駕駛2年以上。
工作經驗:
(1)1年以上工作經驗;
專業(yè)技能:
(1)熟悉數據分析的基本概念和方法,熟練使用技術手段進行數據分析和挖掘,熟悉數據挖掘及機器學習算法,能夠熟練運用數據挖掘技術對數據進行分析處理,并從數據中提取有價值的信息;
(2)會使用(包括培訓后能獨立使用)測試場地內的各類設施、設備與系統,包含但不限于交通信號系統、雨霧模擬設備、高精度定位數采設備,abd與4a相關設備等;
(3)良好的溝通協調能力,較強的執(zhí)行力;
(4)會使用matlab、r、python等任何一種語言,有技術開發(fā)背景優(yōu)先;
(5)有汽車領域測試咨詢從業(yè)背景,汽車測試、檢測與認證從業(yè)經驗優(yōu)先;
工作態(tài)度:
(1)好學上進,耐心細致,有責任心;
(2)工作勤奮,善于思考問題;
(3)有時間觀念,獨立性強,具有團隊合作精神。
第17篇 流媒體大數據工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責直播端及服務端海量用戶行為數據的加工處理,數據洞察驅動業(yè)務優(yōu)化;
2、打造業(yè)界領先的大數據平臺,支撐數據采集,加工,建模,分析,實驗,可視化的全流程;
3、打造業(yè)界領先的分布式計算,存儲系統,解決大規(guī)模生產環(huán)境集群可用性和性能優(yōu)化問題。
任職要求:
1、熱愛計算機科學和互聯網技術,優(yōu)秀的編碼能力,樂于快速學習和嘗試新技術、新工具;
2、對開源大數據系統有相關經驗者優(yōu)先,包括但不限于hadoop/spark/hive/flink/kafka/druid 等;
3、對數據敏感,掌握量化分析方法,善于從數據中發(fā)現問題者優(yōu)先。
第18篇 gis數據工程師崗位職責
gis 大數據平臺研發(fā)工程師 崗位職責:
1、gis大數據平臺、數據產品、數據服務開發(fā);
2、基于大數據的數據倉庫架構設計和開發(fā);
3、gis應用系統開發(fā)。
4、產品迭代、質量、流程的把控
任職資格:
1、計算機相關專業(yè)本科以上學歷,二年以上java 或 asp.net web應用軟件開發(fā)經驗;
2、對虛擬機及l(fā)inu_下的開發(fā)環(huán)境有較深厚的開發(fā)經驗;
3、熟練使用mysql及postgresql,對數據庫有較強的設計能力,同時熟悉大數據相關技術;
4、熟悉javascript、html、css等web前端常用開發(fā)技術;
5、精通servlet、spring、hibernate、ibatis開發(fā), 熟悉maven,熟悉tomcat、ngin_等應用服務器,熟悉高并發(fā)處下的性能優(yōu)化;
6、熟悉hadoop(hdfs/mapreduce/hive)、spark、hbase等類框架技術,大數據產品開發(fā)、數據倉庫建設經驗者。
7、熟悉arcgis、geoserver、openlayer等gis相關技術者;
8、具有良好的溝通,團隊協作、計劃和創(chuàng)新的能力。 崗位職責:
1、gis大數據平臺、數據產品、數據服務開發(fā);
2、基于大數據的數據倉庫架構設計和開發(fā);
3、gis應用系統開發(fā)。
4、產品迭代、質量、流程的把控
任職資格:
1、計算機相關專業(yè)本科以上學歷,二年以上java 或 asp.net web應用軟件開發(fā)經驗;
2、對虛擬機及l(fā)inu_下的開發(fā)環(huán)境有較深厚的開發(fā)經驗;
3、熟練使用mysql及postgresql,對數據庫有較強的設計能力,同時熟悉大數據相關技術;
4、熟悉javascript、html、css等web前端常用開發(fā)技術;
5、精通servlet、spring、hibernate、ibatis開發(fā), 熟悉maven,熟悉tomcat、ngin_等應用服務器,熟悉高并發(fā)處下的性能優(yōu)化;
6、熟悉hadoop(hdfs/mapreduce/hive)、spark、hbase等類框架技術,大數據產品開發(fā)、數據倉庫建設經驗者。
7、熟悉arcgis、geoserver、openlayer等gis相關技術者;
8、具有良好的溝通,團隊協作、計劃和創(chuàng)新的能力。
第19篇 大數據工程師職位描述與崗位職責任職要求
職位描述:
這是一個為商業(yè)人工智能領域構建實時大數據分析平臺的工作機會。我們希望您具備計算機科學或者相關專業(yè)領域的專業(yè)背景,并擁有構建分布式可擴展數據處理及大數據存儲方面的豐富經驗。您將擔任跨職能的團隊中的重要角色。我們希望您斗志昂揚,注重結果,積極主動,具備推動產品的增長和成功的成功經驗。
工作職責
?在云端或者本地集群上構建可擴展的實時數據處理流水線,收集、轉換、加載并管理各類數據源
?構建可擴展的分布式數據存儲
?確保所構建的數據處理管道具有高質量并可審計
?開發(fā)相關工具以優(yōu)化數據的提取、分析及可視化效率
?評估數據工程領域的新技術,并開發(fā)原型,以持續(xù)改善工作
?與框架和其他團隊合作,確保系統運行符合設計預期
工作要求
?全日制碩士以上學歷,計算機相關專業(yè),cet6
?具備大數據相關技術例如spark, kafka, hadoop, hbase, hive等的豐富經驗
?具備五年以上java、scala、python相關工作經驗,mysql, redshift等sql相關經驗
?具備三年以上可擴展實時etl開發(fā)經驗
?熟悉azure/aws/gcp相關工具與知識
?良好的書面/口頭溝通技巧
?具備機器學習算法方面工作經驗者優(yōu)先
第20篇 數據工程師-bj職位描述與崗位職責任職要求
職位描述:
工作職責:
1、基于每日百億級展現數據,搭建大數據處理平臺;實現流式事件的實時計算,落地儲存。對于離線數據完成數據倉庫的建立,為數據挖掘提供有效的數據;
2、使用用戶行為數據,廣告投放數據,挖掘數據層次關系,分析媒體.流量.廣告主等數據來提高變現效率;
3、數據分析,挖掘,模型具體的產品化;了解廣告業(yè)務,能和pm合作,基于數據驅動持續(xù)優(yōu)化數據產品。
任職資格:
1、熟悉c++、java、python中的一種或多種編程技術,編程能力強,熟悉大數據處理技術,善于學習應用業(yè)界領先數據架構和技術;
2、對大數據開源組件有使用經驗,對hadoop/hive/spark/es/druid 其中一項精通;
3、熟悉數據挖掘算法,包括數據清洗.統計學習.分類聚類算法,并能夠驗證算法效果,將算法應用在廣告業(yè)務中;
4、善于學習,思維活躍,善于從數據中發(fā)現.思考并解決問題;
5、有廣告研發(fā)經驗者優(yōu)先,對廣告行業(yè)有自己思考