- 目錄
-
第1篇 高級python工程師／爬蟲／spider職位描述與崗位職責(zé)任職要求
職位描述：
工作內(nèi)容：
1、 基礎(chǔ)系統(tǒng)架構(gòu)、模塊、庫和組件的研發(fā)；
2、 分布式海量數(shù)據(jù)存儲和分析系統(tǒng)的研發(fā)和調(diào)優(yōu)；
3、統(tǒng)計分析、報表、saas業(yè)務(wù)等系統(tǒng)研發(fā)；
4、crm、財務(wù)結(jié)算、工作流等內(nèi)部管理系統(tǒng)的研發(fā)。
能力要求：
1、至少使用php/java/python等一門以上語言，開發(fā)過不算太小的項目；
2、熟悉數(shù)據(jù)結(jié)構(gòu)、db、os、web開發(fā)等相關(guān)知識，對linu_相關(guān)的各類技術(shù)情有獨(dú)鐘；
3、有大規(guī)模、高性能互聯(lián)網(wǎng)網(wǎng)站系統(tǒng)相關(guān)的設(shè)計和開發(fā)經(jīng)驗者優(yōu)先；
4、具備良好的學(xué)習(xí)能力和成長潛力，渴望和團(tuán)隊一起快速成長。
第2篇 網(wǎng)絡(luò)爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1，負(fù)責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與開發(fā)
2，對爬取的網(wǎng)頁信息進(jìn)行數(shù)據(jù)抽取，清洗和去重等工作
任職要求：
1、2年及以上網(wǎng)絡(luò)爬蟲開發(fā)經(jīng)驗，本科及大專學(xué)歷，計算機(jī)相關(guān)專業(yè)，
2、積極、溝通順暢，工作認(rèn)真負(fù)責(zé)
3、扎實的編程能力，熟悉常用算法和數(shù)據(jù)結(jié)構(gòu)等基礎(chǔ)知識
4、熟練掌握開發(fā)語言java或c/c++，熟悉腳本語言和正則表達(dá)式
第3篇 數(shù)據(jù)爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1.開發(fā)網(wǎng)頁自動化腳本。
2.負(fù)責(zé)商品信息結(jié)構(gòu)化，編寫自動化腳本解析網(wǎng)頁信息。
3.商品索引系統(tǒng)：億級sku的庫存價格實時跟蹤同步，并對商品進(jìn)行智能分類、本地化、圖片處理和去重。
4.設(shè)計、開發(fā)、測試、部署以及維護(hù)并改進(jìn)各子系統(tǒng)；
5.管理項目優(yōu)先級并按時交付。
職位要求：
1.全日制統(tǒng)招本科、碩士畢業(yè)，1年以上軟件開發(fā)工作經(jīng)驗；
2.熟悉至少一門通用靜態(tài)編譯編程語言，c/c++/java/c#/go；
3.熟悉web端基礎(chǔ)標(biāo)準(zhǔn)，包括html、css、javascript、json等；
4.熟悉python或其他腳本語言，有興趣和能力根據(jù)需求學(xué)習(xí)其他編程語言；
5.熟悉uni_/linu_環(huán)境，memcache/redis/mongodb等存儲系統(tǒng)，能獨(dú)立設(shè)計開發(fā)包括前后端交互的業(yè)務(wù)子系統(tǒng)；
6.熟悉常見的設(shè)計模式、單元測試、持續(xù)開發(fā)集成、code review，并能在日常工作踐行；
7.了解搜索引擎、電子商務(wù)、社交類應(yīng)用的系統(tǒng)基本架構(gòu)，能對已有的子系統(tǒng)進(jìn)行優(yōu)化調(diào)整的優(yōu)先；
8.活躍的開源項目貢獻(xiàn)者優(yōu)先。
第4篇 爬蟲技術(shù)經(jīng)理職位描述與崗位職責(zé)任職要求
職位描述：
職位描述：
1、負(fù)責(zé)核心爬蟲系統(tǒng)架構(gòu)設(shè)計、數(shù)據(jù)庫設(shè)計；
2、負(fù)責(zé)網(wǎng)絡(luò)爬蟲的核心技術(shù)研究和開發(fā)，參與各種核心搜索策略、算法、數(shù)據(jù)聚類、重組的設(shè)計與開發(fā)；
3、設(shè)計策略和算法，提升網(wǎng)頁抓取的效率和質(zhì)量；
4、分析爬蟲系統(tǒng)的技術(shù)缺陷，對策略架構(gòu)做出合理地調(diào)整和改進(jìn)；
崗位要求：
1、 全日制本科及以上學(xué)歷，計算機(jī)相關(guān)專業(yè)；
2、精通java、c#、go、python其中一種，熟悉常用的信息抓取策略和數(shù)據(jù)重組算法；
3、精通信息抓取和整合技術(shù)，從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
4、熟悉代理技術(shù)、驗證碼技術(shù)；
5、熟悉mongodb、hbase、hive等nosql數(shù)據(jù)庫，了解關(guān)系型數(shù)據(jù)庫優(yōu)先。
第5篇 網(wǎng)絡(luò)爬蟲崗位職責(zé)網(wǎng)絡(luò)爬蟲職責(zé)任職要求
網(wǎng)絡(luò)爬蟲崗位職責(zé)
工作內(nèi)容:負(fù)責(zé)小程序搜索爬蟲系統(tǒng)的建設(shè)，包括小程序爬蟲策略的開發(fā)，分布式爬蟲系統(tǒng)的建設(shè)，數(shù)據(jù)分析及處理等，為小程序搜索提供豐富優(yōu)質(zhì)的基礎(chǔ)數(shù)據(jù)。
任職要求:
職位要求:
具備良好的計算機(jī)基礎(chǔ)，熟悉http協(xié)議，具備良好的基礎(chǔ)前端知識;
有過良好的高并發(fā)系統(tǒng)的后臺開發(fā)經(jīng)驗;
具備一定的數(shù)據(jù)處理/分析經(jīng)驗，熟悉hadoop、mapreduce、spark等并行計算框架;
了解小程序的基礎(chǔ)框架，有實際開發(fā)經(jīng)驗更優(yōu);
掌握 c/c++、python 等一門或多門語言，有nodejs開發(fā)經(jīng)驗更優(yōu);
如果您還具備以下技能，我們會優(yōu)先考慮:
具備網(wǎng)絡(luò)爬蟲系統(tǒng)的開發(fā)經(jīng)驗，有反爬蟲實踐經(jīng)驗;
具備機(jī)器學(xué)習(xí)框架的開發(fā)使用經(jīng)驗;
熟悉傳統(tǒng)搜索引擎的seo規(guī)則。
第6篇 資深爬蟲工程師崗位職責(zé)及職位要求
資深爬蟲工程師職位要求
1、計算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷，3年以上爬蟲相關(guān)工作經(jīng)驗；
2、對爬蟲編程有強(qiáng)烈愛好，熟練精通掌握至少1種語言java、python，在需要的情況下能快速上手新語言切換；
3、深入理解tpc/ip、http、以及web登錄認(rèn)證的機(jī)制，有成功破解復(fù)雜驗證碼的經(jīng)驗；
4、有通用分布式爬蟲系統(tǒng)架構(gòu)和開發(fā)經(jīng)驗，能快速部署新的爬蟲應(yīng)用；
5、已有2年以上網(wǎng)絡(luò)爬蟲或搜索引擎工作經(jīng)驗，參與過大規(guī)模數(shù)據(jù)爬蟲優(yōu)先考慮；
6、有app安全、逆向等領(lǐng)域的經(jīng)驗；
7、具有良好的溝通、團(tuán)隊協(xié)作、計劃能力， 有過1-2人的團(tuán)隊管理經(jīng)驗。
資深爬蟲工程師崗位職責(zé)
1、建設(shè)完善分布式爬蟲系統(tǒng)；
2、建立通用的爬蟲框架，能夠快速適應(yīng)新的爬蟲需求；
3、快速完成對目標(biāo)資源的數(shù)據(jù)抓取、處理。
第7篇 資深爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1. 參與爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā)；
2. 負(fù)責(zé)執(zhí)行和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進(jìn)行多平臺信息的抓取和分析；
3. 負(fù)責(zé)網(wǎng)頁信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺的抓取效率；
4. 參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；
5. 實時監(jiān)控爬蟲的進(jìn)度和警報反饋。
任職要求：
1. 本科以上學(xué)歷，3年以上爬蟲開發(fā)相關(guān)經(jīng)驗，熟練使用python或java進(jìn)行開發(fā)；
2. 熟練使用正則表達(dá)式、css path、_path等，能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
3. 熟練使用mysql數(shù)據(jù)庫，掌握redis、mongodb、hive等常用nosql技術(shù)并具有實戰(zhàn)經(jīng)驗；
4. 熟悉各種抓取技術(shù)，包括代理、phantomjs/selenium、驗證碼處理；
5. 熟悉整個爬蟲的設(shè)計及實現(xiàn)流程，有從事網(wǎng)絡(luò)爬蟲、網(wǎng)頁信息抽取開發(fā)經(jīng)驗，熟悉反爬蟲技術(shù)，有分布式爬蟲架構(gòu)經(jīng)驗；
6. 具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先；
7. 快速學(xué)習(xí)能力，工作積極主動，有創(chuàng)業(yè)熱情和良好的團(tuán)隊協(xié)助能力；
8. 需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗，沒有相關(guān)經(jīng)驗的勿擾。
第8篇 python爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、負(fù)責(zé)設(shè)計和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進(jìn)行多平臺信息的抓取和分析工作；
2、負(fù)責(zé)網(wǎng)頁信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺的抓取效率；
3、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；
4、實時監(jiān)控爬蟲的進(jìn)度和警報反饋。
任職要求：
1、有扎實的算法和數(shù)據(jù)結(jié)構(gòu)能力；
2、熟悉爬蟲原理，熟悉常見的反爬蟲技術(shù)，有爬蟲相關(guān)項目開發(fā)經(jīng)驗者優(yōu)先；
3、掌握http協(xié)議，熟悉html、dom、_path等常見的數(shù)據(jù)抽取技術(shù)；
4、有大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、信息提取等經(jīng)驗者優(yōu)先。
第9篇 爬蟲工程師（p6-p8)職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1.負(fù)責(zé)網(wǎng)絡(luò)爬蟲的架構(gòu)設(shè)計、開發(fā)與優(yōu)化；
2.負(fù)責(zé)抓取數(shù)據(jù)的清洗、落地、分析；
3.抓取策略算法的更新維護(hù)，以及確保數(shù)據(jù)抽取準(zhǔn)確、高效。
任職要求：
1.兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗；
2.理解 http 協(xié)議，熟悉 html、dom、_path；
3.熟悉 linu_ 開發(fā)環(huán)境，至少熟悉 python/go/java/node.js 中的一種編程語言；
4.有爬蟲、信息抽取、文本分類、大數(shù)據(jù)處理相關(guān)經(jīng)驗優(yōu)先；
5.有自然語言處理、機(jī)器學(xué)習(xí)經(jīng)驗優(yōu)先；
6.熟悉瀏覽器內(nèi)核、渲染機(jī)制優(yōu)先；
7.工作認(rèn)真，細(xì)心，有條理，積極性高；良好的溝通能力及團(tuán)隊合作精神。
第10篇 廣告爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、負(fù)責(zé)廣告素材線索和垂直類產(chǎn)品爬蟲系統(tǒng)的設(shè)計、開發(fā)
2、抓取數(shù)據(jù)的清洗、落地、分析
3、抓取策略算法的更新維護(hù)，以及確保數(shù)據(jù)抽取準(zhǔn)確、高效
任職要求：
1、具備強(qiáng)悍的編碼能力、扎實的數(shù)據(jù)結(jié)構(gòu)和算法功底
2、 熟悉tcp，http協(xié)議原理；熟悉aja_工作原理；精通python編程，熟悉一種開源爬蟲框架和源碼；
3、有爬蟲、信息抽取、文本分類、大數(shù)據(jù)處理相關(guān)經(jīng)驗優(yōu)先
4、有自然語言處理、機(jī)器學(xué)習(xí)經(jīng)驗優(yōu)先
第11篇 手機(jī)應(yīng)用爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
_ 負(fù)責(zé)設(shè)計和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)
_ 應(yīng)用多種技術(shù)對各平臺進(jìn)行數(shù)據(jù)采集
_ 設(shè)計數(shù)據(jù)采集策略，提升數(shù)據(jù)采集效率及質(zhì)量
_ 與各行業(yè)分析師溝通，分析項目的可行性和討論抓取方案。
_ 兩年以上爬蟲開發(fā)相關(guān)經(jīng)驗，本科及以上學(xué)歷，計算機(jī)相關(guān)專業(yè)為佳
_ 熟練掌握c#或java開發(fā)語言為佳
_ 了解tcp/ip，http及相關(guān)網(wǎng)絡(luò)協(xié)議
_ 熟悉js / html / _path / json / 正則表達(dá)式等網(wǎng)頁相關(guān)技術(shù)
_ 熟悉分布式、多線程、緩存、消息隊列等互聯(lián)網(wǎng)技術(shù)
_ 熟悉手機(jī)應(yīng)用的數(shù)據(jù)抓取，手機(jī)app開發(fā)經(jīng)驗，加/脫殼經(jīng)驗為佳
_ 良好的溝通技能，注重細(xì)節(jié)，抗壓性強(qiáng)
_ 良好的英語溝通技能為佳
第12篇 爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
職位誘惑：
全球項目、高薪資、高福利、國際團(tuán)隊
職位描述：
if (your_passions.includes('coding')) {
switch(your_stacks) {
case 'node.js':
case 'python':
case 'kubernetes':
case 'serverless':
console.log('join aftership');
break;
}
}
崗位職責(zé)
1、負(fù)責(zé)與不同物流公司的系統(tǒng)對接，使用各種 api 及爬蟲技巧，抓取、分析、調(diào)度、存儲數(shù)據(jù)，為公司業(yè)務(wù)提供正確穩(wěn)定的數(shù)據(jù)；
2、負(fù)責(zé)系統(tǒng)的 sla 代碼維護(hù)、秩代更新，保證任務(wù)質(zhì)量和交付及時性；
3、負(fù)責(zé)編寫相關(guān)的技術(shù)文檔、單元測試，對產(chǎn)品質(zhì)量負(fù)責(zé)。
崗位要求
1、統(tǒng)招本科及以上學(xué)歷，具備英語讀寫能力；
2、熟悉 git/github，通信協(xié)議 tcp/http 及 restful 標(biāo)準(zhǔn)；
3、一年及以上 python 爬蟲開發(fā)工作經(jīng)驗， javascript 基礎(chǔ)扎實，有 scrapy 等使用經(jīng)驗；
4、有 mysql，redis 或 mongodb 等相關(guān)數(shù)據(jù)庫使用經(jīng)驗。
加分項
1、有 ci/cd 自動化測試經(jīng)驗；
2、有使用 docker、kubernetes、aws 或 gcp 云計算經(jīng)驗；
3、有寫 blog 的習(xí)慣，活躍技術(shù)社區(qū)，參與開源項目等；
4、有代碼潔癖，對代碼精益求精，對技術(shù)有極客熱情；
5、有軟件著作權(quán)申請，有專利發(fā)明申請。
為什么加入我們
1、極客氛圍: 擁抱開源技術(shù)，實踐敏捷開發(fā)；
2、最新技術(shù): kubernetes， serverless， tensorflow， microservice；
3、特色福利: 每天下午茶，學(xué)習(xí)成長基金， 提供 macbook pro；
4、多元文化: 團(tuán)隊來自全球十幾個國家；
5、龍頭企業(yè): 海外知名企業(yè)；
6、朝陽行業(yè): b2b 企業(yè)級系統(tǒng)， 國際性 saas 平臺。
第13篇 java高級工程師（爬蟲方向）職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)
1.熟悉線程池、并發(fā)機(jī)制、鎖機(jī)制、線程安全原理；
2.java體系知識：網(wǎng)絡(luò)io、設(shè)計模式、linu_、jvm、java類加載機(jī)制、java內(nèi)存模型；
3.爬蟲經(jīng)驗：webmagic、adsl撥號、正則表達(dá)式、脫殼技術(shù)、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分布式爬蟲調(diào)度、數(shù)據(jù)質(zhì)量監(jiān)控、代理ip調(diào)度算法、配置化爬蟲、授權(quán)爬蟲、輿情、應(yīng)用市場、反爬；
4.熟悉http/http、tcp/ip、socket等通訊協(xié)議；
5.6年以上軟件開發(fā)經(jīng)驗，至少2年爬蟲開發(fā)經(jīng)驗。
任職要求
1. 采集、清洗、監(jiān)控、配置化、調(diào)度、反爬、數(shù)據(jù)爬取、分詞、檢索等數(shù)據(jù)采集研發(fā)；
2. 較強(qiáng)的邏輯思維和發(fā)散思維；
3. 計算機(jī)或相關(guān)專業(yè)本科及以上學(xué)歷。
第14篇 高級爬蟲工程師職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1、參與app爬蟲項目的架構(gòu)設(shè)計、研發(fā)工作，改進(jìn)和提升爬蟲效率；
2、攻破各種反爬策略；
3、解決各類技術(shù)疑難問題，包括網(wǎng)絡(luò)問題、app分析、反編譯等;
4、與大數(shù)據(jù)工程師對接，完成實時數(shù)據(jù)與離線數(shù)據(jù)的爬取與對接；
任職資格：
1、計算機(jī)及相關(guān)專業(yè)本科及以上學(xué)歷，兩年以上相關(guān)工作經(jīng)驗；
2、精通至少一種開發(fā)語言，如python、java；
3、熟練掌握一種開源爬蟲框架，如scrapy、webmagic，有研發(fā)爬蟲框架經(jīng)驗者優(yōu)先；
4、熟悉appium、selenium等技術(shù)；
5、善于獨(dú)立分析并解決核心問題，如javascript反爬、爬蟲策略、防屏蔽規(guī)則、app爬取、驗證碼識別技術(shù)等；
6、熟悉mysql，?mongodb，?redis，?elasticsearch等數(shù)據(jù)庫；
7、對爬蟲有濃厚的興趣，責(zé)任感強(qiáng)，有較好的交流溝通能力和團(tuán)隊合作能力；
8、有app安全、逆向等領(lǐng)域經(jīng)驗的優(yōu)先；
第15篇 python爬蟲職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
負(fù)責(zé)競品數(shù)據(jù)的抓取、分析
負(fù)責(zé)商業(yè)產(chǎn)品中的定價策略模塊(seo排名)
負(fù)責(zé)帶領(lǐng)相關(guān)同事構(gòu)建爬蟲規(guī)范，設(shè)計和開發(fā)分布式的網(wǎng)絡(luò)爬蟲應(yīng)用，進(jìn)行互聯(lián)網(wǎng)相關(guān)信息的抓取和分析；
職位要求：
1. 計算機(jī)、信息技術(shù)或相關(guān)專業(yè)本科或以上學(xué)歷；
2. 2年以上爬蟲工作經(jīng)驗、3個以上實際項目經(jīng)驗
3. 精通python開發(fā)，理解并掌握 scrapy及scrapy-redis；
4. 對采集規(guī)則，對反爬、加解密、代理等關(guān)鍵技術(shù)有深度理解
5. 熟練使用redis、mq、mongodb、mysql等常用技術(shù)
6. 有良好的合作意識和自我驅(qū)動力，能主動承擔(dān)模糊任務(wù)，抗壓能力
加分項:
1.熟悉主流搜索引擎的搜索算法
2.獨(dú)立負(fù)責(zé)項目
3.帶過團(tuán)隊
