崗位職責(zé)：1.遵循robots協(xié)議采集互聯(lián)網(wǎng)上公開的信息；2.負(fù)責(zé)采集程序和Crawlab爬蟲管理平臺的維護(hù)；3.與業(yè)務(wù)溝通抓取需求，負(fù)責(zé)數(shù)據(jù)的采集、清洗、存儲、調(diào)度等流程；4.有豐富的逆向經(jīng)驗(yàn)，能夠解決采集過程中遇到的反爬；5.優(yōu)化采集程序，提高采集效率和穩(wěn)定性。崗位要求：1.本科學(xué)歷，3年以上爬蟲工作經(jīng)驗(yàn)；2.熟練掌握python, js等語言；3.熟悉多線程編程，了解https協(xié)議；4.熟悉Crawlab或類似的爬蟲管理平臺，有豐富的爬蟲經(jīng)驗(yàn)(至少兩年)；5.熟悉redis/mongodb/PostgreSQL等數(shù)據(jù)庫的使用；了解docker等虛擬化技術(shù)，有相關(guān)項(xiàng)目部署經(jīng)驗(yàn)；6.有扎實(shí)的python基礎(chǔ)，熟練使用scrapy爬蟲框架，了解運(yùn)行原理并能解決相關(guān)問題；6.了解常見的反爬方式,包括但不限于ip限制，滑塊，驗(yàn)證碼，數(shù)據(jù)加密，請求參數(shù)加密等（有瑞數(shù)6經(jīng)驗(yàn)者優(yōu)先）。

火石創(chuàng)造創(chuàng)立于2015年8月，是現(xiàn)代產(chǎn)業(yè)數(shù)據(jù)智能服務(wù)商、中國產(chǎn)業(yè)大數(shù)據(jù)和產(chǎn)業(yè)大腦領(lǐng)域領(lǐng)先企業(yè)?，F(xiàn)已建成覆蓋九大戰(zhàn)新產(chǎn)業(yè)、41個工業(yè)門類、300+細(xì)分領(lǐng)域，積累超過550億產(chǎn)業(yè)本體數(shù)據(jù)的全球公域產(chǎn)業(yè)數(shù)據(jù)中心?；诋a(chǎn)研、數(shù)據(jù)和智能的深度融合，打造出產(chǎn)業(yè)數(shù)字底座、產(chǎn)業(yè)大腦、產(chǎn)業(yè)招商大腦、金融產(chǎn)業(yè)通、火石數(shù)鏈等核心產(chǎn)品，探索形成數(shù)據(jù)智能支撐決策智能、流程數(shù)字化實(shí)現(xiàn)多跨協(xié)同以及資源要素和企業(yè)全生命周期需求的精準(zhǔn)匹配等多條產(chǎn)業(yè)數(shù)據(jù)價值化的有效路徑。公司承建了臺州市、保定市、重慶市長壽區(qū)數(shù)字底座和多個城市、園區(qū)產(chǎn)業(yè)大腦，是北京高精尖產(chǎn)業(yè)大數(shù)據(jù)平臺、湖北科創(chuàng)企業(yè)智慧大腦、浙江省生物醫(yī)藥產(chǎn)業(yè)大腦、長壽區(qū)數(shù)字底座、張江科學(xué)城產(chǎn)業(yè)大腦等標(biāo)志性項(xiàng)目的建設(shè)和運(yùn)營方，助力產(chǎn)業(yè)高質(zhì)量發(fā)展、加速新型工業(yè)化。迄今，已為全國28個省(區(qū)、市)、80多個城市、300多個園區(qū)、數(shù)百家數(shù)產(chǎn)集團(tuán)及金融機(jī)構(gòu)、數(shù)萬家企業(yè)提供產(chǎn)業(yè)數(shù)據(jù)和場景應(yīng)用服務(wù)，核心產(chǎn)品與解決方案深受客戶與合作伙伴好評。此外，還構(gòu)建起產(chǎn)業(yè)數(shù)據(jù)資產(chǎn)五級標(biāo)準(zhǔn)和增值運(yùn)營生態(tài)，加快實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)構(gòu)建和價值化閉環(huán)。公司總部在杭州，在北京、上海、成都、重慶、深圳等地設(shè)有子公司，組建了一支IT、數(shù)據(jù)技術(shù)、產(chǎn)業(yè)經(jīng)濟(jì)學(xué)和行業(yè)領(lǐng)域?qū)＜铱缃鐝?fù)合型團(tuán)隊，持續(xù)構(gòu)建業(yè)界領(lǐng)先的生成式產(chǎn)業(yè)經(jīng)濟(jì)大模型能力及研發(fā)體系，涵蓋自然語言處理、知識圖譜關(guān)系挖掘、決策智能、智能內(nèi)容生成等關(guān)鍵技術(shù)領(lǐng)域，以“人工智能+”引領(lǐng)產(chǎn)業(yè)升級。公司擁有自主知識產(chǎn)權(quán)150多項(xiàng)，其中國家發(fā)明專利近50項(xiàng)，為省重點(diǎn)研發(fā)計劃項(xiàng)目入選單位。已通過國家高新技術(shù)企業(yè)、產(chǎn)業(yè)大腦省級研發(fā)中心、省民營企業(yè)數(shù)字化轉(zhuǎn)型促進(jìn)中心、產(chǎn)業(yè)大數(shù)據(jù)工程研究中心、產(chǎn)業(yè)數(shù)字化服務(wù)商、大數(shù)據(jù)示范企業(yè)、專精特新中小企業(yè)等認(rèn)定，以及數(shù)據(jù)安全管理能力國家級認(rèn)證，是產(chǎn)業(yè)大數(shù)據(jù)行業(yè)首家獲證單位。