職責(zé)描述：
1、設(shè)計(jì)工商和金融類的主流網(wǎng)站反扒解決方案
2、負(fù)責(zé)分布式爬蟲系統(tǒng)的核心技術(shù)研究、架構(gòu)設(shè)計(jì)和落地指導(dǎo)
3、負(fù)責(zé)爬蟲算法的策略優(yōu)化，提升網(wǎng)頁抓取的效率和動(dòng)態(tài)增量更新
任職要求：
1、計(jì)算機(jī)相關(guān)專業(yè)，三年以上網(wǎng)頁，APP和微博類爬取等相關(guān)工作經(jīng)驗(yàn)優(yōu)先
2、熟悉反爬機(jī)制，有能力解決圖片驗(yàn)證碼、IP訪問限制和增量更新問題。
3、負(fù)責(zé)指導(dǎo)爬蟲工程師進(jìn)行技術(shù)驗(yàn)證，核心技術(shù)問題的攻關(guān)，解決爬取過程中的難題
4、熟悉MongoDB、Mysql、Oracle等數(shù)據(jù)庫操作，具有數(shù)據(jù)庫應(yīng)用軟件的開發(fā)經(jīng)驗(yàn)
5、熟悉JAVA，Python等語言，掌握爬蟲框架（如Scrapy，WebMagic）的設(shè)計(jì)和優(yōu)化
6、熟悉網(wǎng)絡(luò)編程和多線程機(jī)制，具有http網(wǎng)絡(luò)編程項(xiàng)目經(jīng)驗(yàn)
7、邏輯思維嚴(yán)謹(jǐn)，具有良好的溝通能力和團(tuán)隊(duì)協(xié)作精神

北京知因智慧數(shù)據(jù)科技有限公司，是一家致力于行業(yè)大數(shù)據(jù)和知識(shí)圖譜的金融科技企業(yè)。即利用機(jī)器學(xué)習(xí)和知識(shí)圖譜技術(shù)，結(jié)合金融行業(yè)咨詢經(jīng)驗(yàn)，為金融企業(yè)的風(fēng)險(xiǎn)管理、精準(zhǔn)營(yíng)銷、客戶價(jià)值、供應(yīng)鏈金融等領(lǐng)域提供全新的數(shù)據(jù)服務(wù)和產(chǎn)品運(yùn)營(yíng)。
知因智慧，是IBM和中國(guó)科學(xué)院大數(shù)據(jù)團(tuán)隊(duì)的跨界融合，創(chuàng)始人是中國(guó)最早一批從事金融大數(shù)據(jù)挖掘，利用知識(shí)圖譜分析企業(yè)風(fēng)險(xiǎn)的專家團(tuán)隊(duì)。此外，知因智慧的團(tuán)隊(duì)來自咨詢公司金融領(lǐng)域?qū)＜?，長(zhǎng)期服務(wù)于銀監(jiān)會(huì)、央行、工商銀行、建設(shè)銀行、中國(guó)銀行、國(guó)家開發(fā)銀行、交通銀行、中信銀行等各大金融機(jī)構(gòu)，具有豐富大數(shù)據(jù)分析背景和金融行業(yè)的服務(wù)經(jīng)驗(yàn)，將在中國(guó)提供具有高水準(zhǔn)的數(shù)據(jù)服務(wù)。
　早在2006年，知因智慧的創(chuàng)始團(tuán)隊(duì)即在中國(guó)銀監(jiān)會(huì)利用中國(guó)最大的十九家銀行的跨行客戶信貸數(shù)據(jù)，分析集團(tuán)客戶、信貸客戶的企業(yè)關(guān)系圖譜，并研發(fā)了中國(guó)第一個(gè)該領(lǐng)域的模型——OSCAR客戶風(fēng)險(xiǎn)預(yù)警模型，成功應(yīng)用于我國(guó)監(jiān)管機(jī)構(gòu)，并推廣至眾多大型國(guó)有銀行、股份制銀行、城市商業(yè)銀行，取得了巨大經(jīng)濟(jì)效益。