AI智能視頻行為分析算法中間件系統(tǒng)
日期:2020/12/24 20:46:41 / 閱讀: / 來源:本站
深圳融合永道科技AI智能視頻行為分析算法中間件系統(tǒng)提供200種AI行業(yè)垂直應(yīng)用對象檢測算法,和50種應(yīng)用規(guī)則,可自由組織算法規(guī)則,通過API接入到您的集成化管理平臺(tái),用于道路交通安全、智慧工地、校園安全、港口、石油石化、監(jiān)獄、雪亮工程、明廚亮灶、智慧園區(qū)等領(lǐng)域。
一.概述
1.1 背景
人工智能大時(shí)代背景下,視頻應(yīng)用領(lǐng)域相關(guān)的行業(yè)應(yīng)用方式已經(jīng)發(fā)生了深刻的變化,各論安防監(jiān)控還是各類垂直行業(yè)視頻應(yīng)用,都需要AI視覺分析與識(shí)別技術(shù)助力,而且需求廣泛而迫切。在應(yīng)用層面,以AI分析識(shí)別技術(shù)為核心,集傳統(tǒng)視頻監(jiān)控和行業(yè)相應(yīng)傳感器/預(yù)警等設(shè)備一并接入管理并相互聯(lián)動(dòng)的一體化綜合管理成了剛性應(yīng)用需求,由此,深圳融合永道科技有限公司早在2012年就已以此方向,研發(fā)新一代AI智能視頻平臺(tái)算法基礎(chǔ)框架及中間件服務(wù)軟件,深挖行業(yè)需求,響應(yīng)時(shí)代號(hào)角,向AI領(lǐng)域進(jìn)軍。
1.2 目標(biāo)
本平臺(tái)在我司AI-MIS分析識(shí)別算法中間件為核心的技術(shù)框架下,以AI人工智能機(jī)器視覺技術(shù)為支撐,以AI視頻應(yīng)用為核心,把實(shí)現(xiàn)客戶需求為目標(biāo)。細(xì)化應(yīng)用規(guī)則,在良好的橫向業(yè)務(wù)應(yīng)用規(guī)則擴(kuò)展支持的同時(shí),又重視縱向的技術(shù)深度化研發(fā)。持續(xù)研發(fā)適配更多的場景業(yè)務(wù),為社會(huì)治安治理、保障安全生產(chǎn)提供有力的技術(shù)手段。
二.系統(tǒng)架構(gòu)
2.1 系統(tǒng)網(wǎng)絡(luò)拓樸圖
2.1.1 局域網(wǎng)模式典型應(yīng)用
備注: 本模式為局域網(wǎng)環(huán)境下典型應(yīng)用,所有設(shè)備都接入在同一個(gè)局域網(wǎng)下,AI系統(tǒng)服務(wù)器可以接入各式各品牌的網(wǎng)絡(luò)攝像頭和硬盤錄像機(jī),也可以對接一些報(bào)警設(shè)備和傳感器設(shè)行。
客戶端管理電腦登錄連接主服務(wù)器,在客戶端軟件用戶界面統(tǒng)一管理系統(tǒng)。
一臺(tái)主AI服務(wù)器支持接入多臺(tái)從AI服務(wù)器,實(shí)現(xiàn)堆疊接入管理,便于系統(tǒng)擴(kuò)容。
2.1.2
2.2 AI-MIS算法中間件
2.2.1 AI-MIS算法中間件簡介
AI-MIS采用人工智能機(jī)器視覺“深度學(xué)習(xí)”技術(shù)底層架構(gòu),結(jié)合應(yīng)用級算法,采用組件化設(shè)計(jì),方便擴(kuò)展算法類型,同時(shí)具備強(qiáng)大的樣本處理能力,樣本自動(dòng)化生產(chǎn)標(biāo)簽?zāi)芰Γ梢愿咝а邪l(fā)新算法組件。
2.2.2 算法模塊
序號(hào) |
名稱 |
備注 |
1 |
對象類別識(shí)別能力 |
人,跌倒的人,吸煙,眼鏡,背包,安全帶,反光衣,帽子,廚師帽,安全帽,手機(jī),口罩,手提包,路面坑洞,蒙面,人臉正面,人臉側(cè)面,舉手,持刀,持槍,持棍,小汽車,自行車,摩托車,面包車,大客車,中巴車,火車,出租車標(biāo)志,挖掘機(jī),自卸貨車,灌式貨車,貨柜車,渣土車,飛機(jī),風(fēng)箏,狗,貓,牛,馬,鳥,老鼠,蟑螂,壁虎,行李箱,打包箱,手,三輪車,輪椅,火,煙柱,蛇 |
2 |
拌線探測 |
本算法規(guī)則在視頻內(nèi)劃線,指定布控對象類別,系統(tǒng)檢測當(dāng)布控對象經(jīng)過線條時(shí),觸發(fā)抓拍事件;對象長時(shí)間停留在線條上,則每隔N秒后觸發(fā)一次抓拍事件,由用戶指定檢測哪一種對象或多個(gè)對類別 本算法規(guī)則通常應(yīng)用于檢測某種對象經(jīng)過,如人員越界,車輛進(jìn)出, 動(dòng)物出入等。
|
3. |
AB線探測 |
本算法規(guī)則在視頻內(nèi)劃兩條線,指定布控對象類別,系統(tǒng)檢測當(dāng)布控對象經(jīng)過A線條再經(jīng)過B線條時(shí),觸發(fā)抓拍事件;反之則不觸發(fā) 本算法規(guī)則通常應(yīng)用移動(dòng)方向要求的某種對象經(jīng)過,如人員越界,車輛進(jìn)出, 動(dòng)物出入等。
|
4 |
對象滯留偵測 |
本算法規(guī)則在視頻內(nèi)繪制一個(gè)矩形或多邊形布控區(qū)域,設(shè)定某種對象長時(shí)間滯留在布控區(qū)域內(nèi)(設(shè)定超過指定的N秒后),產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于周界預(yù)警,車輛違停,人員排徊 |
5 |
區(qū)域入侵偵測 |
本算法規(guī)則在視頻內(nèi)繪制一個(gè)矩形或多邊形布控區(qū)域,指定某種對象經(jīng)過布控區(qū)域內(nèi),跟蹤并產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于周界預(yù)警 |
6 |
對象移走探測 |
本算法規(guī)則在視頻內(nèi)繪制一個(gè)矩形或多邊形布控區(qū)域,設(shè)定必須有某種對象存在于布控區(qū)域內(nèi),如果在設(shè)置的時(shí)間范求沒有檢測到該對象,則產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于保安離崗或衛(wèi)兵離崗、貴重物品看護(hù) |
7 |
進(jìn)入AB區(qū)域探測 |
本算法規(guī)則在視頻內(nèi)繪制兩個(gè)區(qū)域,指定布控對象類別,系統(tǒng)檢測當(dāng)布控對象經(jīng)過A區(qū)再經(jīng)過B區(qū)時(shí),觸發(fā)抓拍事件;反之則不觸發(fā) 本算法規(guī)則通常應(yīng)用移動(dòng)方向要求的某種對象經(jīng)過,如人員越界,車輛違規(guī)變道,不按方向行駛等。 |
8 |
人群聚集探測 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,設(shè)置區(qū)域內(nèi)人數(shù)超過N人時(shí),產(chǎn)生人群聚集抓拍事件 |
9 |
車輛擁堵探測 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,設(shè)置區(qū)域內(nèi)車輛數(shù)量超過N時(shí),產(chǎn)生車輛擁堵抓拍事件 |
10 |
區(qū)域人流統(tǒng)計(jì) |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,跟蹤進(jìn)入?yún)^(qū)域的人員,當(dāng)人員離開區(qū)域時(shí)產(chǎn)生一次抓拍記數(shù)事件 本算法規(guī)則應(yīng)用于區(qū)域性人數(shù)統(tǒng)計(jì)
|
11 |
有人跌倒 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,跟蹤進(jìn)入?yún)^(qū)域的人員,當(dāng)人員在區(qū)域內(nèi)跌倒時(shí)產(chǎn)生一次抓拍事件 本算法規(guī)則通常應(yīng)用于敬老院或社區(qū)看護(hù)老人是否跌倒預(yù)警。 |
12 |
對象靜止探測【警門睡崗】 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,跟蹤進(jìn)入?yún)^(qū)域的人員,當(dāng)人員處于靜止?fàn)顟B(tài)時(shí)產(chǎn)生一次抓拍事件 本算法規(guī)則通常應(yīng)用于識(shí)別警/門衛(wèi)是否正在睡覺的行為 |
13 |
煙火探測 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)產(chǎn)生火苗或煙柱時(shí)產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于消防安全場所 |
14 |
打電話 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員打電話時(shí)產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于石油化工,防止打電話時(shí)的無線電流觸發(fā)火災(zāi); 另外防止一些安全生產(chǎn)區(qū)域,防止員工因打電話造成安全事故
|
15 |
未戴安全帽識(shí)別 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員未戴安全帽時(shí)產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于工地、安全生產(chǎn)車間,防止員工戴安全帽,以免引發(fā)安全事故 |
16 |
對象快速移動(dòng)探測 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員快速移動(dòng)時(shí)產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于監(jiān)獄,當(dāng)有人快速移動(dòng)時(shí),及時(shí)預(yù)警 |
17 |
黑名單人臉識(shí)別預(yù)警 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員是否為黑名單人員,如果為黑名單人員則產(chǎn)生抓拍事件,及時(shí)預(yù)警通知安全人員處置等 本算法規(guī)則通常應(yīng)用于單位或社區(qū),或公安布控,及時(shí)發(fā)現(xiàn)黑名單人員便于工作人員及時(shí)處置 |
18 |
人車識(shí)別跟蹤 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,跟蹤識(shí)別進(jìn)入?yún)^(qū)域內(nèi)的人員(人臉識(shí)別)和車輛(車牌識(shí)別),產(chǎn)生抓拍事件 本算法規(guī)則應(yīng)用多攝像頭人員或車輛跨鏡軌跡跟蹤 |
19 |
出入人流計(jì)數(shù) |
本算法規(guī)則是在視頻內(nèi)繪制兩條線,即A線和B線,當(dāng)人員從A線再到B線時(shí),觸發(fā)一次人流計(jì)數(shù)抓拍事件,通常應(yīng)用于具有方向性的人流計(jì)數(shù)統(tǒng)計(jì)場所 |
20 |
未戴手套識(shí)別 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員未戴手套時(shí)產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于需要戴手套的工作場景,防止員工不戴手套,以免影響衛(wèi)生或其它安全事件 |
21 |
吸煙識(shí)別 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員吸煙時(shí)產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于消防安全場所 |
22 |
有人持刀識(shí)別 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員有人持刀時(shí)產(chǎn)生抓拍事件,及時(shí)預(yù)警 本算法規(guī)則通常應(yīng)用于校園安全監(jiān)控 |
23 |
未戴口罩識(shí)別 |
本算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員未戴口罩時(shí)產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于廚房或其它需要戴口罩的工作場景,防止員工不戴口罩,以免影響廚房衛(wèi)生或其它安全事件 |
24 |
未戴廚師帽識(shí)別 |
算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員未戴廚師帽時(shí)產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于廚房工作場景,防止員工不戴廚師帽,以免影響廚房衛(wèi)生環(huán)境 |
25 |
外來人員人臉識(shí)別 |
算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員不是內(nèi)部人員時(shí)產(chǎn)生抓拍事件 本算法規(guī)則通常應(yīng)用于單位或社區(qū),防止閑雜人員進(jìn)入 |
26 |
白名單人臉識(shí)別 |
算法規(guī)則在視頻內(nèi)繪制區(qū)域,識(shí)別布控區(qū)域內(nèi)人員是否為內(nèi)部人員,如果為內(nèi)部人員則出入口通行放行、聯(lián)動(dòng)開門、考勤記錄、會(huì)議簽到等 本算法規(guī)則通常應(yīng)用于單位或社區(qū),防止閑雜人員進(jìn)入 |
27 |
打架行為識(shí)別 |
本算法規(guī)則支持識(shí)別有人打架行為,及時(shí)預(yù)警 |
28 |
未穿反光衣識(shí)別 |
檢測人員是否穿反光衣,或同行人中是否有人穿反光衣 |
29 |
未戴安全帶識(shí)別 |
檢測人員是否未戴安全帶 |
30 |
石油石化工人工服識(shí)別 |
檢測人員是否有穿工裝,目前只支持中石油中石化工人工服識(shí)別 |
31 |
騎車不戴頭盔 |
支持檢測騎自行車、電動(dòng)車、三輪車的人員未戴頭盔 |
32 |
舉手求救 |
支持檢測人員舉手方式發(fā)出求救信號(hào) |
33 |
貨車違規(guī)載人 |
支持檢測各類貨車違規(guī)載人,或家用三輪車載人抓拍 |
34 |
車牌識(shí)別 |
支持普通汽車藍(lán)牌、黃牌、新能源汽車大小型綠牌、軍牌、武警牌、使館牌、港澳牌; 電動(dòng)自行車摩托車白牌/黃牌/藍(lán)牌識(shí)別,可視效果佳的場景識(shí)別率超過99.99% |
2.2.3 算法定制能力
AI-MIS中間件采用組件化架構(gòu),因此具有強(qiáng)大的可擴(kuò)展性,完備的生產(chǎn)工具組件,使得AI-MIS中間件可以支持快速的定制新業(yè)務(wù)算法,在不需要太多改動(dòng)上層業(yè)務(wù)代碼的情況下,高效的研發(fā)和訓(xùn)練生產(chǎn)新型算法規(guī)則。
2.3 系統(tǒng)環(huán)境說明
本系統(tǒng)采用跨平臺(tái)主式編寫底層算法,和上層應(yīng)用軟件,理論上可以適配支持任何操作系統(tǒng),目前經(jīng)過測試的操作系統(tǒng)為ubuntu 18.04 和Windows 7/8/10/12/16 ,本系統(tǒng)數(shù)據(jù)庫為了更好的適配算法,提高查詢速度和大數(shù)據(jù)存儲(chǔ),采用了自研數(shù)據(jù)庫 AIDB。
三.功能模塊
3.1 實(shí)時(shí)預(yù)覽
3.1.1 AI通道實(shí)時(shí)預(yù)覽
客戶端預(yù)覽功能界面,支持實(shí)時(shí)預(yù)覽AI節(jié)點(diǎn)通道實(shí)時(shí)視頻,該視頻帶有分析疊加效果,支持云臺(tái)控制、支持預(yù)置位管理、捕圖、畫面雙擊放大、全屏等操作。
3.1.2 監(jiān)控通道實(shí)時(shí)預(yù)覽
客戶端預(yù)覽功能界面,支持實(shí)時(shí)預(yù)覽監(jiān)控?cái)z像頭節(jié)點(diǎn)通道實(shí)時(shí)視頻,該視頻不帶有分析疊加效果,支持云臺(tái)控制、支持預(yù)置位管理、捕圖、畫面雙擊放大、全屏等操作。
3.1.3 視圖管理
在客戶端預(yù)覽功能界面內(nèi),支持將已經(jīng)打開的視頻保存為視圖模板,支持創(chuàng)建9999個(gè)視圖,可以設(shè)定客戶端啟動(dòng)后自動(dòng)加載模板。
3.1.4 云臺(tái)控制
在客戶端預(yù)覽功能界面內(nèi),支持將已經(jīng)打開的視頻進(jìn)行云臺(tái)操作,默認(rèn)支持向左、向左、向上、向上、左上、右上、左下、右下、拉遠(yuǎn)、拉近、轉(zhuǎn)到預(yù)置位等操作,支持創(chuàng)建自動(dòng)定時(shí)執(zhí)行預(yù)置位計(jì)劃。
3.2 數(shù)據(jù)查詢
客戶端具有數(shù)據(jù)查詢功能界面,支持選中某個(gè)通道、事件類型、時(shí)間范圍查詢系統(tǒng)智能抓拍通道產(chǎn)生的報(bào)警抓拍數(shù)據(jù),支持將查詢到的數(shù)據(jù)(含圖片)下載到客戶端 本地磁盤。
3.3 統(tǒng)計(jì)分析
系統(tǒng)內(nèi)器海量統(tǒng)計(jì)分析模塊,自動(dòng)計(jì)數(shù)每一種事件類型數(shù)據(jù),統(tǒng)計(jì)粒度最小單位為小時(shí),支持按每日、月、年、時(shí)間段、通道等方式快速查詢統(tǒng)計(jì)數(shù)據(jù)。
3.4 檔案管理
系統(tǒng)支持人員檔案管理和車牌檔案管理,人員檔案管理主要應(yīng)用人臉識(shí)別黑白名單和訪客管理應(yīng)用,黑名單人員主要應(yīng)用于人臉識(shí)別發(fā)現(xiàn)黑名單人員預(yù)警,白名單人員主要應(yīng)用于單位內(nèi)部人員出入口通行管理、考勤和會(huì)議簽到管理。
車輛與號(hào)牌管理主要應(yīng)用于出入口車輛通行管理(不涉及收費(fèi))。
3.5 系統(tǒng)配置
在系統(tǒng)配置功能模塊內(nèi),管理員用戶可以操作設(shè)置如下功能:
AI通道相應(yīng)的攝像頭及分析識(shí)別算法應(yīng)用規(guī)則
監(jiān)控通道相應(yīng)的攝像頭,及設(shè)置是否錄像等
上傳第三方平臺(tái)http協(xié)議配置
聯(lián)動(dòng)郵件發(fā)送配置
系統(tǒng)維護(hù)操作(系統(tǒng)重啟、時(shí)間同步)
3.6 二次開發(fā)
本系統(tǒng)提從如下二次開發(fā)協(xié)議接口:
l 第三方Http 請求協(xié)議 ,由用戶向本系統(tǒng)發(fā)起http post請求響應(yīng)操作,系統(tǒng)接收到命令后,執(zhí)行相應(yīng)的操作,主要包含:請求系統(tǒng)通道列表,查詢通道的抓拍事件記錄,拉取圖片,添加人員(人臉),查詢?nèi)藛T,刪除人員,檢測人臉,檢測對象等接口
l 系統(tǒng)主動(dòng)上傳抓拍事件Http協(xié)議, 由用戶在系統(tǒng)配置添加第三方接收ip地址和端口信息,系統(tǒng)將抓拍事件記錄實(shí)時(shí)上傳到此第三方ip地址端口,具體協(xié)議請查閱相應(yīng)的文檔
l Socket方式實(shí)時(shí)視頻傳輸和抓拍事件實(shí)時(shí)接收協(xié)議, 系統(tǒng)由通過Socket TCP通訊方式向系統(tǒng)拉取視頻流(含分析疊加信息)、訂閱接收報(bào)警事件,詳情可查閱對應(yīng)的DEMO程序。
四.系統(tǒng)性能參數(shù)
序號(hào) |
項(xiàng)目 |
備注 |
|
1 |
系統(tǒng)用戶數(shù) |
最大支持9999個(gè)用戶同時(shí)在線 |
|
2 |
事件記錄最大數(shù)量 |
最大支持1024億條記錄存儲(chǔ),查詢響應(yīng)速度不高于3秒 |
|
3 |
AI服務(wù)器堆疊數(shù)量 |
支持1024臺(tái)AI服務(wù)器 |
|
4 |
監(jiān)控?cái)z像頭接入數(shù)量 |
最大支持900000個(gè)監(jiān)控?cái)z像頭 |
|
5 |
抓拍事件接收時(shí)間 |
少于1秒 |
|
6 |
單個(gè)AI通道疊加分析規(guī)則數(shù)量 |
最大可同時(shí)添加16個(gè)算法同時(shí)運(yùn)算 |
|
7 |
|
|
|
飛機(jī)到港檢測
AI加速的視頻流車牌識(shí)別
煙火識(shí)別檢測
打電話檢測
騎車不戴頭盔檢測
作者:admin
推薦內(nèi)容 Recommended
最新資訊 Latest
- 我司AIBOX發(fā)布日文版 02-07
- 我司AIBOX發(fā)布韓文版 11-18
- 深圳市垃級分類督導(dǎo)大量使用我司… 08-15
- 上海市垃級分類督導(dǎo)大量使用我司… 08-15
- 接收小視頻錄像文件和圖片算法分… 08-15