2021青海安博hui

企讯案li专题专栏ping测jiao点市chang时事fangtan智慧jia居

技术交流2021年02月23日 11:10lai源:宇shike技
  随着大数据ping台簍uひ祷チ男藂i,ping台需要在大数据架构下为数据资源zhong心与外部数据系统提gongfu务,数据zhong心需要接入更多类xing的数据。dan在实約hiτ昧煊颍低硓hong产生的数据gezi存chu、gezi定义,无法做礿iao蚕斫换恍璽ong,“数据gu岛”现象逐渐显现,zhu要原因有以下三点:
 
  1.ge部men分工明确,且ge部men都hui有业务数据产生,需要对这些数据进行存chu和使用,不tong部men对数据的定义和使用差异较大,所以数据不能互通。
 
  2.ge系蚦hi甹ian无法做到多wei数据的碰撞,无法提gao数据价值。
 
  3.没觴ing骋槐曜迹薹ㄗ龅絰in息系统建设的统一性。
 
  所以数据治li、让数据流dongqi纁hu⑻醙ao数据价值密度shi未lai大数据技术的zhong要发zhan趋shi。
 
  一、数据治li的定义
 
  数据治li(Data Govemance)shizu织zhong设计数据使用的一整tao管li行为。you企业数据治li部men发qi并tui行,关于如何制定和实时针对整ge企业内部数据的shang业应用和技术管li的一系列政策和流程。安防领域的数据治li就shi具备数据采集、整合、处li、治li能力,tong时统一标准和口径,gei实时性要求较gao的业务应用提gong数据支撑,并能实现安全防hu、运wei保障等一系列能力的数据ping台,ye就shi所蝚iang氖輟hong台。zhong台最zaoshiyoua里在2015年提chu的“大zhong台、小前台”战略zhong褃ou靋hulai的gai念,从字面意思shanglijie,zhong台shi基于前台和后台之jian。
 
  二、数据zhong台可以jie决的问题
 
  you于ge用户之jian的需求全ran不tong,为了积极响应用户需求的变化,发zhan新业务、提gong新fu务,这就gei前端业务软件提chu了新的挑战,必须做到快速响应。业务要想做到类xing多样又ling活,必定需要后台数据ping台统一标准架构的支撑。前端业务变化无chang,后台为了支撑前台越lai越多的业务,后台不duan建设,系统不duanpang大,所以后台系统需要稳定,不能随意gaidong,liang者之jian必ran存在矛盾冲突。
 
  随譸ai笠倒婺5睦┐螅瑉u织架构和cengji扩张,ge产pin线、事业部之jian形成部men墙、业务墙、数据墙,使得可以快速提gong的业务无法快速拿chufang案,hao费大量成ben,原ben可以共用的接口和fu务被不tong部menzhong竎i迪帧0卜佬幸荡笫輕ing台底ceng架构大tong小异,差异ye就shi开源zu件的多箈uan6鎧heng使企业具有核心竞争力的shi产pin和fu务形态,ye就shi为用户jie决了哪些问题,提升了多shao工zuo效率,以ji实现数据ping台内部zu件之jian和zhou边系统ji业务流程shang的联通。
 
  数据zhong台chu蟴hong埃笫輕ing台提gongfu务的fang式可能shi这样的:比如为了实现数据接入和查询的基bengong能,you于数据接入和查询fang不shu悉HBase提gong的API,大数据开发就hui在HBase提gong的API之shang封装一cengSDK接口提gonggei数据接入和查询fang。为了提升接口调用的安全性可能还hui做一些权限管li之类的工zuo,you此lai屏蔽一些gao风xian的操zuo。dan数据接入和查询fang需要先了jie大数据内部HBase的表结构、字段定义等底cengxin息cai能很好地运用这geSDK。再比如要实现一ge褁in腥挝瘢笫輕ing台需要提gong任务的增删查接口和褁in薪峁牟檠涌冢枰岸丝⑷范êmei涌诘娜氩魏蚦hu参。此gong能的实蟴hong枰猦ao费很多人力成ben。而数据zhong台极大程度减shao了用户对底ceng系统了jie的必要性,jiang低了业务开发的men槛。数据zhong台提gong了一整tao完整的jie决fang案,把业务流程实现抛gei业务软件去kao虑和实现。
 
  三、数据zhong台的架构
 
  数据zhong台zhu要包括设施ceng、fu务ceng、数据ceng以ji应用ceng。设施cengshi为感知前端、计算、存chu、网络资源提gong基chu环綾hihi;fu务ceng的shi频联网共享fu务和数据ceng的shi频接入、处li等shiping台的核心gong能,fu务ceng的shi频图像分析fu务实现了shi频图像jie析系统zhongxin息分析能力的fu务化,shishi频图像智能化建设应用的关键fu务;数据ceng的数据接入、数据治li和数据fu务shi按誾han舶踩笫荽i的技术要求对shi频图像xin息数据库gong能进行扩zhan,为shi频图像智能化建设应用提gongshi频图像数据fu务能力;应用ceng对多ping台应用gong能进行了归纳梳li,在充分保hu数据安全和ge人隐薺iang那疤嵯拢玫芈鉭e部menshi频图像智能化应用的需要。
 
  数据fu务ping台zhu要包括数据fu务ceng、数据开发tao件、数据处liceng以ji数据源ceng四大板块。而数据应用软件ye就shi前端客户端的业务cheng现。数据ping台gei业务软件开发者提gong了离线、实时祄u⒐ぞ咭詊i任务管li、代码发布、运wei、告警等一系列的集成工具,fangbian使用,提升其工zuo效率。
 
  1.数据fu务cengzhu要shi跟前端业务软件进行交互,提gong多zhong通用业务接口,包括JDBC、REST以ji订阅/tui送,业务软件可以通过多条复杂的SQL语句实现用户需求,并且接口的调用要做到fu载均衡,保证后台的稳定性。
 
  2.跟数据fu务ceng并行的shi数据开发tao件,包括zuo业编辑、版ben控制、业务验证、数据譻hi⑷挝窆躭i以ji用户管li。zuo业编辑就shi业务开发软件可以通过窗口实现业务需求的工zuo流(zuo业);通过版ben控制可以保留多ge调试版ben的工zuo流(zuo业);业务验证提gong了ji时业务运行验证的gong能,提gong运行结果的查看gong能;数据譻hi鷖hi指有价值的数据,包括数据地图、元数据管li、数据血缘、数据生mingzhou期等管li和zhanshi,更加直观地zhan现数据譻hi蝗挝窆躭iji工zuo流(zuo业)的调度管li(Workflow Scheduler),fu责底ceng物li资源的分配管li和zuo业的启dong时jian点,确保工zuo流(zuo业)可以按照既定的襩an倒叵底既穓i时地执行;用户管lishi保证数据的安全性,防止误操zuo,shi贯穿整ge数据ping台较为核心的部分,zhu要实现用户、表、权限的分ceng管li和全lian路数据的权限控制。
 
  3.数据处licengshi为了提gongshangceng的数据开发tao件而依托祄u磟u件框架和zuo业调度框架,如oozie、azkaban、chronos、zeus等。离线计算就shi实现一些实时性要求不gao的褁in幸滴瘢热鐂park、Hive等,而像Flink、Flume、SparkStreaming等可以提gong流式计算,实时性要求更gao,zhu如车liang、人员的布控业务等。SQL分析yinqing实现了shangcengSQL交互式查询yinqing与底ceng开源框架之jianSQL语法的jie析与执行。
 
  4.数据源ceng,ji数据存chuceng。为了蕇hihangceng不tong的业务需求,底ceng数据存chu祄u磟u件yeshifeng富多样的,zhu要包括MPP数据库、搜suoyinqing、NoSQL数据库(如HBase)、关系xing数据库(RDBMS)、分布式文件存chu以ji消息队列等等,和数据ceng存在jin密的关系。
 
  数据ceng包括数据接入、数据治li和数据fu务。通过对shi频图像数据进行智能处li,从zhong获取有价值的xin息,从而实现shi频图像数据的生mingzhou期管li,对外提gongshi频图像的数据管li与fu务能力。
 
  数据接入根据接入数据zhong类的不tong可以分为shi频流接入、图像数据接入以ji物联数据接入。shi频流接入shi指shi频流的接入,包括实时shi频流接入和历史shi频录像接入;图像数据接入shi指人员、车liang、物pin以ji事件等图像相关数据的接入,包括图片、特征值ji结构化xin息;物联数据接入shi指除shi频流和图像数据外的其他传感器接入的数据,如MAC、RFID、IMSI、IMEI等数据的接入。
 
  四、如何进行数据治li
 
  数据治lishi指针对接入的ge类shi频图像数据,根据业务需要进行加工处li,从而提升数据的使用价值,满足用户的不tong需求。数据治li还有助于提升业务的稳定性,进而jian接提升数据zheng确性的fu务建设。
 
  数据治lizhu要包括收集xin息、数据清蟘hu⑹莨亓⑹莼豻ian等gong能。收集xin息shi指对元数据xin息的收集jizhanshi。对数据开发ping台lai说,元数据zhu要包括:1.数据的表结构Schemaxin息。收集表结构xin息shi从ping台管li和业务需求的jiao度kao虑如何整li簍u槟墒荩琭angbian系统集成,实现最zhong的业务价值;2.处于安全和运weijiao度,还需收集数据的统计xin息,包括存chu空jian、读写记录、权限归shu等;3.数据血缘关系xin息,直bai地说就shi数据从哪里lai到哪里去。收集数据血缘关系xin息shi为了帮助业务软件ceng更好地pai查数据lian路zhong哪ge籪ang赾hu现了问题。数据清洗shi指对shi频图像数据进行数据过滤、去zhong、格式转换、校验等操zuo,生成满足标准ji质量要求的shi频图像数据。数据关联shi指根据shi频图像数据的关联规则或算法,将shi频图像数据簍ui渌萁泄亓J莼豻ianshi使标准化数据表zhong空que字段值通过数据关联得到zheng确的值,通过tian充对应空que字段值lai提升数据完整度。
 
  数据fu务shi指基于接入和治li后的数据,为shi频图像应用提gong的数据fu务能力,zhu要包括查询检suo、比对订阅、模xing分析、数据tui送、数据鉴权、数据操zuo以ji数据管li等。
 
  基于以shang数据ceng和fu务ceng的处li,yidong端、Web端、客户端等cai能应对多样的用户需求,提gongfeng富的业务应用,比如以图搜图、多wei碰撞等业务,从而提升ge项公共安全工zuo的能力和水ping。

100%; color: rgb(51, 51, 51); font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; font-size: 17px; letter-spacing: 0.544px; text-align: justify; box-sizing: border-box !important; overflow-wrap: break-word !important;">100%; box-sizing: border-box !important; word-wrap: break-word !important; font-size: 14px; font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;">文100%; color: rgb(51, 51, 51); letter-spacing: 0.544px; text-align: justify; font-size: 14px; font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; box-sizing: border-box !important; overflow-wrap: break-word !important;"> / 陈培琴 浙江宇shike技有限公si
@安防zhanlan网AFzhan

扫一扫,官fang微博互dong多

微xin号:AFzhan

扫一扫,安防裠uan⒕∈昭鄣

点ji这里gei我发消息 全年征gao / 资讯合zuo 联系邮箱:afzhan@foxmail.com


  • ①凡ben网注明"lai源:安防zhanlan网"的所有zuopin,版权均shu于安防zhanlan网,转载qing必须注明
    安防zhanlan网。违反者ben网将zhui究相关法律责任。
  • ②企业发布的公si新闻、技术文zhang、资料下载等内容,如涉jiqin权、违规遭投su的,一律you发布企业
    zi行承担责任,ben网有权蒵ing谌莶hui溯责任。
  • ③ben网转载并注明zi其它lai源的zuopin,mu的在于传di更多xin息,并不代表ben网赞tong其观点或证实其内
    容的真实性,不承担此类zuopinqin权行为的直接责任ji连带责任。其他mei体、网站或ge人从ben网转载时,
    必须保留ben网注明的zuopinlai源,并zifu版权等法律责任。
  • ④如涉糱ai鱬in内容、版权等问题,qing在zuopin发表之日qi一zhou内与ben网联系,否则shi为穚ai喙厝ɡ

免费注ce后,你可以
了jie安防行业更多资讯
查看安防行业gong求xin息
tu显安防行业zi身价值

mashang注cehui员

想快速被maijia找到吗
zhi需要发瞛ia惶鮯hang机,
被maijia找礿iang幕鷋uigao达
90%!还等shi么?

mashang发布xin息

编辑jingxuan

更多

gao端fangtan

更多
  • 专fang碿i纊e技张传金:5G AI赋能智慧安防 共建安全shi界
  • 澎思ke技曲瀚:AIoT应用深化、泛安防市chang崛qi 普惠AI时代zheng在lai临
  • 厦men狄耐克you秀jie决fang案获奖特约fangtan
  • tian翼詐ing钤谱涸萍扑鉺hi新基建和智慧cheng市建设的核心
  • 智能时代打开软件价值的“新篇zhang”——专fang大华股份研发zhong心副总裁zhou蝝u
  • 华为史耀宏:共建ping安智能体 打造治li新格局
  • 李标bin:5G时代 wan物互联 构建数字世界的智能化通行空jian
  • gao新兴gaoji副总裁wu冬升:融合创新发zhan 共促车路协tong规模化落地
  • 杨晓光教授:智能交通shi苝ing饨煌烟獾膠hu要着力点
  • 电子期刊

    更多

    返回shou页