全部分类
【公开招标】DZC20181678大庆市政府采购中心关于大庆市公安局（科信处）数据分析研判平台开发项目招标公告
招标黑龙江
发布时间：2018-08-09
招标内容
大庆市政府采购中心关于大庆市公安局（科信处）数据分析研判平台开发项目招标公告黑龙江省大庆市政府采购中心对大庆市公安局（科信处）数据分析研判平台开发项目进行采购，本项目面向各类型企业进行采购，欢迎有能力的国内供应商参加。一、项目编号：DZC20181678二、项目名称：大庆市公安局（科信处）数据分析研判平台开发项目?三、采购方式：公开招标本项目要求以电子标书参与投标，不接受纸质投标文件（除《原件（样品）检验登记表》要求提供的资料外），否则投标无效。具体制作文件的步骤请参考http://ggzyjyzx.daqing.gov.cn/bsznTbr/20199.htm?pa=2221咨询电话：0459-6375655 四、技术需求及数量：大大庆市公安局（科信处）数据分析研判平台开发项目，本项目共分1个标段，预算：2,060,000.00元，控制价：1,854,000.00元，参与投标供应商投标报价超出控制价的投标无效。详细需求见大庆市公共资源交易中心网（http://ggzyjyzx.daqing.gov.cn/）《招标公告》。五、供应商资格条件：除符合《中华人民共和国政府采购法》中有关供应商申请取得政府采购资格的相关条件外，还应符合下述资格条件：1、提供参与本项目投标供应商有效的营业执照副本。2、参与本项目供应商提供大数据类或数据分析类的软件著作权登记证书或者专利证书的原件。3、参与本项目供应商所投产品中大数据产品必须通过国家标准检测，并提供有效的测试证书。4、本项目不接受联合体投标 。六、本项目面向各类型企业进行采购。本项目执行政府采购扶持中小企业的相关政策。详见《政府采购促进中小企业发展暂行办法》。参与本项目供应商如属于小、微企业，则须提供“小微企业声明函”，格式详见招标文件第七部分。根据相关政策，参与本项目供应商为小型或微型企业的，且所投大庆市公安局（科信处）研判平台采购项目是由参与本项目供应商直接提供服务的，则所投大庆市公安局（科信处）研判平台采购项目的价格给予6%的扣除，用扣除后的价格参与评审。参与本项目供应商需提供本企业的小微企业声明函（须按规定格式填写声明函），不提供声明函的不享受相关扶持政策。注：以上“用扣除后的价格参与评审”是指开标现场，依据供应商所投大庆市公安局（科信处）研判平台采购项目投标报价进行6%的扣除。七、获取文件须知1、获取文件时间：公告之日起至2018年8月15日17时0分截止。注：请参与本项目投标的供应商在2018年8月15日17时0分前自助下载文件，逾期则无法下载文件，由此造成的后果由供应商自行承担。2、该项目采取供应商网上自助的方式。在大庆市政府采购网或黑龙江省政府采购网注册的供应商且供应商注册信息审核状态达到“有效”或“入库”或“合格”状态，可网上自助下载文件。未注册的供应商请注册后，按照网站中“办事指南”中的说明网上下载文件。3、咨询电话：0459-6158157八、申请退出投标程序及注意事项：1、参与本项目投标的供应商应严格遵守《诚信竞争承诺书》，如果供应商已下载文件后因自身原因需要退出投标，必须在投标截止时间72小时前，在大庆市电子政府采购交易管理平台提出退标申请，并说明合理退标理由。否则，计入不良行为记录名单一次。供应商已下载文件后无故未参与投标或未按规定程序申请退出投标的，将被计入不良行为记录名单。12个月内：供应商被计入不良行为记录1次的，我中心将限制其1个月内参与大庆市政府采购竞争；供应商被计入不良行为记录累计2次的，我中心将限制其3个月内参与大庆市政府采购投标；供应商被计入不良行为记录累计3次的，我中心将限制其6个月内参与大庆市政府采购投标。同时1年内不能被推荐为诚信供应商。2、通过大庆市电子政府采购交易管理平台提出退标申请，并经我中心受理备案的，可在大庆市电子政府采购交易管理平台办理退还保证金事宜。3、未按规定程序申请退出投标的，无权向大庆市政府采购中心申请退还投标保证金。4、未按规定程序申请退出投标的，我中心将视情况作出相应处理。5、已经在大庆市电子政府采购交易管理平台提出退出申请的供应商或擅自不参加本项目投标的供应商，不得再参与该项目后期的采购活动。九、投标保证金（具体交纳方式见http://ggzyjyzx.daqing.gov.cn/downcenter/38287.htm?pa=3551）1、参与本项目投标的供应商，须按相关规定向大庆市公共资源交易中心账户预交谈判保证金：20,000.00元，投标保证金必须由参与本项目投标的供应商以本单位对公账户名义，且以转帐方式交纳，不接受企业或个人以现金方式交纳投标保证金（包括直接将现金存到大庆市公共资源交易中心账户上的行为），不得以其他单位或以个人名义代交。投标保证金缴纳证明须扫描上传到大庆市公共资源交易管理平台投标文件中，否则，投标无效。2、以担保保函方式提交投标保证金的，应提交经财政部认定的中国投资担保有限公司或经黑龙江省财政厅认定的黑龙江省鑫正担保集团有限公司或大庆市财政局认定的大庆市工商业担保有限公司、大庆市国盛融资担保有限公司出具的投标保函，或对公账户开户银行出具的投标保函及对公账户开户许可证。投标保函应按招标文件中规定的“政府采购投标保函”样式出具，不按招标文件规定的“政府采购投标保函”样式出具的投标保函，大庆市政府采购中心不予接受。同时应将投标保函原件带到开标现场，并提供投标保函复印件一份。否则，投标无效。对投标担保保函咨询请与中国投资担保有限公司、黑龙江省鑫正担保集团有限公司、大庆市工商业担保有限公司、大庆市国盛融资担保有限公司联系，联系电话：中国投资担保有限公司：010-88822574?? 黑龙江省鑫正担保集团有限公司：0451-87193058/87193059大庆市工商业担保有限公司：0459-6621159大庆市国盛融资担保有限公司：0459-62860753、大庆市公共资源交易中心账户信息：户? 名：大庆市公共资源交易中心开户银行：中国建设银行股份有限公司大庆市直支行账号：23050166930000000031行号：105265000553注：填写汇款单时，需要标注项目编号或订单编号。4、投标保证金不允许串项目使用，交纳其他项目的保证金不能用作本项目。5、使用保证金年卡的供应商须将保证金年卡扫描上传到大庆市公共资源交易管理平台招标文件中，保证扫描内容清晰可查，否则投标无效。建议参与政府采购活动频率高的供应商办理保证金年卡，年卡可在投标（履约）保证金上限内重复使用，超出部分补差即可。保证金年卡可同时用作投标和履约保证金。6、中标方的投标保证金可转为履约保证金(多退少补)。7、投标保证金的退还：投标保证金一律采取转账方式无息退还至原汇款账户。未中标供应商请在中标通知书（成交公告）发出后主动在大庆市公共资源交易管理平台提出保证金退款申请，5个工作日内退还。中标供应商如未将投标保证金转为履约保证金的，请在合同签订后的平台内提出退款申请，5个工作日内退还。退款申请详细内容：未中标供应商全称、开户行、账号、金额、项目编号、联系人、联系电话。否则，投标保证金滞留的责任由供应商自行承担。中标供应商必须在合同签订后方可退该项目的投标保证金。8、办理交纳或退还保证金事宜，如有疑问请与我中心办公室财务人员联系。电话：0459—4671759，传真：0459-6370158。9、发生下列情况之一，投标保证金将不予退还：⑴投标开始后在投标有效期间，供应商撤回其投标资料。⑵中标方不按本文件及成交通知书规定签订合同协议。⑶将中标项目转让给他人,或者在投标文件中未说明,且未经大庆市政府采购中心同意,将中标项目分包给他人的。 ⑷拒绝履行合同义务的。十、招标文件售价：免费。十一、预计投标截止时间及开标时间：2018年8月29日9时30分，具体时间以招标文件为准。十二、注意事项：1、供应商请主动到大庆市公共资源交易中心网(http://ggzyjyzx.daqing.gov.cn/)《交易信息》栏目下载招标文件及后续发布的与本项目相关的各类文件（如：预备会纪要、变更通知、有关问题答复、质疑答复等相关文件）。关于下载招标文件及相关文件事宜，采购中心不另行通知，均以发布的文件为准。由于供应商未及时下载与本项目相关的各类文件而影响供应商正常参与投标以及产生的其他问题和后果的，责任由供应商自行承担。2、供应商应详细阅读本公告，符合条件即可参与。本项目要求的供应商资格证明文件报名时不需提供，参标供应商将所有资格证明文件提供到开标会上，由评标委员会审查，经评审不符合条件者投标无效。3、未在大庆市政府采购网或黑龙江政府采购网注册的供应商，无法网上下载文件。未在大庆市政府采购网或黑龙江省政府采购网进行供应商注册的企业，请到www.hljcg.gov.cn，点击进入“大庆”登记注册。4、获取文件截止时未在大庆市政府采购网或黑龙江政府采购网注册的供应商，本项目无法下载文件；在开标前供应商注册信息审核状态未达到“有效”或“入库”或“合格”状态，则投标无效。未通过黑龙江省政府采购网注册审查的供应商，请联系政府采购网所属地的采购管理办公室。大庆市政府采购管理办公室供应商入网审核咨询电话： 0459-4671886/4671883。5、本项目开标过程全程音视频监控，如参与本项目投标企业或个人对开标过程有疑义,可以书面形式提出，由政府采购监督部门视情况调阅监控录像进行审查。因此，所有参与本项目投标企业和个人不得对开标过程进行录音、录像、摄影，或者通过发送邮件、博客、微博客等方式传播开标过程，一经发现，投标无效，造成损失和影响的，将追究法律责任（经允许的除外）。6、单位负责人为同一人或者存在直接控股、管理关系的不同供应商，不得参加同一合同项下的政府采购活动。集中采购机构：大庆市政府采购中心集中采购机构地址：大庆市萨尔图区东风新村纬二路2号（大庆市行政服务中心三楼）网??? 址：http://ggzyjyzx.daqing.gov.cn/集中采购机构联系人：李维集中采购机构联系电话：0459-6158157采购单位：大庆市公安局采购单位地址：大庆市东风新村纬二路19号采购单位联系人：高英杰采购单位联系方式：0459-6065051邮??? 编：163311日期：2018年8月8日项目需求项目概述根据实战需求，运用云计算、大数据、机器学习等新技术，开发建设数据整合、存储、管理、安全、服务、分析挖掘、可视化应用、预知预警等功能于一体的综合应用平台，建设内容主要包括以下：1、大数据平台建立与公安内部、社会单位业务系统的数据对接机制，按需采集数据，并借助云计算、大数据计算处理框架实现对数据的抽取、加工、整合及数据治理及资源服务功能，确保数据质量，为后续研判分析、建模挖掘、预警预测应用提供良好的数据支撑能力。2、数据库资源池在数据整合治理的基础上，构建数据汇聚库、专题库、战法模型资源库以及知识图谱库，打造可满足各警种业务需要的数据资源池。3、基于大数据的预测、预警及研判应用基于数据库资源池，利用大数据计算、可视化交互及分析挖掘等技术，建立服务全警种的预测、预警及研判应用，提供智能管控、重大事件预警、警情态势分析、多元布控、图深度挖掘及预警等实战应用，以及业务服务集、研判工具箱等研判分析工具，充分发挥工作的预知、预警和制导效用。4、建设大数据运维管理系统本平台运用了很多大数据计算体系相关的软件、组件，为便于平台后续的日常管理和运维，运维管理平台提供集群设备管理、系统容错、统一门户、一键运维、实时运维、设备状态检测、报警管理、报修管理、配置管理、监控报警、日志管理、安全管理等管理功能。5、建设数据安全管控系统本平台汇集融合公安内外各类数据资源，为确保数据应用层面的安全，安全管控系统提供了数据存储的安全、数据传输过程中的安全，数据的一致性、数据访问安全等管理功能。建设方案投标方在投标文件中，根据公安业务及以往项目建设经验，需详细描述各功能模块设计，能够满足实际公安业务需求,作为项目实施及验收的依据。总体设计总体架构基于大数据技术构建，通过借助智能文本分析引擎实现异构存储，引入了Nosql数据库、关系数据库、图数据库、内存计算等引擎技术，并利用关系计算、特征计算、相似度计算、云计算的方式，实现实时、准实时、批量计算，为实战应用提供实时、高效、批量运算的技术保障。应用层充分利用系统丰富的信息资源，通过调用引擎层的支撑功能，构建各类基于大数据技术、图数据技术的实战应用，由重点人智能管控、重大事件预警、警情态势分析、多元布控应用、图深度挖掘应用以及丰富的研判工具箱和业务服务集等功能组成。平台性能设计用户数支持在线用户数≥3000；支持用户并发数≥200；稳定性指标系统有效工作时间≥99.9%；系统故障平均间隔时间≥90天；应用系统技术指标业务数据量在亿行级简单检索查询类响应时间≤1秒，复杂类检索查询响应时间≤5秒非业务数据查询类页面响应时间≤1秒数据加工分析技术指标数据加载≥ 130M/秒实时分析，在 100亿级别的数据连接分析，返回时间≤ 10秒离线分析，在 1000 亿级别的数据连接分析，返回时间≤ 30分钟大数据平台大数据处理框架采用Hadoop发行版，优势在于极强的横向扩展能力以及对非结构化数据的良好支持，其中包含所有的全量数据，并且一些运算量大的处理，如战法构建等会在Hadoop集群上以分布式的方式运行。大数据逻辑架构面对数据资源海量化、异构化及应用需求多样化，复杂化等带来的挑战，针对不同应用场景，灵活地选择合适的数据技术解决业务问题是必然的。因此，针对业务场景的多样性，DAAS层的逻辑架构设计如下所示：大数据资源池提供的能力具体包括：分布式数据存储：提供分布式文件系统HDFS，KV存储HBASE，分布式图数据库Titan，MPP DB能力，同时提供搜索引擎（Solr）能力， 满足存储各种类型海量数据的能力, 具备对数据进行快速查询和检索能力。分析处理能力：提供批处理（MapReduce）、内存迭代计算（Spark）和流处理框架（Storm）多种计算引擎；同时面向领域的分析语言（DSL），包括面向数仓的Hive，面向数据挖掘的SpakrSQL 和 面向流处理的CQL（Continuous Query Language）， 具备对结构化、半结构化和非结构化数据的进行多层次处理的能力，具备离线计算、流式计算、实时分析、机器学习等能力。数据存储管理大数据平台提供分布式数据存储，包括分布式文件系统HDFS，NoSQL存储HBase和分布式关系型数据库Elk的能力，同时提供全文索引（Solr）搜索能力，满足存储各种结构化、半结构化、非结构化等多种类型海量数据的能力, 具备对数据进行快速查询检索、分析挖掘等能力。根据数据生命周期的各个阶段，分别从数据接入、预处理、数据融合、数据管理等阶段提供统一的存储和管理能力。数据接入/预处理数据接入/预处理作为大数据平台能力的基础，承担的是按统一标准对数据进行归一化处理的任务。面对来自不同网络、不同来源的互联网、电信、社会基础等数据，数据产生周期各异，需要一个统一的功能模块对这些数据的接入和结构化、半结构化和非结构化数据进行预处理操作。数据接入和预处理技术架构和数据流如下图所示：数据接入数据源主要包括各业务系统数据、其他系统数据、外部临时数据和其他数据等数据源管理。按类型分，支持以下三种主要类型的数据源：1) 关系型数据库：支持关系型数据库JDBC/ODBC接口，包括Oracle、MySql、SqlServer等主流数据库的调用接口。2) 流式数据源：流式数据源有两种，一种是本来就是流式数据，比如电信网络的监控数据等；还有一种是本来是有格式文件数据，比如某些系统的日志输出等，输出的日志文件通过日志收集工具。3) 文件数据源：支持包括SFTP/FTP等方式的文件批量采集方式。? 数据接入对于采用数据库接口提供的数据源，可采用开源Sqoop来实现，但考虑到软件稳定性和安全性，方案采用增强数据整合工具来实现对关系数据库数据的批量采集并通过分布式集群导入到大数据平台上。对于采用文件接口提供的数据源，可采用增强数据整合工具方便的通过FTP/SFTP方式批量采集文件，并将文件数据通过分布式架构导入到大数据平台，对于超大文本文件支持以分块模式（分块大小和并行度可自定义）分布式接入大数据平台。? 数据预处理对于结构化数据预处理，在数据接入过程中通过接入工具实现对结构化数据进行基本的ETL处理，开展清洗和转换等归一化处理，利用大数据服务的高性能处理能力，结合大数据善于处理高吞吐业务特性，对数据进行并行预处理，实现结构化数据的快速入库，同时提供API接口，支持其他第三方平台和工具基于Loader的二次开发和集成。对于半结构化数据预处理，需要对文本类数据开展翻译、摘要、分类等处理，提取元数据和特征信息，可以利用组件对文件的并行处理能力，将半结构化数据先导入大数据服务的分布式存储，再通过分布式计算框架MapReduce或Spark结合全文索引Solr，实现对半结构化数据预处理。对于非结构化数据预处理，由于这类数据一般数据量非常大，在接入过程中进行处理会影响接入性能，将非结构化数据先行导入大数据服务的分布式存储，再通过对非结构化数据进行批处理，利用大数据计算框架MapReduce或Spark，提取元数据和特征信息实现非结构化数据的快速入库。? 统一调度整个数据接入和预处理过程通过Oozie实现可视化的管理和提供对相关接入/预处理作业的任务调度与协调；并提供对各作业任务的查看和监控功能。数据融合数据融合是数据处理的核心组成部分，以原始数据库为基础，经过数据萃取和数据特征工程计算形成主题库，通过对比、筛选和分类等业务分析，形成业务专题库，原始数据库、主题库和业务专题库共同构成数据资源池。原始数据资源通过数据接入/预处理阶段对数据完成初步处理形成原始数据库，以原始数据库为基础，配合用户和应用开发商开展数据规划、组织等建设工作，按照不同维度进行数据萃取融合和数据特征工程计算，结合业务主题建仓。1) 属性融合：以人、地、事、时间等为维度，开展数据融合，建立属性归一化模型和标签体系；2) 主题融合：为不同业务关注点进行主题信息融合，建立主题内人与事关系、人与人关系、行为规律等信息的刻画；3) 知识融合：收集涉及社会各方面的基础知识，建立知识库，将定义、编码、名词、称谓、分类、描述等信息进行融合；4) 业务融合：根据业务工作特色对主题库的信息进行重新组织，整理出国别类和领域类业务专题数据库。数据存储提供对多源异构海量数据的存储，支持对原始数据文件的分布式存储，支持文本、键值对、对象等多种数据特征的存储，最终满足业务系统复杂数据源类型的存储需求。根据项目建设的需求，需要提供如下包括分布式文件存储HDFS，NoSQL数据库HBase，分布式关系型数据库，分布式全文索引等多种结构、不同需求场景的数据存储方案。(一) 分布式文件系统HDFS分布式文件存储采用可扩展的系统结构，提供了海量数据的分布式存储。对于以文件方式存储的数据，比较适合该类存储方式。但采集的数据存在着不同大小文件并存的情况，按大小可大致划分为小文件（1MB以下）、中文件（1MB到500MB）、大文件（500MB以上），且文件数量非常多，为保证存储这些文件的同时能够提供快速读取的能力，分布式存储要能够满足该目标而提供相应小文件、中文件和大文件的存储检索方案，对外能提供统一接口进行访问，客户端在访问分布式存储时不需了解底层存储方式，由分布式存储统一调配相应优化方式实现文件快速存储和检索。分布式文件系统要支持6亿以上文件存储能力。HDFS支持数据分级存储，根据数据的不同访问热度的数据存储于不同性能的存储介质（如：SSD/SAS/SATA），以达到最高性价比。分布式文件存储能够提供FTP/SFTP接口，以便传统应用可以不修改代码访问HDFS。分析型DB存储格式/引擎：在HDFS分布式存储之上，分析数据存储格式可以采用ORCFile或者Parquet，同时提供了结构化存储引擎Hive，可以把存储于HDFS分布式文件系统中的文件、目录映射为表。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。本次项目需求如下：? 能提供高吞吐量的数据访问，适合大规模数据应用。通过聚合多台服务器的本地文件系统的吞吐能力，能提供同时对超大数据文件的访问能力。? 大数据平台支持不停机动态添加和删除节点，实现热扩展能力。? 本期项目集群内的所有节点都需要部署统一的分布式文件系统，其存储的数据资源需要实现统一检索、编目和增删等管理操作，在此基础上，需要根据数据的使用热度等实现数据分级存储。? 能够将各种类型、各种格式和大文件根据指定的分块大小参数进行文件分割，分块大小参数可修改配置；对每一个文件分块实现多副存储；文件分块随机、分布存储与管理于集群中的服务器。? 支持将海量小文件打包为一个大文件集中存储。? 提供对文件读写、删除操作记录的审计日志。? 支持元数据的备份、恢复和水平扩展功能，实现文件系统的容量提升和集群规模扩展。? 支持创建目录某个时间点的系统快照，可用系统快照将系统快速恢复到快照时间点。? 对外接口：能提供基于Apache开源社区标准接口进行数据读写。? 支持FTP/SFTP：能够提供FTP/SFTP接口，以便传统应用可以不修改代码访问HDFS。? 支持小文件和大文件存储：能够同时提供对小文件（1MB以下）、中文件（1MB到500MB）、大文件（500MB以上）的存储和快速读取。? 存储配额：支持基于目录的存储空间和文件数量的配额控制。? 数据分级存储：HDFS应支持数据分级存储， 把不同热度的数据存储于不同的介质（SSD/SAS/SATA）。? 节点标签存储：支持基于节点标签存储策略，指定文件只存储在只包含预配置的指定标签的节点上。(二) NoSQL数据库以HBase为代表的NoSQL数据库适合于存储较简单的数据模型，并且可以不受模式的约束。因而其可存储管理的数据类型更丰富；大数据技术同时适合进行一致性与事务性要求不高的计算（主要是指NoSQL的查询操作），以及对超大规模海量数据的、批量的分布式并行计算。NoSQL数据库由于摆脱了繁琐的SQL体系约束，其查询与插入的效率比传统关系型数据库要更高。NoSQL数据存储一般采用面向列的存储方式，其存储结构保证了数据表的列可扩展性和读写I/O的高吞吐性。Key-Value方式存储。同时也可以通过对HBase增强来满足用户对文档数据的存储和管理。本次项目需求如下：? NoSQL数据库能够实现水平扩展。? 支持主流NoSQL数据库，主要包括：支持将数据以键值对形式进行存储的键值型数据库，实现多级索引提高查询性能。支持将数据以列式存储的列存数据库，实现多表间的快速关联查询，并能够将多个具有类似功能或存在关联的业务表存储在一个大表中、支持面向文档的海量存储需求和访问的文档数据库。? 支持分布式的图数据库，实现单节点、多节点多层关系查询，实现最短路径、最优路径遍历搜索等基本图计算。实现拓扑关系的可视化及搜索，具备可视化界面以关联图的方式显示对象和它们之间的关联关系。? 实现NoSQL数据库的高可靠性，支持构建在分布文件系统之上，能支撑大数据在线查询需求。? 一个集群能够支持部署多个数据库服务实例，不同业务和部门可以使用不能的服务实例来达到资源的隔离。? Bulkload功能：在使用BulkLoad的方式将文件导入HBase时，需要支持自定义rowkey，自定义字段，数据基础清洗过滤，字段热冷存储等功能。? Region动态分割：需要支持Region动态分割功能，即把空的Region预先分割成多个Region，避免Region因为空间不足，出现Region分割导致性能下降的现象。? 容灾：需支持HBase表数据跨数据中心灾备。? 权限管理：支持基于表、列族和列的用户权限管理，能够支持的操作权限有读、写、创建以及管理员权限。? 数据加密：支持按照用户需要对NoSQL数据库中的数据进行列加密。即可以按照用户需要... 查看详情
移动版：