首页 > 技术交易 > 科技成果
通用web数据采集系统
发布时间: 2023-12-08 浏览量:17
  • 交易方式:面议
  • 联系电话:13936587456
  • 单位名称或姓名:刘思宇
  • 产业领域:数字经济
  • 成果类型:
项目基本情况Basic information of the project
现代企业越来越需要获取数据进行分析和应用,以此进行经营决策和战略分析。而原有的人工模式效率底下易出错且成本较高,一套实用的不但可以快速的从大量数据中快速的提取和筛选出企业需要的数据,还可以进行数据分析和统计,对企业的发展战略具有知道行意义。本系统是一套专门进行网络信息提取和深入挖掘的应用程序。系统根据用户需要可以定制要抓取数据的网站和数据格式,抓取后对数据进行汇总,并用于企业内部的分析和统计。 本项目的建立主要是基于大数据与云计算的前提下,采用c#开发技术,使用.net framework 4.0框架结构,支持多线程多点同时采集。可以为客户提供数据定制获取功能,解决了以往人工操作的弊端,大大提高了企业及政府部门的工作效率,同时降低成本。本项目主要解决以下问题:1、智能分析系统允许定制采集,对企业有用的数据采集过来,无用数据过滤掉,使建立的数据中心的数据有效性提高。本醒目通过对网页的分析抽象出,易于提取和书写的对象,便于用户通过直观的方式建立采集进程和数据挖掘过程。2、项目采集数据可以直接与各类数据库管理系统对接,也可通过web service或定制开发的方式与企业内部数据中心进行对接。3、可使用户建立自己的采集策略并自动执行,易于使用,提取数据高效精确。采用多进程方式,更能利用现有系统的多cpu,大内存等资源。4、根据用户需要可以定制要抓取的数据的网站和数据格式,并用于企业内部的分析和统计,这部分已经在部分客户系统中得到应用。 所以在"大数据"时代的背景下,本项目产品的市场前景将非常广阔。
管理团队与技术团队Management team and technical team
哈尔滨联创科技有限责任公司
效益分析Benefit analysis
该项目为储备库项目资源,暂无效益分析内容。
成果推荐Result recommendation