农业大数据在农业经济管理中的作用论文

  1农业迎来大数据时代

  1.1大数据及其特性

  人才素质的提高和基础信息设施的完善,加快了信息技术的发展速度,互联网发展臻于成熟,移动终端设备数量增长迅猛,产生了众多新型的数据处理和存储设备,由于这些新技术的不断发展和成熟,客观上为大数据的产生奠定了基础,从而拉开了大数据时代的序幕。早在20世纪80年代,阿尔文?托夫勒就前瞻性的预测出大数据时代即将来临,并赞誉大数据将是信息化革命浪潮中的华彩乐章。2007年美国图灵奖获得者吉米?格瑞在美国国家科学研究委员会的演讲中提出,科学研究经历了几千年的发展,从经验探索、理论模型、计算仿真,到现在进入数据探索阶段。对于大数据的定义,目前还没有一个标准。大数据一词来源于英文BigDate,用“海量数据”来描述“大数据”并非十分严谨。目前,所熟知的大数据的概念是由麦肯锡咨询公司提出,麦肯锡咨询公司对大数据做出的定义是:大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群。显然,该定义对大数据的判断采取主观标准,随着软件工具存储、分析等能力的变化,大数据的标准也会相应的做出调整。同行业数据的大小不同,处理软件存在差异,可能会出现这种情况,同样的数据量,在这个行业属于大数据,放到另一行业就不能算作大数据。根据大数据的特点,通常将大数据的特点归纳为3V,即Volume(大量化)、Variety(多样化)、Velocity(快速化),这三个特点同样也表现出大数据所隐藏的巨大value(价值),因此,有些人将其归纳为4V。除此之外,大数据还有veracity(精确性)和Complexity(复杂)的特点。大数据的首要特征就是数据体量大。在瞬息万变的信息社会中,随着社会活动的增加和数据采集终端设备的增加,我们所获取的数据呈现出爆炸式的指数级增长,数据量在不断刷新一个个新的量级单位,根据国际数据公司(IDC)的预计,大数据将会以每年50%的速度在爆发性增长。大数据不仅仅是数据量大,而且数据类型多样化。多样化是指大数据种类繁多。大数据与海量数据并不完全相同,大数据除了具有和海量数据相同的结构化数据和半结构化数据外,最大的不同之处是大数据拥有大规模的非结构化数据,而且非结构化数据所占比重快速增长。根据咨询公司的统计数据,在众多的数据中,80%~90%的为非结构化数据,增长速度比结构化数据增长快10~50倍。快速化是指数据的流动和处理速度更快。随着信息物联网和移动终端的普及,源源不断的产生各种各样的数据,数据的更新速度越来越快,相应的导致数据的处理速度也在加快。大数据处理方式的与传统的批量式分析不同,大数据更注重实时分析。数据的风靡除了具备信息技术等客观条件外,更重要的原因是大数据所蕴含的价值,大数据在各个行业都发挥着重要价值。当然,大数据的价值密度和数据量的大小成反比,一个单一的数据本身并没有多大价值,但大量的数据则积累和隐藏了丰富的财富。其价值具有稀疏性、多样性和不确定性等特质。大数据所存在的数据量大、数据类型多样化、数据的快速处理的特点,都表明大数据处理和分析具有艰巨性和复杂性。

  1.2农业大数据及其特征

  农业生产经营活动产生了庞大的数据,这些数据广泛存在于耕地、育种、播种、施肥、植保、收获、储运、农产品加工、销售、畜牧业生产等各环节,包括跨行业的数据分析和挖掘。对于调整农业生产、相关农业企业发展具有重要推动作用。因此,农业是大数据应用的一个重要领域,农业大数据是大数据思维变革在农业领域的具体体现。农业大数据除具备大数据的大量化、多样化、快速化、价值性、精确性和复杂性等基本特性外,还有其自身的特征。农业大数据产生于农业领域,涵盖农业生产、经营相关的农业资源数据、农业生产资料数据、农业技术数据库、农产品市场信息数据、农业政策法规数据和农业机构等多种数据,而且,农业生产环境具有特殊性,受土壤类型、气候类型、作物种类等其他因素的影响,就使得关于他们的数据具有多维、动态、不确定、不完全等特征。

  2农业大数据在农业管理中的作用

  农业大数据的最重要价值就是收集农业大数据对其进行挖掘,寻求蕴含在其中的经济价值,对未来的农业生产及其相关经营做出科学的预测,以指导农业的发展。

  2.1农业大数据助力农业的科学发展

  农业在人类生存和发展过程中发挥重要作用,一方面,农业为人类生存提供不可缺少的物品;另一方面,农业为工业和其他产业的发展奠定基础。优化农业产业结构,调高农业产出。农业生产具有自身的特点,最明显的特点就是农业生产受自然因素的影响大,属于自然再生产。因此,在农业生产中,要重视气候、土壤、地理位置等自然因素的影响。借助于大数据技术,对所收集到农业大数据进行挖掘,通过数据反映农业生产的外部环境特点,并预测外部环境的变化,以便及时调整当地的农业生产结构,将资金、技术投入到需要优先发展的农业生产行业,充分利用当地资源,发展区域特色经济,优化农业产业结构。改进农业经营方式,调动生产积极性。农业经营方式属于制度层面的问题,主要解决如何经营的问题,只有恰当的经营方式,才能充分调动农业生产者的积极性。如何选择适合的经营方式,传统的做法是采用随机抽样的方式,对所抽取的样本进行统计分析,但确保随机抽样是非常困难的。采样过程中若存在私见,分析结果则会有较大出入。因此,随机抽样的准确性受到影响,只是在不可收集和分析全部数据的情况下的选择。利用农业大数据的分析技术,我们可以避免遗漏数据的现象发生,通过对全体数据的分析,可以大大提高预测的准确性。如在农业合作社管理中,通过对组织规模、生产技能、管理和经营水平以及经济效益等因素的数据进行分析,发现影响组织管理的因素,进行经营方式的选择,可以充分调动参与者的积极性。发挥信息技术作用,增强农业竞争力。伴随着信息技术的发展,农业也由传统农业向现代农业转变。传统农业生产主要靠经验指导,具有滞后性和不准确性。在信息技术指导下的现代农业生产,利用大数据技术,能够对农业生产中将产生的问题事前做出比较准确的预测,并及时做出反应。如可以针对作物品种的特性,改良和培育新品种;根据作物的生长状况使用肥料;通过对气象信息的预测,合理的灌溉和防治病虫害等。

  2.2预测涉农企业生存环境,增强企业竞争力

  涉农企业通常有四种类型:一是为农产品生产提供生产资料和服务的农资企业,二是农产品生产企业,三是农产品加工企业,四是农产品流通企业。伴随着市场经济的逐步完善,涉农企业逐步发展并壮大,在经济发展中的重要性越来越大,涉农企业除了具备普通企业的社会作用外,还发挥着其特殊的作用。如农产品加工企业的发展推动了农业产业链的形成;涉农企业在运作中创造了大量的岗位,在解决农村剩余劳动力问题上发挥重要作用;农产品流通企业解决了农产品流通难的问题,对于促进农民收入稳定增长具有重要意义。然而,涉农企业在目前的管理中,仍存在一系列的问题,影响着企业的良性发展。如对市场变化不敏感,技术创新缓慢,生产调整滞后,从而导致企业的竞争力弱,发挥的作用有限。利用农业大数据对涉农企业所处的环境进行分析。如将农业大数据应用于供应链管理上,通过对多个数据库(比如销售历史、天气预报和季节性销售周期)进行分析,来提高存货预测能力,实现最优存货管理。对运输进行优化处理,使用路径优化功能提高车队和配送管理水平,优化物流。借助于物联网技术,采用实时的传感器数据来跟踪土壤、气候等信息,指导农业生产操作。农产品加工业通过分析来自客户反馈的数据,不仅能够提高营销水平,而且可以对生产过程进行及时调整,指导下一步的产品研发。

  2.3完善政府运作方式,推动政府科学的农业决策

  政府自身组织结构、行政业务流程、规章制度等是影响政府发挥职能的重要因素。物联网、云计算、数据整合、关联数据、信息发布等新技术的发展与普及,为政府利用大数据提供了技术支撑,利用农业大数据的思维和方法,将会促进政府组织形态的改革,转变政府治理模式。从长远来看,大数据将会对政府管理范式、政府职能等多个方面产生影响,能够改变政府的管理方式,促进政府科学决策,充分发挥政府职能。政府决策是政府行使各项职能的基础,政府决策的质量和效率直接关系到管理活动的成效。利用大数据的思维和方法,政府可以在农业生产以及涉农企业发展等方面做出科学的决策。政府利用自身所掌握的数据优势,利用大数据的完整性、快速性特点,可以迅速的对农业生产经营做出反应,及时做出农业指导,调整农业生产以及涉农企业的发展,提高农业收益。

  3农业大数据发展中存在的问题

  3.1认识误区

  尽管大数据已铺天盖地的进入到我们的日常生活,并在部分领域得到了应用,但对于农业大数据的认识,仍存在误区。部分观点认为,大数据有过度炒作的嫌疑,仍有人认为大数据就是海量数据存储,大数据仅仅是可以获取更多信息的平台,缺乏核心价值。部分观点恰恰相反,他们过分推崇大数据的作用,认为大数据可以解决所有的问题,认为传统的数据分析、处理方法将被大数据所取代。这两种极端的认识都是不可取的。大数据的存在与发展是信息技术进步的必然结果,我们应该正确面对,以使其更好地为经济社会发展服务。但应该看到,目前大数据的概念、技术、方法还不成熟,大数据预测结果也并非准确无误,而只是提供了一种可能性。大数据并不是仅仅依靠计算机进行算法处理就可以完成,更需要人在其中发挥指导做用。

  3.2数据挖掘存在困难

  大数据挖掘主要有数据收集、数据存储、数据处理和结果的可视化呈现四部分。数据挖掘需要较高的技术和成本,各个环节都面临不同程度地困难。在数据收集阶段,要根据所需要解决的问题收集相关的数据。虽然伴随着物联网、终端设备等的发展,收集数据越来越便捷,但从庞大的数据中做到去伪存真,仍是一件复杂的工作。尽管大数据允许数据中存在少量数据的不准确,但并不意味着可以不需要保证数据的质量。高质量的数据,是分析结果准确性的前提。在数据存储阶段,规模庞大的数据也不断挑战着传统的数据存储,普通的服务器根本承载不了如此庞大的数据集,而类似EC2一类的掩码计算云服务价格又过于昂贵,一般的科研项目也难以支付得起。在数据处理阶段,大量来自不同地方的数据被存储在一起,在对数据进行正式处理之前需要对所存储的数据进行数据清洗工作,目前数据清洗的技术能力还远远不能满足要求。在数据处理过程中,大数据所面临的是庞大的数量级和复杂的数据结构,Hadoop相关技术为企业构建大数据处理平台提供了基础的系统架构及相关的数据库、数据流等数据管理工具,但不足以解决全部大数据问题。庞大的数据中往往掺杂着各种无效数据,简单粗放式的数据统计和分析往往不能得到真正有价值的内容,甚至可能是相左的结论,所以需要更加有效的、精工细作的处理工具。无论是从数据处理规模还是从算法的健壮性等方面来看,都对相关的数据挖掘技术提出了更高层次的挑战。结果的可视化呈现是将通过数据分析得到的结果呈现出来,使结果更加直观。在这一阶段,由于大数据包含大量的非结构化数据,复杂性增强,传统的显示方法只能对结构化数据进行直观的展示,而对于复杂的非结构化数据无法直观的呈现分析结构。

  3.3信息安全存在隐患

  农业大数据可以通过预测气象信息等确保农业生产的安全,然而农业大数据自身的安全却面临威胁。因数据来源广泛而带来的数据采集安全;因数据种类和业务类型众多而带来的数据整合与存储安全;因外部需求和用户隐私保护而带来的数据审计和安全发布问题等。伴随着数据收集方式的多样化,数据对外呈现增加,数据存储和分析使用的安全性和隐私保护要求越来越高,传统的数据保护方法越来越难以满足需求。对规模庞大的数据进行监管是面临的一项重大任务。值得注意的是,数据所反映的不仅仅是数据表面的信息,通过数据挖掘,数据将反映预期的行为,数据如果利用不当,缺乏必要的保密措施,就很容易造成个人信息泄露。我国大数据的发展正处于初期探索阶段,在信息安全方面尚不完善。随着数据的高度集中和数据量的增大,如何确保产业链中的数据安全成为一个亟待解决的难题。同时,数据的分布式、协作式、开放式处理也加大了数据泄露的风险。

  4农业大数据工作重点

  4.1转变思维认识

  首先,要对农业大数据树立客观的认识,摒弃之前片面、唯技术论等不正确的观点,既要认识到农业大数据的价值所在,又不能盲目依赖农业大数据。其次,农业大数据不仅仅是技术层面的应用,也带来思维方式的重大变革,我们要改变在信息技术不发达时代下所产生的思维方式,如采用小样本量进行统计分析等,应树立农业大数据思维,采用全部的数据集,提高预测的准确性。通过借鉴大数据在其他行业所采用的方法,政府、企业等要积极推进农业大数据的发展。

  4.2培养大数据人才完善农业信息化建设

  大数据挖掘是大数据的核心工作,传统的数据处理手段无法适应大数据的发展,根据大数据的特征开发新技术是大数据发挥价值的关键,改进计算机和互联网技术,改变过去已经建立起来的数据存储和传输的方式。制约大数据技术发展的重要原因是人才的缺乏,因此,加强农业大数据人才的培育是今后工作的重点,人才的培养可以通过两种途径:一种是缓解短期人才缺乏,通过对已有的相关数据处理工作人员进行培训来提高他们的技能,以此满足人才急需的现状;另一种是从长远解除农业大数据人才缺乏的问题,需要在高校设立数据科学的专门研究机构和相关专业,来培育充足的农业大数据人才。推动农业大数据发展的另一措施是加强农业信息化建设,农业信息化是农业大数据的基础,而目前农业信息化水平整体低且地区差距大,影响农业大数据的应用。因此,要建立并完善农业信息化建设,解决农业大数据应用领域中存在的信息服务个性化不足、实时数据采集难等问题,建设农业信息服务的全方位、多角度、立体化、智能化、人性化和个性化,并为我国的农业动力大数据应用建立基础。

  4.3保障大数据应用安全

  针对大数据安全问题,在技术层面上,构建统一的大数据安全架构和开放数据服务,需要重新设计和构建大数据安全架构和开放数据服务,从网络安全、数据安全、灾难备份、安全风险管理、安全运营管理、安全事件管理、安全治理等各个角度考虑,保障大数据计算过程、数据形态、应用价值的安全。在政府层面,应该明确重点领域数据库范围,以制度和法律的形式加强规范和引导,进行日常监管,企业层面,要加强内部管理,对设备尤其是移动设备的使用加以规范,规范农业大数据的使用和流程。

  5展望

  农业大数据是大数据在农业领域的跨界应用,农业大数据带来了思维、理念和技术上的重大变革,是对传统农业及相关产业发展的重大改变。针对农业大数据在起步阶段存在的错误认识、技术应用水平低、数据安全存在隐患的现状,积极转变观念、提高技术水平、保障农业大数据应用安全,必将不断改进农业大数据的应用,充分发挥其在农业经济管理中的预测指导功能,提高农业及相关产业的效益。

  作者:李业玲 单位:山东农业大学

农业大数据在农业经济管理中的作用论文相关推荐