Zenodo

  • A+
所属分类:科研资讯

Zenodo


OpenAIRE和CERN创建研究数据知识库,支持50GB文件

一个多学科研究数据知识库,支持各种内容,包括刊物、演示文稿、论文集、项目、图像、软件(包括与 GitHub 的集成)以及所有语言的数据,由欧洲核子研究组织 (European Organization for Nuclear Research, CERN) 维护。它对数据格式没有任何限制,最多可以存储 50GB 的数据。此储存库中数据可终身保存,可以采用封闭(只要未授权都无法访问)、开放或禁止(禁止期内无法访问)状态储存。

基本信息

网站名称Zenodo
学科类型科研数据,数据知识库
网站分类科研数据
国家地区 欧洲
收录时间2019-01-21
网站地址https://www.zenodo.org/

详细介绍


Zenodo名称来源于泽诺多托斯(Zenodotus,前280年)古希腊文学家,荷马学者。亚历山大图书馆第一任馆长,也是第一次使用元数据的人。

Zenodo于2013年5月推出。

Zenodo构建并运行一项简单而创新的服务,方便研究人员、科学家、欧盟项目和研究机构能够共享和展示多学科研究成果(数据和出版物),这些成果不属于研究团体现有的机构知识库或基于主题的知识库。

为研究人员、科学家、欧盟项目和机构带来益处:

  • 轻松地分享各种格式的小型研究成果,包括文本、电子表格、音频、视频和所有科学领域的图像。
  • 展示研究成果,并通过使研究结果得到认可并集成到资助机构(如欧洲委员会)的现有报告。
  • 轻松访问和重用共享的研究结果。

功能特性

  • 研究、共享。

- 一站式研究

欢迎来自所有研究领域的所有研究成果! Zenodo接受任何文件格式以及正面和负面结果。选择推广同行评审的开放式研究,并且会在首页上发布上传内容。

  • 可引证,可发现。

- 被发现!

Zenodo为所有公开上传的内容分配了一个数字对象标识符(DOI),使上传变得容易且唯一可用。 Zenodo进一步支持通过OAI-PMH协议收集所有内容。

  • 社区

- 创建属于自己的知识库

Zenodo允许创建自己的收藏并接受或拒绝提交给它的上传。为用户下一个研讨会或项目创造空间从未如此简单。此外,一切都是可以被发现的!

  • 安全

- 不仅仅是一个投递箱!

研究成果将安全地存储在同一个云基础设施中,作为来自CERN大型强子对撞机的研究数据,并使用CERN经过实战考验的存储库软件Invenio,后者被世界上一些最大的存储库(如INSPIRE HEP和CERN Document Server)使用。

  • 报告

- 向资助机构汇报!

Zenodo被纳入由欧盟委员会通过OpenAIRE资助的研究报告。只需将研究上传到Zenodo,将为您处理报告。计划在未来通过其他资助机构扩展此功能,敬请期待!

  • 灵活的许可

- 并非一切都在知识共享下

Zenodo鼓励您尽可能公开地分享您的研究,以最大限度地利用和重复使用您的研究成果。但是,我们也承认一种尺寸并不适合所有尺寸。因此,我们允许在各种不同的许可和访问级别下上传。

*有责任尊重上传文件的适用版权和许可条件。

开源代码

Zenodo开源代码,它建立是开源的Invenio数字知识库的基础之上。 GitHub中公开分享了正在进行的工作,公开的问题和路线图,任何人都欢迎对任何方面的贡献。所有元数据均在CC0许可下公开提供,所有开放内容均可通过开放API公开访问。

资金来源

  • 欧盟委员会通过OpenAIRE项目支持
    • FP7:OpenAIRE(246686),OpenAIREplus(283595)
    • 地平线2020:OpenAIRE2020(643410),OpenAIRE-Connect(731011)和OpenAIRE-Advance(777541)。
  • CERN
  • Alfred P. Sloan基金会
  • 通过CERN和社会基金会进行捐款

运维和开发

 Zenodo按照收支平衡来进行开发和支持,现在托管在CERN的现有基础设施和服务之上,以降低运营成本并依赖现有在高能物理研究方面的投入精力。 CERN拥有一批世界顶级专家,他们负责运行大规模研究数据基础架构和数字知识库。

Zenodo开发和支持由一个大的团队负责,这个团队由y Jose Benito Gonzalez Lope领导,他们运行 CERN Document Server, CERN Open Data, CERN Analysis Preservation,这些系统都是基于Invenio数字库框架进行开发的。

已参与国际组织

CERN是以下组织和国际组织的活动成员:

  • DataCite
  • ORCID
  • FORCE11(特别是数据引用原则和软件引用原则)
  • Research Data Alliance(研究数据联盟)
  • SCOAP3

多个欧盟委员会资助项目的合作伙伴,其中包括:

  • OpenAIRE
  • EUDAT

架构和管理

1、服务器管理

Zenodo服务器通过OpenStack和Puppet配置管理系统进行管理,确保服务器始终应用最新的安全补丁。服务器通过CERN基于Flume,Elasticsearch,Kibana和Hadoop的监控基础架构进行监控。在本地部署的Sentry(错误日志跟踪开源工具)实例中记录和聚合应用程序错误。前端服务器负载均衡采用了DNS负载平衡和HAProxy组合,。

此外,还运行两个独立的系统:一个生产系统和一个质量保证系统。这可确保在应用于我们的生产系统之前,无论是在基础架构级别还是源代码级别,所有更改都可以在我们的质量保证系统上进行测试和验证。

2、前端服务器

Zenodo前端服务器负责运行基于Python和Flask Web开发框架的Invenio存储库平台应用程序。前端服务器在应用程序前运行nginx HTTP服务器和uwsgi应用程序服务器,nginx另外负责提供静态内容。

3、数据存储

上传到Zenodo的所有文件都存储在CERN的EOS服务中,存储在18 PB的磁盘集群中。每个文件副本都有两个位于不同磁盘服务器上的副本。

对于每个文件,存储两个独立的MD5校验和。 Invenio存储一个校验和,用于检测从Invenio外部制作的文件的更改。其他校验和由EOS存储,用于自动检测和恢复磁盘上的文件损坏。

根据未来的访问模式,Zenodo可能会将存档和在线副本移至CERN的离线长期磁带存储系统CASTOR,以最大限度地降低长期存储成本。

EOS是来自大型强子对撞机(LHC)的物理数据的主要低延迟存储基础设施,CERN目前运行多个实例,总计150多PB的数据,预计每年增长30-50PB。 CERN的CASTOR系统目前管理着100多PB的LHC数据,这些数据经常被检查数据损坏。Invenio在EOS之上提供了一个像文件管理层这样的对象存储器,负责例如EOS。版本更改为文件。

4、元数据存储

Zenodo中的元数据和持久标识符存储在CERN数据库按需扩展的基础架构上运行的PostgreSQL实例中,每周12小时备份周期,每周一次将一个备份发送到磁带存储。元数据还在Elasticsearch集群中编入索引,以实现快速而强大的搜索。元数据以JSON格式存储在PostgreSQL中,由版本化的JSON Schemas描述。对Zenodo上的元数据记录的所有更改都是版本化的,并且发生在数据库事务中。

除了元数据和数据存储之外,Zenodo依赖Redis进行缓存,RabbitMQ和python Celery用于分布式后台作业。

weinxin
我的微信公共号
我的微信公招扫一扫
  • 版权声明:本站原创文章,于2021-04-0802:47:02,由 发表,共 2995 字。
  • 转载请注明:Zenodo | 极客学术

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: