- A+
Zenodo
OpenAIRE和CERN创建研究数据知识库,支持50GB文件
一个多学科研究数据知识库,支持各种内容,包括刊物、演示文稿、论文集、项目、图像、软件(包括与 GitHub 的集成)以及所有语言的数据,由欧洲核子研究组织 (European Organization for Nuclear Research, CERN) 维护。它对数据格式没有任何限制,最多可以存储 50GB 的数据。此储存库中数据可终身保存,可以采用封闭(只要未授权都无法访问)、开放或禁止(禁止期内无法访问)状态储存。
基本信息
国家地区 | 欧洲 |
收录时间 | 2019-01-21 |
网站地址 | https://www.zenodo.org/ |
详细介绍
Zenodo名称来源于泽诺多托斯(Zenodotus,前280年)古希腊文学家,荷马学者。亚历山大图书馆第一任馆长,也是第一次使用元数据的人。
Zenodo于2013年5月推出。
Zenodo构建并运行一项简单而创新的服务,方便研究人员、科学家、欧盟项目和研究机构能够共享和展示多学科研究成果(数据和出版物),这些成果不属于研究团体现有的机构知识库或基于主题的知识库。
为研究人员、科学家、欧盟项目和机构带来益处:
- 轻松地分享各种格式的小型研究成果,包括文本、电子表格、音频、视频和所有科学领域的图像。
- 展示研究成果,并通过使研究结果得到认可并集成到资助机构(如欧洲委员会)的现有报告。
- 轻松访问和重用共享的研究结果。
功能特性
- 研究、共享。
- 一站式研究
欢迎来自所有研究领域的所有研究成果! Zenodo接受任何文件格式以及正面和负面结果。选择推广同行评审的开放式研究,并且会在首页上发布上传内容。
- 可引证,可发现。
- 被发现!
Zenodo为所有公开上传的内容分配了一个数字对象标识符(DOI),使上传变得容易且唯一可用。 Zenodo进一步支持通过OAI-PMH协议收集所有内容。
- 社区
- 创建属于自己的知识库
Zenodo允许创建自己的收藏并接受或拒绝提交给它的上传。为用户下一个研讨会或项目创造空间从未如此简单。此外,一切都是可以被发现的!
- 安全
- 不仅仅是一个投递箱!
研究成果将安全地存储在同一个云基础设施中,作为来自CERN大型强子对撞机的研究数据,并使用CERN经过实战考验的存储库软件Invenio,后者被世界上一些最大的存储库(如INSPIRE HEP和CERN Document Server)使用。
- 报告
- 向资助机构汇报!
Zenodo被纳入由欧盟委员会通过OpenAIRE资助的研究报告。只需将研究上传到Zenodo,将为您处理报告。计划在未来通过其他资助机构扩展此功能,敬请期待!
- 灵活的许可
- 并非一切都在知识共享下
Zenodo鼓励您尽可能公开地分享您的研究,以最大限度地利用和重复使用您的研究成果。但是,我们也承认一种尺寸并不适合所有尺寸。因此,我们允许在各种不同的许可和访问级别下上传。
*有责任尊重上传文件的适用版权和许可条件。
开源代码
Zenodo开源代码,它建立是开源的Invenio数字知识库的基础之上。 GitHub中公开分享了正在进行的工作,公开的问题和路线图,任何人都欢迎对任何方面的贡献。所有元数据均在CC0许可下公开提供,所有开放内容均可通过开放API公开访问。
资金来源
- 欧盟委员会通过OpenAIRE项目支持
- FP7:OpenAIRE(246686),OpenAIREplus(283595)
- 地平线2020:OpenAIRE2020(643410),OpenAIRE-Connect(731011)和OpenAIRE-Advance(777541)。
- CERN
- Alfred P. Sloan基金会
- 通过CERN和社会基金会进行捐款
运维和开发
Zenodo按照收支平衡来进行开发和支持,现在托管在CERN的现有基础设施和服务之上,以降低运营成本并依赖现有在高能物理研究方面的投入精力。 CERN拥有一批世界顶级专家,他们负责运行大规模研究数据基础架构和数字知识库。
Zenodo开发和支持由一个大的团队负责,这个团队由y Jose Benito Gonzalez Lope领导,他们运行 CERN Document Server, CERN Open Data, CERN Analysis Preservation,这些系统都是基于Invenio数字库框架进行开发的。
已参与国际组织
CERN是以下组织和国际组织的活动成员:
- DataCite
- ORCID
- FORCE11(特别是数据引用原则和软件引用原则)
- Research Data Alliance(研究数据联盟)
- SCOAP3
多个欧盟委员会资助项目的合作伙伴,其中包括:
- OpenAIRE
- EUDAT
架构和管理
1、服务器管理
Zenodo服务器通过OpenStack和Puppet配置管理系统进行管理,确保服务器始终应用最新的安全补丁。服务器通过CERN基于Flume,Elasticsearch,Kibana和Hadoop的监控基础架构进行监控。在本地部署的Sentry(错误日志跟踪开源工具)实例中记录和聚合应用程序错误。前端服务器负载均衡采用了DNS负载平衡和HAProxy组合,。
此外,还运行两个独立的系统:一个生产系统和一个质量保证系统。这可确保在应用于我们的生产系统之前,无论是在基础架构级别还是源代码级别,所有更改都可以在我们的质量保证系统上进行测试和验证。
2、前端服务器
Zenodo前端服务器负责运行基于Python和Flask Web开发框架的Invenio存储库平台应用程序。前端服务器在应用程序前运行nginx HTTP服务器和uwsgi应用程序服务器,nginx另外负责提供静态内容。
3、数据存储
上传到Zenodo的所有文件都存储在CERN的EOS服务中,存储在18 PB的磁盘集群中。每个文件副本都有两个位于不同磁盘服务器上的副本。
对于每个文件,存储两个独立的MD5校验和。 Invenio存储一个校验和,用于检测从Invenio外部制作的文件的更改。其他校验和由EOS存储,用于自动检测和恢复磁盘上的文件损坏。
根据未来的访问模式,Zenodo可能会将存档和在线副本移至CERN的离线长期磁带存储系统CASTOR,以最大限度地降低长期存储成本。
EOS是来自大型强子对撞机(LHC)的物理数据的主要低延迟存储基础设施,CERN目前运行多个实例,总计150多PB的数据,预计每年增长30-50PB。 CERN的CASTOR系统目前管理着100多PB的LHC数据,这些数据经常被检查数据损坏。Invenio在EOS之上提供了一个像文件管理层这样的对象存储器,负责例如EOS。版本更改为文件。
4、元数据存储
Zenodo中的元数据和持久标识符存储在CERN数据库按需扩展的基础架构上运行的PostgreSQL实例中,每周12小时备份周期,每周一次将一个备份发送到磁带存储。元数据还在Elasticsearch集群中编入索引,以实现快速而强大的搜索。元数据以JSON格式存储在PostgreSQL中,由版本化的JSON Schemas描述。对Zenodo上的元数据记录的所有更改都是版本化的,并且发生在数据库事务中。
除了元数据和数据存储之外,Zenodo依赖Redis进行缓存,RabbitMQ和python Celery用于分布式后台作业。