tokenpocket官方|daos

首页
daos

tokenpocket官方|daos

作者： tokenpocket官方

2024-03-07 18:05:10

开源全闪存存储系统：Intel DAOS架构介绍 - 知乎

开源全闪存存储系统：Intel DAOS架构介绍 - 知乎切换模式写文章登录/注册开源全闪存存储系统：Intel DAOS架构介绍tao.chang随着闪存的价格不断下降，新型应用（AI，HPC，高性能的分析等）对性能的不断需求，导致目前看来全闪存分布式存储系统是一个大的发展趋势。Intel 的DAOS是目前能看到的唯一开源的高性能的全闪分布式存储系统。所以研究它的架构和实现对我们有极大的借鉴意义。自从2018年intel把自己维护的高性能Lustre文件系统卖给DDN后，intel就着力开发了DAOS，也就是被称为下一代Lustre高性能文件系统。主要用于HPC和AI等高性能场景中。DAOS是完全从头设计，完全运行在用户态的存储系统。主要针对大规模分布式非易失性内存介质。目前的介质主要是 SCM和 NVME SSD存储。用Persistent Memory Development Kit (PMDK)来把SCM通过memory map的方式直接访问。通过Storage Performance Development Kit (SPDK)库直接访问NVM-Express SSD盘。提供非阻塞IO事务，数据保护和自我修复，基于commodity硬件，End-to-End数据一致性。在对外接口上，通过libdaos实现了两类接口：Native key-value接口和Native array接口。可以理解为：DAOS同时实现了一个分布式的KV存储系统和一个分布式的类似Ceph RADOS的对象存储系统。基于libdaos库可以实现各种应用层的接口：POSIX filesystem，HDF5，HDFS Connector等。DAOS主要采用了目前众所周知的一些技术：By OS kernel：直接使用PMDK，SPDK等用户态库绕过操作系统直接访问SCM和NVME SSD等高性能设备。RDMA：实现用户空间数据端到端的数据拷贝。UTL（user level thread）用户态线程或者称为协程的概念。通过上述技术，DAOS可以是完全实现在用户态的高性能分布式存储系统。DAOS 基本架构 DAOS提供数据接口Native key-value:一种是比较熟悉的Key/Value模型，提供kv存储接口。例如put，get，remove，list操作。Native Array：一种提供Array Object，也就是一般理解的对象存储。比如Ceph中RADOS的对象存储一个对象默认4M，就可以把这个4M的对象看成是一个Array Object:可以修改对象的任意字节，也就是支持随机读写，punch，删除操作。DAOS 生态系统DAOS 的生态DAOS的生态系统可以看到，DAOS的设计目标不是提供一个单一应用的存储系统。DAOS提供了两个基本的接口：Native Array和Native key-value接口。基于这两个接口，提供了众多的应用接口：Posix File System科学计算的HDF5格式高性能计算MPI_IO接口大数据 HDFS接口AI：Pytorch，TensoFlow其它Domain-Specific Data ModelDAOS的架构介绍架构图整个DAOS系统从物理部署的角度分为：管理节点：Admin Node，用于部署管理工具dmg，通过DAOS Mgmt API访问服务器节点。客户端节点：Client Node存储节点：Storage Node这三类节点都可以部署在物理节点，虚拟机或者容器中（Node/VM/Container）。DAOS系统从逻辑视图可以划分为：Control Plane：Control Plane是系统的控制面或者管理面，用golang语言开发。客户端和服务端之间用基于tcp/ip的gRPC通信。和对应本机上Data Plane组件通过基于Unix Socker的dRPC通信。Data Plane为数据平面：图示中红色的部分。用C语言开发，主要实现了IO的数据通道。通过高性能的RDMA实现数据通信。daos_server是一个daemon进程，部署在存储节点的control plane侧，用于管理本地节点挂载的SCM和NVME SSD存储设备。daos_engine是一个daemon进程，部署在存储节点的Data Plane侧提供数据服务器，一个Target（存储设备）对应一个daos_engine进程。daos_agent是一个部署在客户端节点上的control plane侧独立的进程，主要的两个作用：为daos client library提供鉴权和权限管理；通过gRPC访问存储节点获控制面获取集群和pool的状态信息。daos Library（libdaos）是部署在client node上的data plane侧，是数据的读写的客户端。通信网络gRPC通过tcp/ip实现了网络通信，主要用于管理面客户端和服务端之间的通信。dRPC基于Unix Domain Socket用于本地进程之间通信:本机control plane和data plane组件通信。CART：用户态实现的网络通信库用于Data Plane(数据面）侧提供低延迟高带宽的网络通信，支持RDMA capabilities 和 scalable collective operations操作。基本概念介绍DAOS System：是一组物理节点集合，通过一个System Name标识，由一组Storage Node组成。一个Storage Node只能属于一个DAOS System。一个DAOS pool不能跨多个Daos System。可以理解拥有独立的物理空间的完整的存储系统。DAOS Storage Node：一个Storage Node包括多个DAOS target物理设备。DAOS Target：可以理解为物理存储设备（可以理解为ceph OSD），设备包括:single-ported SCM module NVMe SSD attached to a single storage node一个single-ported SCM或者NVMe SSD 对应一个Target：类似于ceph中的一个磁盘对应一个OSD的概念。Target 没有针对存储介质故障实现任何内部数据保护机制。因此，一个 Target 就是一个单点故障，同时也是故障单元。每个 Target 有相关的状态，状态可以是“up and running”，也可以是“down and not available”。DAOS pool：逻辑存储空间，包含若干pool shards （可以理解为ceph pool概念）一个pool里包含若干个pool shard每个pool shard 分布在一个target上。一个target上可以承载多个pool shard。pool shard是target上的子空间。分配给 Pool 的总空间在创建时确定，后期可以通过调整所有 Pool Shard 的大小（不超过 Target 专用的存储容量限制）或添加更多 Target（添加更多 Pool Shard）来扩展它。Pool Shard: target 上的一个逻辑子空间DAOS Container:每个container是一个独立的对象地址空间，类似于S3的bucket概念。Container被一个UUID标识。这个概念对用户是可见的，在使用时需要用户自己创建。一个Data Pool 可以承载多个(数量在100个左右）DAOS Container 。每个 Container 都是一个私有的对象地址空间，可以对其进行事务性修改，并且独立于在同一 Pool 中的其他 Container。Container 是快照和数据管理的单元。一个 Container 内的 DAOS 对象通过Jump Consistent Hash算法可以分布在当前 Pool 的任何一个 Target 上以提高性能和恢复能力。Container级别实现快照和事务的功能。container的相关的属性信息Object schema: 定义了对象的数据分布和冗余信息：例如动态或者静态Stripe，副本或者EC等参数。在一个Container中的每个对象可能拥有不同的 object schema。Object class 预定义了一组object schema。每个object class 有一个ID，并在pool层级上关联特定的 schema。每个对象关联该object class ID，从而关联对应定义好的Object Schema.每个层级大概的数量DAOS Object: DAOS 基本的对象的概念。DAOS object设计时尽量保持简单。除了对象的type和schema之外，并没有保存time，size，owner，permissions或者 opener等信息。对象的layout的信息依据算法（jump consistent Hash）根据object ID和当前pool map计算出来。DAOS Object有三种API：multi-level key-array：key分为两部分：dkey和akey，拥有相同dkey的key分布在相同的target上。value可以是变长的不支持partial overwrite操作的值，也可以是定长的值Key-value：提供简单key和变长的value，支持传统的put，get，remove，list操作。Array API：一维的定长array，可以长达64bit，支持任意的extent read，extent write，extent puch操作。管理数据和集群服务DAOS相关的管理数据例如pool，container，management service等集群相关的数据保存在基于Raft协议实现的key-value的高可用的存储系统。类似于Ceph的monitor的功能。DAOS的 RSVC（replicated service）实现了一个基于Raft协议的服务框架，和具体的RDB（replicated database）组合来实现高可用，持久化保存相应的管理数据。数据分布Placement设计DAOS的数据分布算法基于Jump consistent hash来实现分布式系统的数据分布。实现了object到副本所在的 targets的映射关系的计算。输入参数为objectID和pool map信息，输出为该对象发布的target列表。object identifier ----（jump consistent hash）------> list of targets副本一致性DAOS支持副本和EC两种数据高可用模式。通过改进的两阶段提交算法DTX（DAOS Two Phase Commit）实现副本一致性。Epoch & Timestamp Ordering每个DAOS IO操作都会带一个timestamp，该timestamp也被称为epoch, 一个epoch是一个64-bit的整数，该64位的整数包括了logical和physical clocks（参考 HLC paper）. DAOS内部提供了epoch和traditional POSIX time的转换。DAOS Data ModelDAOS API 支持分布式事务，允许对属于同一容器的对象的任何更新操作合并到单个 ACID 事务中。通过基于多版本时间戳排序的无锁乐观并发控制机制提供分布式一致性。 DAOS 可以基于版本控制机制创建持久的Container快照，该快照提供基于Container的实时分布一致性视图。写操作流程图：读写流程写操作由客户端发起：客户端发送给DTX Leader节点Leader节点通知所有副本做本地事务的修改，本地事务DTX的状态变为prepared状态Leader收到所有本地事务修改成功后（包括自己成功修改本地事务），把DTX的状态变为committable状态，并返回给客户端。Leader在后台异步的提交事务，使事务处于提交的状态：可以是定时提交，或者达到一定的事务数量后batch提交，或者后续的RPC请求中顺带一起提交。如果有slave在prepared阶段失败，Leader向剩余存活的节点发送abort DTX的操作。客户端如果收到abort DTX操作，表明事务提交失败，客户端会不断的重试，直到该target被标记为永久故障，系统会通过分布算法选择新的一组target重新提交事务。如图读写流程所示：虚线是控制流，灰色箭头是数据流。对于DAOS的写操作特别要强调的是：控制流和数据流分离的模式：客户端发送写操作的rpc控制请求给primary server，primary server发送控制请求rpc请求给slave。在数据流方面：slave server 和 master server同时请求RDMA，直接从client的buffer中读取数据到storage server上，然后返回。读操作流程当需要读取数据时，客户端可以向任意数据副本发送请求。在server端，检索正在提交的事务（active DTX records），如果有对应读取对象相关的分布式事务DTX都已经提交或者处于可提交状态，就可以读取数据。如果对应的DTX的状态为prepared状态，就需要通知客户端，重新发起请求给Leader来获取最新的数据。DTX Leader Election在DTX模型中，leader副本做了如下的工作：所有的修改操作都发送给leader，leader做必要的一致性检查（sanity check）读操作，如果DTX处于prepared状态，需要把请求转发给LeaderLeader的选举是基于每个Object或DKey的粒度的。也就是每个对象都需要自己通过选举流程选出自己的Leader。具体的选择算法比较简单，这里不介绍。故障检测和数据修复分层的故障域（Hierarchical Fault Domains）DAOS支持可分层的故障域模型。使的数据的副本分布在不同的故障域中，保障数据的可靠性。DAOS故障域相关的信息保存在元数据信息中。故障检测DAOS通过一个gossip-based的称为SWIM的协议来完成节点的故障检测。该协议可以准确，有效的检测故障。每个DAOS stroage target会有定期本地健康检测，当本地IO出现错误，就会启动一个检测流程：通过判断IO的错误码和设备的SMART/Health信息来评估检测状态，如果确定失效，该target就会被标记为faulty。检测到故障的daos target后，该target将从pool map中标记删除。一旦标记删除，新的pool map信息会被主动推送到所有的Storage target节点上。此时，pool将处于降级的状态。客户端或者Storage Node上的PRC请求将一直重试或者超时，直到有新的target组成新的pool map。数据修复数据修复以对象为基本单位存活节点会被通知到有失效节点，然后存活节点全量扫描本地所有对象，通过Jump Consistent hash算法计算副本情况，如果受到影响，自己发起相应对象的修复。故障节点恢复数据依然迁移回原来的节点（基于Jump Consistent Hash算法）所有的对象需要扫描检测版本确认一致性故障节点恢复所有的数据恢复都需要全量扫描object列表来完成恢复。而不是基于日志记录只恢复相应修改的对象。这种设计比较简单粗暴：需要全量扫描对象列表。也许对于DAOS系统，对象列表（对象元数据）保存在SCM中，全量扫描的代价似乎影响不大。集群扩容自动完成数据均衡扩容基于Jump Consistent Hash算法，也是以object为基本的单位在扩容期间，旧的设备依然提供读写服务直到扩容完成，写操作也同时写在新的设备上。集群扩容本地存储VOSVOS（versioning Object Store）VOS(version object stroage)是带多版本的本地对象存储系统。类似于Ceph的Bluestore的角色。元数据存储在SCM上，使用per-server的pmemobj pool存储。数据小IO存储在SCM中，大块IO存储在NVMe-SSD上。 SCM存储空间使用PMKD的 pmemobj pool分配。NVMe磁盘使用SPDK Blob库分配。小块IO在SCM，大块IO直接落盘NVMe SSD上。同时支持后台小块IO的合并成大块IO并迁移到NVMe SSD上。Small IO 合并迁移VOS最大的设计亮点是：基于日志型的多版本机制。所有的写操作都带有epoch，并且都是追加写操作，不会覆盖原有的数据。基于多版本机制可以方便实现事务机制，snapshot，数据恢复等。VOS内部保存了三个index：object index： object ID + epoch ---> object metadataactive DTX records：正在提交的事务记录commited DTX records：已经提交的事务记录KV StoreVOS 提供了一个基于SCM的multi-version，concurrent Key-Value Store。KV支持高性能的insert，update，delete和scan操作。updat和delete操作都是添加一条新的记录。两种Key：Hashed Keys和 Direct Keys。Hashed Keys基于Hash值产生的Key，优点是快速查找，分布均匀，缺点是不支持SCAN操作。Direct Keys支持SCAN操作。 Direct Keys有两种：一种是Lexical Keys：基于 lexical ordering，其长度最大支持80字节。另一种是Integer Keys，用一个unsigned 64-bit integers做为key。在对比了红黑树和B+树的优缺点后，VOS使用了B+树做为存储结构。Key Array StoresVOS实现了数据多版本的读写:所有的写操作都是追加写到新的地址空间中，并更新VOS中object的metadata index值。VOS的对象元数据保存了多版本的信息，通过R-Tree实现空间查找。VOS R-Tree extentsR-Tree介绍R-Trees provide a reasonable way to represent both extent and epoch validity ranges in such a way as to limit the search space required to handle a read request. VOS provides a specialized R-Tree, called an Extent-Validity tree (EV-Tree) to store and query versioned array indices.Blob I/O(BIO)BIO用于NVME SSD磁盘空间管理和分配。DAOS的control plane处理SSD的配置管理。DAOS data plane通过SPDK处理数据块的分配，使用的算法为VEA（Versioned Extent Allocator）数据分配算法。Background Aggregation操作：用于数据从SCM合并小的数据块到NVME SSD上大的数据块。应用层介绍DAOS POSIX Support在libdaos接口之上，基于daos的key-value接口，提供了posix的文件系统的dentry和inode相应的存储，从而提供了posix文件系统的接口。两种即可：dfuse，基于fuse的文件系统接口；第二个是interception library，提供了一个dfs的用户态库，用于截获并转发系统调用。posix 架构总结和评论DAOS由于从头设计，采用了一些关键的技术：by pass kernel技术如：PMDK,SPKD技术，User Thread等，主要的设计亮点如下：VOS的设计比较有参考价值：采用了基于Log的对象存储系统设计，所有的更新操作都以追加的形式写到新的空间，丢弃了传统的in-place update的设计模式。采用这种设计：优点比较明显：无论是顺序写还是随机写操作都比较友好。后续可以较容易的支持snapshot操作。特别是可以支持本地事务的提交和回滚：支持redo和undo两种操作，支持分布式事务的提交。缺点：读操作需要处理多版本和可能的大量的元数据操作；顺序读操作可能大量分散成大量随机读IO。这对于SCM和NMVE SSD似乎问题不大。对于DAOS的设计目标，元数据保存在SCM中，性能和空间可能都不是问题。顺序读操作或许可以通过scatter-gather模型在SCM上可以缓解。数据从SCM上通过merge合并到大块的 NVMe SSD上也可以部分缓解。有了VOS的日志型的多版本设计，副本一致性就通过了传统的two-phrase来实现相对就比较简单。总的来说，DAOS从架构设计的角度，还是比较合理的。笔者比较看好DAOS的未来发展，继续持续关注学习中。参考《DAOS: A Scale-Out High Performance Storage Stack for Storage Class Memory》编辑于 2023-12-12 22:42・IP 属地北京开源开源项目闪存（NAND）赞同 319 条评论分享喜欢收藏申请

从两个模型带你了解DAOS 分布式异步对象存储 - 知乎

从两个模型带你了解DAOS 分布式异步对象存储 - 知乎首发于程序员之家切换模式写文章登录/注册从两个模型带你了解DAOS 分布式异步对象存储华为云开发者联盟已认证账号摘要：分布式异步对象存储 (DAOS) 是一个开源的对象存储系统，专为大规模分布式非易失性内存 (NVM, Non-Volatile Memory) 设计，利用了 SCM(Storage-Class Memory) 和 NVMe(Non-Volatile Memory express) 等的下一代 NVM 技术。本文分享自华为云社区《DAOS 分布式异步对象存储》，原文作者：debugzhang 。分布式异步对象存储 (DAOS) 是一个开源的对象存储系统，专为大规模分布式非易失性内存 (NVM, Non-Volatile Memory) 设计，利用了 SCM(Storage-Class Memory) 和 NVMe(Non-Volatile Memory express) 等的下一代 NVM 技术。DAOS 是一种横向扩展的对象存储，可以为高性能计算应用提供高带宽、低延迟和高 IOPS 的存储容器，并支持结合仿真、数据分析和机器学习的下一代以数据为中心的工作流程。与主要针对旋转介质设计的传统存储堆栈不同，DAOS 针对全新 NVM 技术进行了重新构建，可在用户空间中端对端地运行，并能完全绕开操作系统，是一套轻量级的系统。DAOS 提供了一种为访问高细粒度数据提供原生支持的 I/O 模型，而不是传统的基于高延迟和块存储设计的 I/O 模型，从而释放下一代存储技术的性能。与传统的缓冲区不同，DAOS 是一个独立的高性能容错存储层，它不依赖其它层来管理元数据并提供数据恢复能力。DAOS 服务器将其元数据保存在持久内存中，而将批量数据直接保存在 NVMe 固态盘中。DAOS 特性DAOS 依靠 OFI(OpenFabric Interface) 绕过操作系统，将 DAOS 操作交付给 DAOS 存储服务器，充分利用架构中的任何远程直接内存访问 (RDMA, Remote Direct Memory Access) 功能，进行低延迟、高消息速率的用户空间通信，并将数据存储在持久内存和 NVMe 固态盘中。DAOS 的键值存储接口提供了统一的存储模型，通过迁移 I/O 中间件库实现对 DAOS API 的原生支持后，就能利用 DAOS 丰富的 API 和先进功能，例如 HDF5、MPI-IO 和 Apache Arrow。DAOS 还提供 POSIX 的仿真。POSIX 不再是新数据模型的基础，而是像其他 I/O 中间件一样，POSIX 接口将构建为 DAOS 后端 API 顶部的库。DAOS 的 I/O 操作会被记录并存储到 SCM 维护到持久索引中，每次 I/O 都用一个特定时间戳标记，并与数据集的特定版本关联。内部不执行读-修改-写 (read-modify-write) 操作，写入操作是无损的，对对齐不敏感。在读取请求时，DAOS 服务器遍历持久索引，创建聚合 RDMA 描述符，从而直接在应用程序提供的缓冲区中重建所请求的版本的数据。SCM 直接映射到 DAOS 服务地址空间的内存，DAOS 服务通过直接加载/存储来管理持久索引。根据不同 I/O 的特性，DAOS 服务可以决定将 I/O 存储在 SCM 或 NVMe 中：对延迟敏感的I/O（如应用程序元数据和字节粒度数据）通常存储在 SCM 中；检查点和批量数据存储在 NVMe 中。这种方法允许 DAOS 将数据流式传输到 NVMe 中，并在 SCM 中维护内部元数据索引，为批量数据提供原始 NVMe 带宽。持久内存开发工具包 PMDK 管理对 SCM 的事务性访问，存储性能开发工具包 SPDK 对 NVMe 设备进行用户空间 I/O 操作。DAOS 可以提供：超高细粒度、低延迟和真正零拷贝的 I/O非阻塞型数据和元数据操作，以支持 I/O 和计算重叠先进的数据放置，以解决故障域由软件管理冗余，可通过在线重建，支持复制和擦除代码端到端 (E2E) 数据完整性可扩展的分布式事务，提供可靠的数据一致性和自动恢复功能数据集快照功能安全框架，用于管理存储池的访问控制软件定义存储管理，用于调配、配置、修改和监控存储池通过 DAOS 数据模型和 API，为 I/O 中间件库（例如 HDF5、 MPI-IO 和 POSIX）提供原生支持。应用无需移植代码，即可直接使用 DAOS APIApache Spark 集成使用发布/订阅 API，实现原生生产者/消费者工作流程数据索引和查询功能存储内计算，以减少存储和计算节点之间的数据移动容灾工具与 Lustre 并行文件系统无缝集成，并能扩展到其他并行文件系统，从而为跨多个存储层的数据访问提供统一的命名空间数据搬运器，用于在 DAOS 池之间迁移数据集，将数据集从并行文件系统迁移到 DAOS，反之亦然DAOS 组件一个数据中心可能有数十万个计算节点，通过一个可伸缩的高性能结构相互连接，其中所有节点或称为存储节点的节点子集都可以直接访问 NVM 存储。DAOS 安装涉及几个可以集中或分布式的组件。DAOS 系统和存储节点DAOS系统由一个系统名标识，它由一组连接到同一结构的 DAOS 存储节点组成。DAOS 存储节点为每个节点运行一个 DAOS 服务实例，该实例为每个物理套接字启动一个 DAOS I/O 引擎进程。这些 DAOS 服务的信息被记录到系统映射中，该映射为每个 I/O 引擎进程分配一个唯一的整数秩。两个不同的 DAOS 系统由两组不相交的 DAOS 服务器组成，它们之间无法相互配合。DAOS 服务DAOS 服务是一个多租户守护进程，运行在每个存储节点的 Linux 实例上（物理节点、虚拟机或容器）。服务的 I/O 引擎子进程通过网络导出本地连接的 SCM 和 NVM 存储。服务监听一个管理端口（由 IP 地址和 TCP 端口号寻址），以及一个或多个结构端点（由网络 URI 寻址）。DAOS 服务通过 /etc/DAOS 中的 YAML 文件进行配置，包括其 I/O 引擎子进程的配置。服务的启动可以与不同的守护进程管理或编排框架集成（systemd 脚本、Kubernetes 服务、或类似 pdsh 和 srun 的并行启动程序）。I/O引擎在 DAOS I/O 引擎中，存储静态地跨越多个 Target 分区，增强并发能力。为了避免竞争，每个 Target 都有其私有存储、自己的服务线程池以及专用的网络上下文，这些上下文可以直接通过结构寻址，而不依赖于托管在同一存储节点上的其他 Target 。SCM 模块通常以 AppDirect interleaved 模式配置。因此，它们作为每个套接字（在 fsdax 模式）的单个 PMEM 命名空间呈现给操作系统。当配置每个 I/O 引擎的 N 个 Target 时，每个 Target 都使用该套接字 fsdax 的 SCM 容量的 \frac{1}{N}N1，与其它 Target 独立。每个 Target 还使用连接到此套接字的 NVMe 驱动器容量的一小部分。TargetTarget 没有针对存储介质故障实现任何内部数据保护机制。因此，一个 Target 就是一个单点故障，同时也是故障单元。动态状态与每个 Target 相关联：其状态可以是“up and running”，也可以是“down and not available”。Target 是性能的单位。与 Target 关联的硬件组件（如后端存储介质、CPU 核心和网络）的能力和容量有限。DAOS I/O 引擎实例导出的 Target 数是可配置的，取决于底层硬件（I/O 引擎实例的 SCM 模块数和 NVMe SSD 数）。I/O 引擎的 Target 数的最佳配置是该 I/O 引擎服务的 NVMe 驱动器数的整数倍。存储 API、应用程序接口和工具应用程序、用户和管理员可以通过两个不同的客户端 API 与 DAOS 系统交互。管理 API 提供了管理 DAOS 系统的接口。它旨在与不同供应商的存储管理或开源编排框架集成。dmg 命令行工具是在 DAOS 的管理 API 上构建的。DAOS 库 libdaos 实现了 DAOS 存储模型，主要提供给希望在 DAOS 系统中存储数据集的应用程序和 I/O 中间件的开发人员。用户常用的 daos 命令等的也构建在 API 之上，允许用户通过命令行管理数据集。应用程序可以通过本机 DAOS API、I/O 中间件库（如 POSIX 仿真、MPI-IO、HDF5）或已与本机 DAOS 存储模型集成的 Spark 或 TensorFlow 等框架直接访问存储在 DAOS 中的数据集。代理DAOS 代理是驻留在客户端节点上的守护进程，通过与 DAOS 库交互验证应用程序进程。它是一个可信任的实体，支持使用证书对 DAOS 客户端进行签名。DAOS 代理支持不同的身份验证框架，并使用 Unix 域套接字与客户端库通信。存储模型DAOS Pool 是分布在 Target 集合上的存储资源预留。分配给每个 Target 上的 Pool 的实际空间称为 Pool Shard。分配给 Pool 的总空间在创建时确定，后期可以通过调整所有 Pool Shard 的大小（在每个 Target 专用的存储容量限制内）或跨越更多 Target（添加更多 Pool Shard）来随时间扩展。Pool 提供了存储虚拟化，是资源调配和隔离的单元。DAOS Pool 不能跨多个系统。一个 Pool 可以承载多个称为 DAOS Container 的事务对象存储。每个 Container 都是一个私有的对象地址空间，可以对其进行事务性修改，并且独立于存储在同一 Pool 中的其他 Container。Container 是快照和数据管理的单元。属于 Container 的 DAOS 对象可以分布在当前 Pool 的任何一个 Target 上以提高性能和恢复能力，并且可以通过不同的 API 访问，从而高效地表示结构化、半结构化和非结构化数据。下表显示了每个 DAOS 概念的目标可伸缩性级别：DAOS PoolPool 由唯一的 Pool UUID 标识，并在称为 Pool 映射的持久版本控制列表中维护 Target 成员身份。成员资格是确定的和一致的，成员资格的变更是按顺序编号的。Pool 映射不仅记录活跃 Target 的列表，还以树的形式包含存储拓扑，用于标识共享公共硬件组件的 Target。例如，树的第一级可以表示共享同一主板的 Target，第二级可以表示共享同一机架的所有主板，最后第三级可以表示同一机房中的所有机架。该框架有效地表示了层次化的容错域，然后使用这些容错域来避免将冗余数据放置在发生相关故障的 Target 上。在任何时候，都可以将新 Target 添加到 Pool 映射中，并且可以排除失败的 Target。此外，Pool 映射是完全版本化的，这有效地为映射的每次修改分配了唯一的序列，特别是对于失败节点的删除。Pool Shard 是永久内存的预留，可以选择与特定 Target 上 NVMe 预先分配的空间相结合。它有一个固定的容量，满了就不能运行。可以随时查询当前空间使用情况，并报告 Pool Shard 中存储的任何数据类型所使用的总字节数。一旦 Target 失败并从 Pool 映射中排除，Pool 中的数据冗余将自动在线恢复。这种自愈过程称为重建。重建进度定期记录在永久内存中存储的 Pool 中的特殊日志中，以解决级联故障。添加新 Target 时，数据会自动迁移到新添加的 Target，以便在所有成员之间平均分配占用的空间。这个过程称为空间再平衡，使用专用的持久性日志来支持中断和重启。Pool 是分布在不同存储节点上的一组 Target，在这些节点上分布数据和元数据以实现水平可伸缩性，并使用复制或纠删码 (erasure code) 确保持久性和可用性。创建 Pool 时，必须定义一组系统属性以配置 Pool 支持的不同功能。此外，用户还可以定义将持久存储的属性。Pool 只能由经过身份验证和授权的应用程序访问。DAOS 支持多种安全框架，例如 NFSv4 访问控制列表或基于第三方的身份验证 (Kerberos)。连接到 Pool 时强制执行安全性检查。成功连接到 Pool 后，将向应用程序进程返回连接上下文。如前文所述，Pool 存储许多不同种类的持久性元数据，如 Pool 映射、身份验证和授权信息、用户属性、特性和重建日志。这些元数据非常关键，需要最高级别的恢复能力。因此，Pool 的元数据被复制到几个来自不同高级容错域的节点上。对于具有数十万个存储节点的非常大的配置来说，这些节点中只有很小的一部分（大约几十个）运行 Pool 元数据服务。在存储节点数量有限的情况下，DAOS 可以依赖一致性算法来达成一致，在出现故障时保证一致性，避免脑裂。要访问 Pool，用户进程应该连接到 Pool 并通过安全检查。一旦授权，Pool 就可以与任何或所有对等应用程序进程（类似 openg() POSIX 扩展）共享（通过 local2global() 和 global2local() 操作）连接。这种集体连接机制有助于在数据中心上运行大规模分布式作业时避免元数据请求风暴。当发出连接请求的原始进程与 Pool 断开连接时，Pool 连接将被注销。DAOS ContainerContainer 代表 Pool 中的对象地址空间，由 Container UUID 标识。下图显示了用户（I/O 中间件、特定领域的数据格式、大数据或 AI 框架等）如何使用 Container 来存储相关数据集：与 Pool 一样，Container 可以存储用户属性。Container 在创建时必须传递一组属性，以配置不同的功能，例如校验和。要访问 Container，应用程序必须首先连接到 Pool，然后打开 Container。如果应用程序被授权访问 Container，则返回 Container 句柄，它的功能包括授权应用程序中的任何进程访问 Container 及其内容。打开进程可以与所有对等进程共享此句柄。它们的功能在 Container 关闭时被撤销。Container 中的对象可能具有不同的模式，用于处理数据分布和 Target 上的冗余，定义对象模式所需的一些参数包括动态或静态条带化、复制或纠删码。Object 类定义了一组对象的公共模式属性，每个 Object 类都被分配一个唯一的标识符，并在 Pool 级别与给定的模式相关联。一个新的 Object 类可以在任何时候用一个可配置的模式来定义，这个模式在创建之后是不可变的（或者至少在属于这个类的所有对象都被销毁之前）。为了方便起见，在创建 Pool 时，默认情况下会预定义几个最常用的 Object 类：如下所示，Container 中的每个对象都由一个唯一的 128 位对象地址标识。对象地址的高 32 位保留给 DAOS 来编码内部元数据，比如 Object 类。剩下的 96 位由用户管理，在 Container 中应该是唯一的。只要保证唯一性，栈的上层就可以使用这些位来编码它们的元数据。DAOS API 为每个 Container 提供了 64 位可伸缩对象 ID 分配器。应用程序要存储的对象 ID 是完整的 128 位地址，该地址仅供一次性使用，并且只能与单个对象模式相关联。<---------------------------------- 128 bits ---------------------------------->

--------------------------------------------------------------------------------

|DAOS Internal Bits| Unique User Bits |

--------------------------------------------------------------------------------

<---- 32 bits ----><------------------------- 96 bits ------------------------->Container 是事务和版本控制的基本单元。所有的对象操作都被 DAOS 库隐式地标记为一个称为 epoch 的时间戳。DAOS 事务 API 允许组合多个对象更新到单个原子事务中，并基于 epoch 顺序进行多版本并发控制。所有版本更新都可以定期聚合，以回收重叠写入所占用的空间，并降低元数据复杂性。快照是一个永久引用，可以放置在特定的 epoch 上以防止聚合。Container 元数据（快照列表、打开的句柄、对象类、用户属性、属性和其他）存储在持久性内存中，并由专用 Container 元数据服务维护，该服务使用与父元数据 Pool 服务相同的复制引擎或自己的引擎，这在创建 Container 时是可配置的。与 Pool 一样，对 Container 的访问由 Container 句柄控制。要获取有效的句柄，应用程序进程必须打开 Container 并通过安全检查。然后，可以通过 Container 的 local2global() 和 global2local() 操作与其他对等应用程序进程共享此句柄。DAOS Object为了避免传统存储系统常见的扩展问题和开销，DAOS 有意将对象简化，不提供类型和架构之外的默认对象元数据。这意味着系统不维护时间、大小、所有者、权限，甚至不跟踪开启者。为了实现高可用性和水平伸缩性，DAOS 提供了许多对象模式（复制/纠删码、静态/动态条带化等）。模式框架是灵活的，并且易于扩展，以允许将来使用新的自定义模式类型。模式布局是在对象标识符和 Pool 映射打开的对象上通过算法生成的。通过在网络传输和存储期间使用校验和保护对象数据，确保了端到端的完整性。可以通过不同的 API 访问 DAOS 对象：Multi-level key-array API 是具有局部性特征的本机对象接口。密钥分为分发密钥 (dkey) 和属性密钥 (akey)。dkey 和 akey 都可以是可变长度的类型（字符串、整数或其它复杂的数据结构）。同一 dkey 下的所有条目都保证在同一 Target 上并置。与 akey 关联的值可以是不能部分修改的单个可变长度值，也可以是固定长度值的数组。akeys 和 dkey 都支持枚举。Key-value API 提供了一个简单的键和可变长度值接口。它支持传统的 put、get、remove 和 list 操作。Array API 实现了一个由固定大小的元素组成的一维数组，该数组的寻址方式是 64 位偏移寻址。DAOS 数组支持任意范围的读、写和 punch 操作。事务模型DAOS API 支持分布式事务，允许将针对属于同一 Container 的对象的任何更新操作组合到单个 ACID 事务中。分布式一致性是通过基于多版本时间戳排序的无锁乐观并发控制机制提供的。DAOS 事务是可串行化的，可以在特定的基础上获取部分需要的数据集。DAOS 版本控制机制允许创建持久的 Container 快照，该快照提供 Container 的实时分布一致性视图，该视图可用于构建生产者-消费者管道。Epoch 和时间戳每个 DAOS I/O 操作都有一个称为 epoch 的时间戳。epoch 是一个 64 位整数，它集成了逻辑和物理时钟（详见 HLC paper）。DAOS API 提供了辅助函数，用于将 epoch 转换为传统的 POSIX 时间（即 struct timespec，详见 clock_gettime(3)）。Container 快照如下图所示，Container 的内容可以随时快照。DAOS 快照非常轻量级，并且使用与创建快照的时间相关联的 epoch 进行标记。一旦创建成功，快照将一直保持可读性，直到它被显式销毁。在特定快照未被销毁前，Container 的内容可以回滚到该快照。Container 快照功能支持本机生产者/消费者管道：一旦成功写入数据集的一致版本，生产者 (Producer) 将生成一个快照。使用者 (Consumer) 的应用程序可以订阅 Container 快照事件，以便在生产者提交更新时可以处理新的更新。快照的不变性保证了使用者可以看到一致的数据，即使生产者继续进行新的更新。生产者和消费者实际上都在 Container 的不同版本上操作，不需要任何串行化操作。一旦生产者生成了数据集的新版本，使用者就可以查询两个快照之间的差异，并且只处理增量修改。分布式事务与 POSIX 不同，DAOS API 不强制执行最坏情况下的并发控制机制来处理冲突的 I/O 操作。相反，各个 I/O 操作被标记为不同的 epoch，并按照 epoch 的顺序应用，而不管执行顺序如何。这个基准模型为不产生冲突的 I/O 工作负载的数据模型和应用程序提供了最大的可伸缩性和最高的性能。典型的例子是 MPI-IO 集合操作、POSIX 文件读/写操作和 HDF5 数据集读/写操作。对于需要将冲突串行化的部分数据模型，DAOS 提供了基于多版本并发控制的分布式可串行化事务。当不同的用户进程要覆盖与 dkey/akey 关联的值时，通常需要该事务。例如 DAOS 上的 SQL 数据库，或者由非一致的客户端并发访问的一致的 POSIX 命名空间。在同一操作的上下文中提交的所有 I/O 操作（包括读取）将使用相同的 epoch。DAOS 事务机制自动检测传统的读/写、写/读和写/写冲突，并中止其中一个冲突事务（事务在 -DER_RESTART 参数下提交失败）。然后，用户/应用程序必须重新启动失败的事务。在目前的实现中，事务 API 具有以下限制，这些限制将在未来的 DAOS 版本中解决：不支持 Array API通过同一上下文环境执行的对象获取/列表和键值获取/列表操作所进行的事务对象更新和键值放入操作不可见。点击关注，第一时间了解华为云新鲜技术~发布于 2021-03-31 10:42存储技术高性能开源赞同 10添加评论分享喜欢收藏申请转载文章被以下专栏收录程序员之家欢迎投稿、交流好

GitHub - daos-stack/daos: DAOS Storage Stack (client libraries, storage engine, control plane)

Toggle navigation

Product

Actions

Automate any workflow

Packages

Host and manage packages

Security

Find and fix vulnerabilities

Codespaces

Instant dev environments

Copilot

Write better code with AI

Code review

Manage code changes

Issues

Plan and track work

Discussions

Collaborate outside of code

Explore

All features

Documentation

GitHub Skills

Blog

Solutions

For

Enterprise

Teams

Startups

Education

By Solution

CI/CD & Automation

DevOps

DevSecOps

Resources

Learning Pathways

White papers, Ebooks, Webinars

Customer Stories

Partners

Open Source

GitHub Sponsors

Fund open source developers

The ReadME Project

GitHub community articles

Repositories

Topics

Trending

Collections

Pricing

Search or jump to...

Search code, repositories, users, issues, pull requests...

Clear

Search syntax tips

Provide feedback

We read every piece of feedback, and take your input very seriously.

Include my email address so I can be contacted

Cancel

Submit feedback

Saved searches

Use saved searches to filter your results more quickly

Name

Query

To see all available qualifiers, see our documentation.

Cancel

Create saved search

You signed in with another tab or window. Reload to refresh your session.

You signed out in another tab or window. Reload to refresh your session.

You switched accounts on another tab or window. Reload to refresh your session.

Dismiss alert

daos-stack

daos

Public

Notifications

Fork

283

Star

674

DAOS Storage Stack (client libraries, storage engine, control plane)

daos.io

License

View license

674

stars

283

forks

Branches

下一代开源分布式存储(vs Ceph)系统 - DAOS - 知乎

下一代开源分布式存储(vs Ceph)系统 - DAOS - 知乎首发于聊聊Ceph&Curve(分布式存储)切换模式写文章登录/注册下一代开源分布式存储(vs Ceph)系统 - DAOShongsongwu分布式存储&要点汇总本文译自DAOS: A Scale-Out High Performance Storage Stack for Storage Class Memory首先梳理下要点总结：DAOS是基于新型存储技术的开源存储系统这些新型存储技术包括持久化内存SCM，PMEM，SPDK，RDMA等。根据相关资料展示，阿里云的盘古2.0以及Azure等商业存储的新一代版本的优化也主要是基于这些新型技术的改造。Run-to-Completition软件栈基于Run-to-Completition，避免io过程中线程切换开销。Ceph的Crimson也是基于该线程模型改造。数据I/O端到端无内核调用开销通过PMDK+SPDK+RDMA技术，数据从应用发起到存储在分布式存储硬件设备的整个过程不会有内核调用。当然，如果是使用了dfuse，那么还是会有内核调用的，不过daos提供了部分系统调用的io 旁路。有趣的I/O复制流 --- 之前没见过这种玩法以3副本协议为例，client发起写的流程如下：Client通知主副本有写io，然后主通知两个从副本(到这里都只是控制流)，然后这3个副本通过RDMA直接从Client内存中读取数据使用持久化内存SCM的好处I/O时延更低更一致的性能因为普通ssd在GC时性能会严重下降，因此I/O性能无法保持一致提升ssd寿命普通SSD擦写次数是有限的，通过把小io聚合在SCM，合并下刷到SSD，进而减少io摘要分布式异步对象存储(DAOS )是一种开源的横向扩展存储系统，它从底层开始设计，以在用户空间支持存储类内存(S C M )和 NV M e。它的高级存储 AP I 支持结构化、半结构化和非结构化数据模型，克服了传统的基于P OS IX 的并行文件系统的限制。对于 HP C 工作负载， D AOS 提供直接的M PI-IO 和 H DF 5 支持，同时它也提供了传统的P OS IX 访问。本文描述了DAOS 存储引擎的体系结构及其高级应用接口。最后还展示了 D AOS 在IO500 基准测试中的初始性能。1 介绍数据密集型应用在商业、政府和学术界的出现，使得 I/ O 模型超出了传统存储系统的处理模式。现代 I/ O 工作负载的特点是，元数据与不对齐和碎片化的数据相结合的比例越来越大。传统的存储堆栈通过添加大量延迟和引入对齐约束，为这一类的工作负载提供了较差的性能。可负担的大容量持久性内存与高速 f a b ric 相结合的出现，为重新定义存储范式和高效支持现代 I /O 工作负载提供了独特的机会。这场革命需要对整个存储系统进行彻底的重新思考。为了释放这些新技术的全部潜力，新的存储系统必须从头拥抱字节粒度的 shared-nothing 接口。它还必须能够做到支持故障成为常态的大规模分布式存储，同时保持 fa b ric 上的低延迟和高带宽访问。D A O S 是一个完整的 I /O 架构，它将分布在 fa b ric 上的 SC M 和 N V M e 存储聚合到全局可访问的对象地址空间中，在不影响性能的情况下提供一致性、可用性和弹性保证。本文第 2 节描述了 S CM 和 N VM e 对传统 I /O 堆栈构成的挑战。第 3 节介绍了 D A OS 的体系结构，并解释了它如何与新的存储技术集成。第 4 节概述了 D A O S的数据模型和 I /O 接口，第 5 节介绍了 D A OS 的 I O 500 性能结果。2 使用传统并行文件系统的约束传统的并行文件系统建立在块设备之上。它们通过 OS 内核块 I /O 接口提交 I /O，该接口针对磁盘驱动器进行了优化。这包括使用 I /O 调度器来优化磁盘寻道、聚合和合并写入以修改工作负载的特征，然后将大量流数据发送到磁盘驱动器以实现高带宽。然而，随着像 3 D- x po int 这样的新存储技术的出现，与传统存储相比，它可以提供几个数量级的低延迟，为旋转磁盘构建的软件层成为这些新存储技术的纯粹开销。此外，大多数并行文件系统可以使用支持 R D M A 的网络作为快速传输层，以减少层之间的数据复制。例如，将数据从客户端的页缓存传输到服务器的缓冲缓存，然后将其持久化到块设备。但是，由于传统存储栈中对块 I /O 和网络事件都缺乏统一的轮询或进度机制，I/ O 请求处理严重依赖中断和多线程并发 RP C 处理。因此，I/O 处理期间的上下文切换将显著限制低延迟网络的优势。传统并行文件系统的厚重的软件调用栈，包括了缓存和分布式锁。虽然用户仍然可以使用 3 D N A N D 、3 D- x po in t 存储和高速结构来获得更好的性能，但也会因为软件栈带来的开销而失去这些技术的大部分好处。3 DAOS，一个为 SC M 和 N VM e 存储构建的存储系统分布式异步对象存储 ( D A O S) 是一个开源软件定义的对象存储，它是为大规模分布式非易失性内存 ( N V M ) 而设计的。它提供了一个 k e y -v a lu e 存储接口，并提供了事务性非阻塞 I /O 、版本化数据模型和全局快照等特性。本节介绍 D A OS 的体系结构，讨论 D A OS 的几个核心组件，并解释为什么 D A OS可以成为一个兼具高性能和弹性的存储系统。3.1 DAOS 系统架构D A OS 是一种利用存储类内存 (SCM )和 NVM express (N VMe )等下一代 N VM 技术的存储系统。它绕过所有 L inu x 内核 I /O，在用户空间端到端运行，并且在 I/O 期间不会执行任何系统调用。如图 1 所示， D A O S 构建在三个构建块上。第一个是持久性内存和持久性内存开发工具包 (PM D K) 。 D A O S 使用它来存储所有内部元数据、应用程序/ 中间件键索引和延迟敏感的小 I/O 。在系统启动期间， D A O S 使用系统调用来初始化对持久性内存的访问。例如，它将启用 da x 文件系统的持久性内存文件映射到虚拟内存地址空间。当系统启动并运行时， D A O S 可以通过诸如 loa d 和 sto re 之类的内存指令直接访问用户空间中的持久内存，而不是需要经过长长的的存储调用堆栈。持久性内存速度快，但容量低，成本效益低，因此仅靠持久性内存创建大容量存储层实际上是不可能的。 D A OS 利用第二个构建块， N VM e ssd 硬盘和存储性能开发工具包(SP D K )[7 ]软件，以支持大 I /O 以及更高延迟的小 I /O 。SP DK 提供了一个 C 库，可以链接到一个存储服务器，可以提供 direct 、零拷贝的数据传输到 N V M e ssd 。D A OS 服务可以完全从用户空间异步地通过 SP D K 队列对提交多个 I /O 请求，当SPDK I/O 完成后，在持久性内存中为之前存储到 ssd 中的数据创建索引。Lib fa b ric [8 ]和底层高性能结构，如 Om n i-Pa th Arc h ite ctu re 或 I nf ini Ban d (或标准TC P 网络) ，是 D A O S 的第三个构建块。L ib fa b ric 是一个库，它定义了 OFI 的用户空间 A PI ，并向应用程序或存储服务导出 fa b ric 通信服务。 D A O S 的传输层构建在M e rcu ry [9 ]之上，使用 libfa b ric / OFI 插件。它为消息和数据传输提供了一个基于回调的异步 A PI ，为推进网络活动提供了一个 thread-less轮询 A PI 。 D A O S 服务线程可以主动地从 M e rc u ry/libfa b ric 轮询网络事件，作为异步网络操作的通知，而不是使用中断，因为上下文切换会对性能产生负面影响。总而言之， D A OS 构建在新的存储和网络技术之上，完全在用户空间中运行，绕过所有 L inux 内核代码。因为它是专门为 S CM 和 N VM e 设计的，所以它不能支持基于磁盘的存储。传统的存储系统，如 Lu stre [11 ]、Sp ec trum Sca le [1 2 ]或 c ep f s[10 ]都可以用于基于磁盘的存储，可以在 D A O S 和这些外部文件系统之间移动数据。3.2 DAOS I/O 服务从堆栈分层的角度来看， D A OS 是一个 client-server模型的分布式存储系统。D A OS Client 是一个与应用程序集成的库，它运行在与应用程序相同的地址空间中。通过D A OS 的lib库暴露的的数据模型可以直接集成在将在第 4 节介绍的所有传统数据格式和中间件库中。DAOS I /O Server是一个多租户守护进程，可以直接在数据存储节点上运行，也可以在容器中运行。如前一节所介绍的那样，它可以直接访问持久内存和 N V M e ssd 。它将元数据和小 I /O 存储在持久内存中，将大 I /O 存储在 N VM e ssd 硬盘中。 D A O S Server不依赖于生成 p th rea d 来并发处理 I/ O。相反，它为每个传入的 I /O 请求创建一个 Argobots[6 ]用户级线程( U LT) 。 Argobots ULT 是与执行流(x strea m ) 相关联的轻量级执行单元，该执行流映射到 D A O S 服务的 p th rea d 。这意味着传统的 P O SI X I /O函数调用、p th rea d 锁或来自任何 U LT 的同步消息等待调用都可以阻塞执行流上所有 U LT 的进度。然而，由于 D A OS 使用的所有构建块都提供了一个非阻塞的用户空间接口，因此 D A OS I /O ULT 永远不会在系统调用时被阻塞。相反，它可以主动处理正在进行I /O 或网络请求的I/O 。I /O ULT 最终将由负责轮询来自网络和 SP D K 的完成事件的系统 ULT 重新调度。 U LT 创建和上下文切换非常轻量级。基准测试表明，一个 x strea m 每秒可以创建数百万个 U LT ，每秒可以进行超过1000 万个 ULT 上下文切换。因此，它非常适合 D A OS 服务器端 I /O 处理，它应该支持微秒级的 I/O 延迟 (图 2 )。3.3 数据保护和数据恢复D A OS 存储以对象的形式暴露给用户，允许用户通过 key-value或者key-array API来访问。为了避免扩展问题和维护每个对象元数据的开销( 如描述对象数据位置的对象布局 )， D A O S 对象仅由 1 28位 I D 标识，该 I D 有几个编码位来描述数据分布和对象的保护策略( 复制或擦除代码、条带计数等)。 D A O S 可以使用这些位作为 hits ，而对象 I D 的其余位作为伪随机种子，根据 D A OS 存储池的配置生成对象的布局。这就是所谓的算法对象布局。它类似于Ceph 的数据放置技术，只是 D A O S 不使用 C RU SH 作为算法。本文仅从high level 的角度描述数据保护与恢复协议。详细的放置算法和恢复协议信息可在在线 D A O S 设计文档中找到。数据保护为了获得超低延迟 I/ O, D A OS 存储服务器将应用程序的数据和元数据存储在连接到内存总线的 SCM 中，以及通过 PCI e 连接的 ssd 上。 D A O S 服务器使用 load /sto re 指令访问内存映射的持久内存，以及SP D K API 从用户空间访问 N V M e ssd 。如果持久内存中存在不可纠正的错误或 SS D存在介质损坏，那么在没有额外保护的情况下运行在 D A O S上的应用程序将导致数据/元数据丢失。为了保证弹性和防止数据丢失， D A OS 提供了复制和 EC ，用于数据保护和恢复。当启用数据保护时，可以复制 D A O S 对象，或将其分成数据和奇偶校验片段，然后存储在多个存储节点上。当存储设备故障或存储节点故障时， D A O S 对象仍然可以降级访问，并且可以通过副本或奇偶数据恢复数据冗余。复制和数据恢复复制确保了数据的高可用性，因为当任何副本存活时，对象都是可访问的。 D A OS 的复制使用主从协议进行写入: 主副本负责将请求转发给从副本，并处理分布式事务状态。D A OS 的主从模型与传统的复制模型略有不同，如图 3a 所示。主副本只将 RPC转发给从副本服务器。然后所有副本将发起一个 R DM A 请求，并直接从客户端缓冲区获取数据。 D A OS 之所以选择此模型，是因为在大多数 H PC 环境中，客户机和服务器之间的结构带宽远高于服务器之间的带宽( 服务器之间的带宽将用于数据恢复和再平衡 ) 。如果将 D A OS 部署在服务器之间带宽较高的非 h pc 用例中，则可以将DAOS 的数据传输路径更改为传统模型。D A O S 使用一种两阶段提交协议的变体来保证复制更新的原子性: 如果一个副本不能应用更改，那么所有副本也应该放弃更改。如果没有失败，这个协议是相当直接的。但是，如果一个处理复制写的服务器在两阶段事务期间失败， D A O S 将不会遵循传统的两阶段提交协议，该协议将等待故障节点的恢复。相反，它将失败节点排除在事务之外，然后通过算法选择不同的节点作为替换，并向前推进事务状态。如果失效节点在某一时刻又回来了，它会忽略其本地的交易状态，依靠数据恢复协议来赶上交易状态。当 D A O S 的健康监控系统检测到存储目标的故障事件时，它将该事件报告给基于高度复制的 R AF T pool service，该服务可以全局激活池中所有存储服务器上的重建服务。 D A O S server 的重建服务可以及时扫描存储在本地持久内存中的对象 id ，独立计算每个对象的布局，然后通过检查失败的目标是否在其布局内，找出所有受影响的对象。重建服务还将这些受影响的对象 id 发送到算法选择的后备存储服务器。然后，这些备用服务器通过从幸存的副本中提取数据来重建受影响对象的数据。在这个过程中，没有中心位置来执行数据/元数据扫描或数据重建:重建服务的I/O 工作负载将完全分散和并行化。纠删编码 (Erasure Coding)和数据恢复DAOS 还可以支持EC 用于数据的保护，EC比复制更节省空间和带宽，但需要更多的计算。由于 D A O S Client 是一个轻量级库，它与计算节点上的应用程序链接在一起，而计算节点比 D A O S Server拥有更多的计算资源，因此数据编码由客户机在写入时处理。客户端计算奇偶校验，为数据和奇偶校验片段创建 R DM A descriptors，然后向奇偶校验组的领导服务器发送 RPC 请求以协调写操作。 EC 的 RPC 和数据流与复制相同:E C 写入的所有参与者都应该直接从客户端缓冲区中提取数据，而不是从领导服务器缓存中提取数据 (图 3b )。 D A O S EC 还使用与复制相同的两阶段提交协议来保证对不同服务器的写入的原子性。如果写入与 EC 条带大小不一致，大多数存储系统必须通过读/ 编码/写过程来保证数据的一致性和奇偶校验。这个过程是昂贵且低效的，因为它将产生比实际 I / O大小多得多的流量。它还需要分布式加锁来保证读写之间的一致性。使用其多版本数据模型， D A O S 可以通过仅将部分写入数据复制到奇偶校验服务器来避免这个昂贵的过程。在一定的时间之后，如果应用程序继续写入并最终组成一个完整的条带，奇偶服务器可以简单地基于所有这些复制的数据计算奇偶校验。否则，奇偶校验服务器可以协调奇偶组中的其他服务器，从部分覆盖的数据及其旧版本中生成一个合并视图，然后为其计算奇偶校验，并将合并后的数据与新的奇偶校验一起存储。当发生故障时，与复制相比，用ec 保护来数据的降级模式读会更重：因为使用复制， D A OS客户端可以简单地切换到从不同的副本读取。但是使用 EC，客户端必须获取完整的数据条然后必须重建缺失的数据片段。e c 保护数据的降级模式写处理与复制相同:两阶段提交事务可以继续，而不会被故障服务器阻塞，相反，一旦为事务选择了后备服务器，它就可以立即继续。EC 的重建协议也类似于复制，但与复制相比，它将产生更多的数据移动。这是所有基于奇偶校验的数据保护技术的特点。端到端数据完整性DAOS 存储系统的典型故障有三种:•服务崩溃。 D A O S 通过运行 gossip-like 协议 SW I M 来捕获这一故障信息。•NVM e SSD 故障。 D A O S 可以通过 S PD K 轮询设备状态来检测这种类型的故障。• 存储介质故障导致的数据损坏。 D A O S 可以通过存储和验证校验和来检测这一点。为了支持端到端校验和和检测静默数据损坏，在将数据写入服务器之前， D A OS Client计算正在写入的数据的校验和。当接收到写操作时， D A OS Server端可以验证校验和，也可以直接存储校验和和数据而不进行验证。服务器端验证可以由用户根据性能要求启用或禁用。当应用程序回读数据时，如果读数据与原始写数据对齐，那么Server可以只返回数据和校验和。如果读取与原始写入不一致， D A OS Server将验证所有涉及的数据区段的校验和，然后计算正在读取的数据部分的校验和，并将数据和校验和返回给Client。然后CLient在将数据返回给应用程序之前再次验证校验和。如果 D A OS Client在读取时检测到校验和错误，它可以为这个特定对象启用降级模式，然后切换到另一个副本进行读取，或者在客户机上重构数据传输( 如果 Client受 E C 保护) 。Client 还将校验和错误报告回服务器。 D A OS Server将收集本地验证和清除检测到的所有校验和错误，以及 CLient报告的错误。当错误数量达到阈值时，服务器请求pool service ，将坏设备从存储系统中排除，并为其触发数据恢复。D A O S 的校验和存储在持久内存中，并受持久内存模块的 E C C 保护。如果持久性内存出现不可纠正的错误，存储服务将被 SI G B US 杀死。在这种情况下，pool service 将禁用整个存储节点，并在幸存的节点上启动数据恢复。4 DAOS 数据模型和 I/ O 接口本节描述 D A O S 的数据模型，以及通过该数据模型构建原生 A PI ，并解释如何在该数据模型上实现 PO SI X namespace 。4.1 DAOS 数据模型D A O S 数据模型有两种不同的对象类型:Array objects ,允许应用程序表示多维数组; k/v存储对象，支持常规 KV I /O 接口和多级 K V 接口。 K V 和 a rra y 对象都有版本数据，这允许应用程序进行破坏性更改并回滚到数据集的旧版本。 D A O S对象总是属于一个称为 D A OS 容器的域。每个容器都是一个私有对象地址空间，事务可以独立于存储在同一 D A OS 池中的其他容器对其进行修改。D A O S 容器将通过几个 I/O 中间件库暴露给应用程序，从而提供一个平滑的迁移路径，因为只需对应用程序进行最小的( 有时甚至没有 )更改。一般来说，今天所有的 I /O中间件都运行在 P OSI X 之上，并且涉及到将中间件数据模型序列化为目录和文件(字节数组) 的 P O SI X 模式。 D A OS 提供了更丰富的 API ，为中间件库和应用程序提供了更好、更高效的构建块。通过将 P O SI X 视为在 D A O S 上实现的中间件 I /O 库，可以支持构建在 P O SI X 之上的所有库。但与此同时，中间件 I / O 库可以被移植到D A O S 本地工作，这样可以绕过 P OSI X 序列化步骤，该步骤有几个缺点，本文将不讨论这些缺点。在 D A O S 库之上实现的 I /O 中间件库包括 P OSI X、 M PI - I/ O 和 H DF5 。将来会基于使用使用原生 D A O S 存储 A PI 来移植更多的 I /O 中间件和框架4.2 DAOS POSIX 支持POSI X 不是 D A OS 存储模型的基础。它被构建为 D A OS 后端 API 之上的库，就像任何其他 I /O 中间件一样。P OSI X 名称空间可以封装在 D A OS 容器中，并且可以由应用程序挂载到其文件系统树中。图 5 显示了用于 P OSI X 的 D A O S 的软件堆栈。P OSI X API 将通过使用 D A OS 存储引擎 A PI (通过 lib da o s)和 D A O S 文件系统 API (通 lib df s)的 Fuse驱动程序来使用。这通常会继承 F U S E 的开销，包括系统调用等。对于大多数文件系统操作来说，这种开销是可以接受的，但如果所有 I /O 操作都必须通过系统调用，则像读写这样的 I /O 操作实际上可能会招致显著的性能损失。为了对那些性能敏感的操作启用操作系统bypass ，通过在栈中添加一个拦截库。这个库将与 d fu se 一起工作，并允许拦截 P OSI X 读和写调用，以便通过 lib da o s 直接从应用程序上下文中发出这些I/O 操作(不需要任何应用程序更改 )。在图 5 中，在 d f u se/拦截库和 lib da o s 之间有一个层，称为 lib d f s。 lib d f s 层直接在 D A O S A PI 之上提供了一个类似 P O SI X 的 A PI 。它提供了本地 lib da o s 库之上的文件和目录抽象。在 lib d f s 中，P O SI X 命名空间封装在容器中。文件和目录都映射到容器内的对象。命名空间容器可以挂载到 L in u x 文件系统树中。封装的POSI X 文件系统的数据和元数据将完全分布在所有可用的存储的 DAOS 池中。dfuse 守护进程与 libdfs 相链接，来自 FUSE 的所有调用将先通过libdfs，然后再通过 libdaos，后者可以访问 DAOS 服务器提供的远程对象存储。此外，如上所述，lib df s 可以通过几个接口暴露给最终用户，包括像 SPA R K 、M PI -I O 、H D F5 这样的框架。当有一个 sh im 层用于 lib d fs 作为 I /O 中间件插件时，用户可以直接将应用程序与 lib df s 链接起来。这种方法是透明的，不需要对应用程序进行更改。5 性能D A OS 软件堆栈仍在大量开发中。但是它在新的存储类内存技术上所能达到的性能已经在 I SC19 和 SC19 会议上得到了展示，并且最近已经提交了 D A OS 0 .6 版本的I O5 00 基准套件的第一批结果。6 结论随着存储类内存和 N V M e 存储的普及，软件栈开销因素在存储系统中占的比重越来越多。传统的存储系统要充分利用这些存储硬件设备的优势是非常困难的。本文将 DAOS 作为一种新设计的软件栈存储技术，描述了 D A O S 的技术特点，并解释了它如何实现高性能和高弹性的。在性能部分，I O5 00 基准测试结果证明， D A O S 可以利用新的存储设备及其用户空间接口。比 I O50 0 列表上的绝对排名更重要的是， D A OS 性能在 I O500 工作流中是非常均匀的，而其他文件系统有时在各个 I O5 00 测试之间表现出数量级的性能差异。本文仅简要介绍了 D A OS 的几个核心技术组件及其现有的 P OSI X I /O 中间件。其他支持的 I /O 库如 M PI -I /O 和 H DF5 不在本文讨论范围内，将成为未来研究的主题。其他基于 D A OS /libdf s 的 I /O 中间件插件仍在开发中。 D A OS 的路线图、设计文档和开发状态可以在 githu b 和英特尔 D A OS 网站上找到。7 参考文献DAOS: A Scale-Out High Performance Storage Stack for Storage Class Memory编辑于 2023-12-14 15:22・IP 属地浙江分布式存储Ceph开源赞同 546 条评论分享喜欢收藏申请转载文章被以下专栏收录聊聊Ceph&Curve(分布式存储)ceph实践及其他分布式系统(如curve)

Decentralized autonomous organizations (DAOs) | ethereum.org

ntralized autonomous organizations (DAOs) | ethereum.orgSkip to main contentLearnUseBuildParticipateResearchSearchLanguages ENHelp update this pageThere’s a new version of this page but it’s only in English right now. Help us translate the latest version.Translate pageNo bugs here!This page is not being translated. We've intentionally left this page in English for now.Don't show againUses of Ethereum are always developing and evolving. Add any info you think will make things clearer or more up to date. Edit page(opens in a new tab)Decentralized autonomous organizations (DAOs)Member-owned communities without centralized leadership.A safe way to collaborate with internet strangers.A safe place to commit funds to a specific cause.On this pageWhat are DAOs?Why do we need DAOs?A comparisonDAO examplesHow do DAOs work?Ethereum and DAOsDAO governanceDelegationA famous exampleAutomatic transaction governanceA famous exampleMultisig governanceDAO lawsA famous exampleDAO membershipToken-based membershipA famous exampleShare-based membershipA famous exampleReputation-based membershipA famous exampleJoin / start a DAOJoin a DAOStart a DAOFurther readingDAO ArticlesVideosEthereum use casesDecentralized finance (DeFi)Non-fungible tokens (NFTs)Decentralized autonomous organisations (DAOs)Decentralized social networksDecentralized identityDecentralized science (DeSci)Regenerative finance (ReFi)On this pageWhat are DAOs?Why do we need DAOs?How do DAOs work?Ethereum and DAOsDAO governanceDAO lawsDAO membershipJoin / start a DAOFurther readingWhat are DAOs?A DAO is a collectively-owned, blockchain-governed organization working towards a shared mission.DAOs allow us to work with like-minded folks around the globe without trusting a benevolent leader to manage the funds or operations. There is no CEO who can spend funds on a whim or CFO who can manipulate the books. Instead, blockchain-based rules baked into the code define how the organization works and how funds are spent.They have built-in treasuries that no one has the authority to access without the approval of the group. Decisions are governed by proposals and voting to ensure everyone in the organization has a voice, and everything happens transparently on-chain.Why do we need DAOs?Starting an organization with someone that involves funding and money requires a lot of trust in the people you're working with. But it’s hard to trust someone you’ve only ever interacted with on the internet. With DAOs you don’t need to trust anyone else in the group, just the DAO’s code, which is 100% transparent and verifiable by anyone.This opens up so many new opportunities for global collaboration and coordination.A comparisonDAOA traditional organizationUsually flat, and fully democratized.Usually hierarchical.Voting required by members for any changes to be implemented.Depending on structure, changes can be demanded from a sole party, or voting may be offered.Votes tallied, and outcome implemented automatically without trusted intermediary.If voting allowed, votes are tallied internally, and outcome of voting must be handled manually.Services offered are handled automatically in a decentralized manner (for example distribution of philanthropic funds).Requires human handling, or centrally controlled automation, prone to manipulation.All activity is transparent and fully public.Activity is typically private, and limited to the public.DAO examplesTo help this make more sense, here's a few examples of how you could use a DAO:A charity – you could accept donations from anyone in the world and vote on which causes to fund.Collective ownership – you could purchase physical or digital assets and members can vote on how to use them.Ventures and grants – you could create a venture fund that pools investment capital and votes on ventures to back. Repaid money could later be redistributed amongst DAO-members.How do DAOs work?The backbone of a DAO is its smart contract, which defines the rules of the organization and holds the group's treasury. Once the contract is live on Ethereum, no one can change the rules except by a vote. If anyone tries to do something that's not covered by the rules and logic in the code, it will fail. And because the treasury is defined by the smart contract too that means no one can spend the money without the group's approval either. This means that DAOs don't need a central authority. Instead, the group makes decisions collectively, and payments are automatically authorized when votes pass.This is possible because smart contracts are tamper-proof once they go live on Ethereum. You can't just edit the code (the DAOs rules) without people noticing because everything is public.More on smart contractsEthereum and DAOsEthereum is the perfect foundation for DAOs for a number of reasons:Ethereum’s own consensus is distributed and established enough for organizations to trust the network.Smart contract code can’t be modified once live, even by its owners. This allows the DAO to run by the rules it was programmed with.Smart contracts can send/receive funds. Without this you'd need a trusted intermediary to manage group funds.The Ethereum community has proven to be more collaborative than competitive, allowing for best practices and support systems to emerge quickly.DAO governanceThere are many considerations when governing a DAO, such as how voting and proposals work.DelegationDelegation is like the DAO version of representative democracy. Token holders delegate votes to users who nominate themselves and commit to stewarding the protocol and staying informed.A famous exampleENS(opens in a new tab) – ENS holders can delegate their votes to engaged community members to represent them.Automatic transaction governanceIn many DAOs, transactions will be automatically executed if a quorum of members votes affirmative.A famous exampleNouns(opens in a new tab) – In Nouns DAO, a transaction is automatically executed if a quorum of votes is met and a majority votes affirmative, as long as it is not vetoed by the founders.Multisig governanceWhile DAOs may have thousands of voting members, funds can live in a wallet shared by 5-20 active community members who are trusted and usually doxxed (public identities known to the community). After a vote, the multisig signers execute the will of the community.DAO lawsIn 1977, Wyoming invented the LLC, which protects entrepreneurs and limits their liability. More recently, they pioneered the DAO law that establishes legal status for DAOs. Currently Wyoming, Vermont, and the Virgin Islands have DAO laws in some form.A famous exampleCityDAO(opens in a new tab) – CityDAO used Wyoming's DAO law to buy 40 acres of land near Yellowstone National Park.DAO membershipThere are different models for DAO membership. Membership can determine how voting works and other key parts of the DAO.Token-based membershipUsually fully permissionless, depending on the token used. Mostly these governance tokens can be traded permissionlessly on a decentralized exchange. Others must be earned through providing liquidity or some other ‘proof-of-work’. Either way, simply holding the token grants access to voting.Typically used to govern broad decentralized protocols and/or tokens themselves.A famous exampleMakerDAO(opens in a new tab) – MakerDAO's token MKR is widely available on decentralized exchanges and anyone can buy into having voting power on Maker protocol's future.Share-based membershipShare-based DAOs are more permissioned, but still quite open. Any prospective members can submit a proposal to join the DAO, usually offering a tribute of some value in the form of tokens or work. Shares represent direct voting power and ownership. Members can exit at any time with their proportionate share of the treasury.Typically used for more closer-knit, human-centric organizations like charities, worker collectives, and investment clubs. Can also govern protocols and tokens as well.A famous exampleMolochDAO(opens in a new tab) – MolochDAO is focused on funding Ethereum projects. They require a proposal for membership so the group can assess whether you have the necessary expertise and capital to make informed judgments about potential grantees. You can't just buy access to the DAO on the open market.Reputation-based membershipReputation represents proof of participation and grants voting power in the DAO. Unlike token or share-based membership, reputation-based DAOs don't transfer ownership to contributors. Reputation cannot be bought, transferred or delegated; DAO members must earn reputation through participation. On-chain voting is permissionless and prospective members can freely submit proposals to join the DAO and request to receive reputation and tokens as a reward in exchange for their contributions.Typically used for decentralized development and governance of protocols and dapps, but also well suited to a diverse set of organizations like charities, worker collectives, investment clubs, etc.A famous exampleDXdao(opens in a new tab) – DXdao is a global sovereign collective building and governing decentralized protocols and applications since 2019. It leverages reputation-based governance and holographic consensus to coordinate and manage funds, meaning no one can buy their way into influencing its future.Join / start a DAOJoin a DAOEthereum community DAOsDAOHaus's list of DAOs(opens in a new tab)Tally.xyz list of DAOs(opens in a new tab)Start a DAOSummon a DAO with DAOHaus(opens in a new tab)Start a Governor DAO with Tally(opens in a new tab)Create an Aragon-powered DAO(opens in a new tab)Start a colony(opens in a new tab)Create a DAO with DAOstack's holographic consensus(opens in a new tab)Further readingDAO ArticlesWhat's a DAO?(opens in a new tab) – Aragon(opens in a new tab)The DAO Handbook(opens in a new tab)House of DAOs(opens in a new tab) – Metagame(opens in a new tab)What is a DAO and what is it for?(opens in a new tab) – DAOhaus(opens in a new tab)How to Start a DAO-Powered Digital Community(opens in a new tab) – DAOhaus(opens in a new tab)What is a DAO?(opens in a new tab) – Coinmarketcap(opens in a new tab)What is Holographic Consensus?(opens in a new tab) - DAOstack(opens in a new tab)DAOs are not corporations: where decentralization in autonomous organizations matters by Vitalik(opens in a new tab)DAOs, DACs, DAs and More: An Incomplete Terminology Guide(opens in a new tab) - Ethereum Blog(opens in a new tab)VideosWhat is a DAO in crypto?(opens in a new tab)Can a DAO Build a City?(opens in a new tab) – TED(opens in a new tab)Was this page helpful?YesNoEthereum use casesDecentralized finance (DeFi)Non-fungible tokens (NFTs)Decentralized autonomous organisations (DAOs)Decentralized social networksDecentralized identityDecentralized science (DeSci)Regenerative finance (ReFi)Website last updated: February 16, 2024(opens in a new tab)(opens in a new tab)(opens in a new tab)Use EthereumFind walletGet ETHDapps - Decentralized applicationsLayer 2Run a nodeStablecoinsStake ETHLearnLearn HubWhat is Ethereum?What is ether (ETH)?Ethereum walletsGas feesEthereum security and scam preventionWhat is Web3?Smart contractsEthereum energy consumptionEthereum roadmapEthereum Improvement ProposalsHistory of EthereumEthereum WhitepaperEthereum glossaryEthereum governanceBlockchain bridgesZero-knowledge proofsQuiz HubDevelopersGet startedDocumentationTutorialsLearn by codingSet up local environmentEcosystemCommunity hubEthereum FoundationEthereum Foundation Blog(opens in a new tab)Ecosystem Support Program(opens in a new tab)Ethereum bug bounty programEcosystem Grant ProgramsEthereum brand assetsDevcon(opens in a new tab)EnterpriseMainnet EthereumPrivate EthereumEnterpriseAbout ethereum.orgAbout usJobsContributingLanguage supportPrivacy policyTerms of useCookie policyPress Contact(opens in a new t

去中心化自治组织 (DAO) | ethereum.org

自治组织 (DAO) | ethereum.org跳转至主要内容学习用法构建参与研究搜索语言 ZH帮助更新此页面本页面有新版本，但现在只有英文版。请帮助我们翻译最新版本。翻译页面没有错误！此页面未翻译，因此特意以英文显示。不再显示以太坊的用法不断开发和演进。添加任何你认为会使事情变得更清晰或更及时的信息。编辑页面(opens in a new tab)去中心化自治组织 (DAO)没有集中领导的、成员共同拥有的社区。一种与互联网上的陌生人合作的安全方式。一个为特定事业投入资金的安全场所。在本页面什么是去中心化自治组织？我们为什么需要去中心化自治组织？对比去中心化自治组织示例去中心化自治组织如何运作？以太坊与去中心化自治组织去中心化自治组织的治理委托知名案例自动交易治理知名案例多重签名治理去中心化自治组织相关法律知名案例去中心化自治组织的成员资格基于代币的成员资格知名案例基于份额的成员资格知名案例基于信誉的成员资格知名案例加入/创立去中心化自治组织加入去中心化自治组织创立去中心化自治组织延伸阅读去中心化自治组织相关文章视频以太坊使用案例去中心化金融 (DeFi)非同质化代币 (NFT)去中心化自治组织 (DAO)去中心化社交网络去中心化身份去中心化科学 (DeSci)再生金融（ReFi）在本页面什么是去中心化自治组织？我们为什么需要去中心化自治组织？去中心化自治组织如何运作？以太坊与去中心化自治组织去中心化自治组织的治理去中心化自治组织相关法律去中心化自治组织的成员资格加入/创立去中心化自治组织延伸阅读什么是去中心化自治组织？去中心化自治组织是指集体所有且由区块链监管的组织，为一个共同的使命而奋斗。去中心化自治组织让全世界志同道合之士开展合作，而无需信赖一位宅心仁厚的领导来管理资金和运营。没有可以随意花钱的首席执行官，也没有能够做假账的首席财务官。取而代之的是，融入代码的基于区块链的规则规定组织如何运作以及资金如何使用。去中心化自治组织拥有内部资产，未经该组织批准，任何人都无权动用。决策通过提案和投票监管，确保组织中的每位成员都有发言权，一切都发生在链上，公开透明。我们为什么需要去中心化自治组织？与他人创办涉及资金和金钱的组织，需要对与合作对象高度信任。不过，显然很难相信互联网上素不相识的人。通过去中心化自治组织，你不需要相信组织中的其他人，只需要相信去中心化自治组织的代码就够了，它是 100% 公开透明的，任何人都可以验证。这为全球合作和协调提供了许多新机会。对比去中心化自治组织传统组织通常是平等的，并且完全民主。通常等级鲜明。需要成员投票才能实施任何更改。可能部分人就能进行决策，也可能投票表决，具体取决于组织结构。不需要可信的中间人就可以自动计算投票、执行结果。如果允许投票，则在内部计票，投票结果必须由人工处理。以去中心化方式自动提供服务（例如慈善基金的分配）。需要人工处理或自动集中控制，易受操纵。所有活动公开透明。活动通常是私密进行，不向公众开放。去中心化自治组织示例为了帮助你更好地理解，这里有一些去中心化自治组织的应用示例：慈善机构 – 可以接受全世界任何人的捐赠，并投票决定要资助的项目。集体所有权 – 可以购买实体或数字资产，组织成员可以投票决定如何使用它们。风险投资和赠款 - 你可以成立一个风险基金，汇集投资资本并投票进行商业投资。后续收益可以分配给相应 DAO 成员。去中心化自治组织如何运作？智能合约是去中心化自治组织的基础，它定义了组织的规则并持有组织的资产。合约在以太坊上生效后，除非表决通过，否则任何人都不能修改规则。任何人都无法超越合约定义的规则和逻辑行事。由于资产也由智能合约定义，这也意味着未经组织批准任何人都不能使用资金。所以去中心化组织也不需要中央权威。相反，组织集体作出决定，而付款会在表决通过后自动获批。之所以能够做到这一点，是因为智能合约在以太坊上生效后，就无法被篡改。一切都是公开的，你不可能在其他人一无所知的情况下修改代码（去中心化组织定义的规则）。更多关于智能合约的信息以太坊与去中心化自治组织以太坊为去中心化自治组织提供了坚实基础，原因如下：以太坊本身已经建立足够的共识，足以让各类组织信任以太坊网络。智能合约一旦生效就无法更改，即便是其所有者也是如此。这使得去中心化自治组织能够按照编程规则运行。智能合约可以发送/接收资金。没有这点，你就需要可信的中间人来管理组织资金。比起竞争，以太坊社区更趋向于合作，这使得各类应用程序和服务系统蓬勃发展。去中心化自治组织的治理治理去中心化自治组织时要考虑很多因素，比如投票和提案如何运作。委托委托就像是去中心化自治组织的代议制民主。代币持有者将投票委托给那些自提名并承诺管理协议和随时了解动态的用户。知名案例以太坊域名服务(opens in a new tab) - 以太坊域名服务持有者可以将他们的选票委托给参与的社区成员来代表他们。自动交易治理在很多去中心化自治组织中，如果达到法定人数的成员投票赞成，交易将自动执行。知名案例Nouns(opens in a new tab) — 在 Nouns 去中心化自治组织中，只要创始人不否决，如果投票达到法定票数并且多数票赞成，那么交易将自动执行。多重签名治理虽然去中心化自治组织可能有数千名有投票权的成员，但资金一般会放在一个由 5 到 20 名活跃社区成员共同管理的钱包中，这些成员受组织信任并接受监督（社区知道他们的公开身份）。投票后，执行多重签名的签名者将执行社区的意志。去中心化自治组织相关法律1977 年，怀俄明州发明了有限责任公司制度，保护企业家并对他们的责任范围做出限制。最近，他们率先制定了《去中心化自治组织法》，确定了去中心化自治组织的法律地位。目前，怀俄明州、佛蒙特州和维尔京群岛都制定了各自的去中心化自治组织法律。知名案例CityDAO(opens in a new tab) — 依照怀俄明州的去中心化自治组织相关法律，CityDAO 购买了黄石国家公园附近的 40 英亩土地。去中心化自治组织的成员资格去中心化自治组织成员资格分为多种模式。成员资格可以决定投票方式和去中心化自治组织的其他关键事项。基于代币的成员资格通常无需许可，取决于其使用的代币。通常，这些治理代币在去中心化交易所无需许可即可易，其余代币要通过提供流动性或“工作量证明”才能赚取。无论何种方式，只要持有代币就可以参与投票。通常用来管理各种去中心化协议和/或代币本身。知名案例MakerDAO(opens in a new tab) — 去中心化交易所普遍提供 MakerDAO 的代币 MKR，任何人都可以买入，从而获得对 Maker 协议未来的投票权。基于份额的成员资格基于份额的去中心化自治组织通常拥有更多权限，但仍然相当公开透明。任何潜在成员都可以提交加入去中心化自治组织的提案，并且通常以代币或工作的形式提供有价值的贡献。份额代表直接投票权和所有权。成员可以随时退出组织并带走属于他们的资金份额。通常用于联系更紧密、以人为中心的组织，例如慈善机构、工人团体和投资俱乐部等。也可以管理协议和代币。知名案例MolochDAO(opens in a new tab) – MolochDAO 致力于为以太坊项目募集资金。他们需要成员资格提案，以便组织可以评估你是否具有必要的专业知识和资本来对潜在受资助者做出明智判断。你无法通过在公开市场上购买代币来加入这类去中心化自治组织。基于信誉的成员资格信誉代表参加投票的证明，并授予去中心化自治组织中的投票权。不同于基于代币或份额的成员资格，基于信誉的去中心化自治组织不会将所有权转让给贡献者。信誉积分不能够购买、转让或委托；去中心化自治组织成员必须通过参与获得信誉积分。链上投票无需许可，潜在成员可以自由提交加入去中心化自治组织的提案，并要求获得信誉积分和代币，作为他们所做贡献的奖励。通常用于协议和去中心化应用程序的去中心化开发和管理，但同时非常适合各类组织，例如慈善机构、工人团体、投资俱乐部等。知名案例DXdao(opens in a new tab) -- DXdao 是一个全球性的主权团体，自 2019 年以来一直致力于构建和管理去中心化协议和应用。该组织利用基于信誉积分的治理和全息共识来协调和管理资金，这意味着任何人都不能对它的未来施加影响。加入/创立去中心化自治组织加入去中心化自治组织以太坊社区中的去中心化自治组织DAOHaus 的去中心化自治组织列表(opens in a new tab)Tally.xyz 的去中心化自治组织列表(opens in a new tab)创立去中心化自治组织使用 DAOHaus 创立去中心化自治组织(opens in a new tab)从 Tally 开创治理去中心化自治组织(opens in a new tab)创立由 Aragon 支持的去中心化自治组织(opens in a new tab)创立 colony(opens in a new tab)使用 DAOstack 的全息共识机制创建去中心化自治组织(opens in a new tab)延伸阅读去中心化自治组织相关文章什么是去中心化自治组织？(opens in a new tab)– Aragon(opens in a new tab)《去中心化自治组织手册》(opens in a new tab)去中心化自治组织之家(opens in a new tab) – Metagame(opens in a new tab)什么是去中心化自治组织，其宗旨是什么？(opens in a new tab) – DAOhaus(opens in a new tab)如何创立由去中心化自治组织提供支持的数字社区(opens in a new tab) – DAOhaus(opens in a new tab)什么是去中心化自治组织？(opens in a new tab) – Coinmarketcap(opens in a new tab)什么是全息共识？(opens in a new tab) - DAOstack(opens in a new tab)《去中心化自治组织不是公司：去中心化在自治组织中很重要》，作者 Vitalik(opens in a new tab)去中心化自治组织、数据可用性委员会、数据可用性等等：不完整术语指南(opens in a new tab) - 以太坊博客(opens in a new tab)视频什么是加密货币中的去中心化自治组织？(opens in a new tab)去中心化自治组织能构建一座城市吗？(opens in a new tab) – TED(opens in a new tab)本页面对你有帮助吗？是否以太坊使用案例去中心化金融 (DeFi)非同质化代币 (NFT)去中心化自治组织 (DAO)去中心化社交网络去中心化身份去中心化科学 (DeSci)再生金融（ReFi）网站最后更新: 2024年2月16日(opens in a new tab)(opens in a new tab)(opens in a new tab)使用以太坊查找钱包获取以太币Dapps - 去中心化应用二层网络运行节点稳定币质押ETH学习学习中心什么是以太坊？什么是以太币 (ETH)？以太坊钱包Gas fees以太坊安全和预防欺诈措施什么是 Web3？智能合约以太坊能源消耗以太坊路线图以太坊改进提案（Eip）以太坊的历史以太坊白皮书以太坊词汇表以太坊治理区块链桥零知识证明测试中心开发者开始体验相关文档教程通过编码来学习设置本地环境生态系统社区中心以太坊基金会以太坊基金会的博客(opens in a new tab)生态系统支持方案(opens in a new tab)以太坊漏洞悬赏计划生态系统资助计划以太坊品牌资产Devcon(opens in a new tab)企业级应用主网以太坊私密以太坊企业级应用关于ethereum.org关于我们工作机会参与贡献语言支持隐私政策使用条款缓存政策联系我们(opens in a new t

Decentralized autonomous organization - Wikipedia

Jump to content

Main menu

move to sidebar

hide

Navigation

Main pageContentsCurrent eventsRandom articleAbout WikipediaContact usDonate

Contribute

HelpLearn to editCommunity portalRecent changesUpload file

Languages

Language links are at the top of the page.

Create account

Personal tools

Create account Log in

Pages for logged out editors learn more

ContributionsTalk

Contents

move to sidebar

hide

(Top)

1Background

2Governance

3Issues

Toggle Issues subsection

3.1Social

3.2Legal status, liability, and regulation

3.3Security

4List of notable DAOs

5See also

6Notes

7References

8External links

Toggle the table of contents

Decentralized autonomous organization

21 languages

AfrikaansالعربيةCatalàDeutschΕλληνικάEspañolEuskaraفارسیFrançais한국어Bahasa IndonesiaInterlingueItalianoעבריתNederlandsNorsk bokmålPolskiPortuguêsRomânăРусский中文

Edit links

ArticleTalk

English

ReadEditView history

Tools

move to sidebar

hide

Actions

ReadEditView history

General

What links hereRelated changesUpload fileSpecial pagesPermanent linkPage informationCite this pageGet shortened URLDownload QR codeWikidata item

Print/export

Download as PDFPrintable version

From Wikipedia, the free encyclopedia

Type of organization run via blockchain

This article is about a type of organization. For the former organization that followed this approach, see The DAO (organization).

Not to be confused with Autonomous decentralized system or Autonomous peripheral operation.

Part of a series onAlgocracy

Examples

AI in government

COMPAS

Cybersyn

DAO

Toeslagenaffaire

IT-backed authoritarianism

Ofqual exam results algorithm

OIA

PMPs

Predictive policing

Robodebt

Smart city

SyRI

vte

A decentralized autonomous organization (DAO), sometimes called a decentralized autonomous corporation (DAC),[a][1] is an organization managed in whole or in part by decentralized computer program, with voting and finances handled through a blockchain.[2][3][4] In general terms, DAOs are member-owned communities without centralized leadership.[5][6] The precise legal status of this type of business organization is unclear.[7][8]

A well-known example, intended for venture capital funding, was The DAO, which amassed 3.6 million ether (ETH)—Ethereum's mining reward—then worth more than US$70 million in May 2016, and was hacked and drained of US$50 million in cryptocurrency weeks later.[9] The hack was reversed in the following weeks, and the money restored, via a hard fork of the Ethereum blockchain. Most Ethereum miners and clients switched to the new fork while the original chain became Ethereum Classic.

The governance of DAOs is subject to controversy. As these typically allocate and distribute tokens that grant voting rights, their accumulation may lead to concentration of power.[10]

Background[edit]

Although the term may be traced back to the 1990s, it was not until 2013 that it became more widely adopted.[1] Although some argue that Bitcoin was the first DAO, the term is only understood today as organizations deployed as smart contracts on top of an existing blockchain network.[1]

Decentralized autonomous organizations are typified by the use of blockchain technology to provide a secure digital ledger to track digital interactions across the internet, hardened against forgery by trusted timestamping and dissemination of a distributed database.[2][3][11] This approach eliminates the need to involve a mutually acceptable trusted third party in any decentralized digital interaction or cryptocurrency transaction.[3] The costs of a blockchain-enabled transaction and of the associated data reporting may be substantially offset by the elimination of both the trusted third party and of the need for repetitive recording of contract exchanges in different records. For example, the blockchain data could, in principle and if regulatory structures permit it, replace public documents such as deeds and titles.[2]: 42 [3] In theory, a blockchain approach allows multiple cloud computing users to enter a loosely coupled peer-to-peer smart contract collaboration.[2]: 42 [12]

Vitalik Buterin proposed that after a DAO is launched, it might be organized to run without human managerial interactivity, provided the smart contracts are supported by a Turing-complete platform. Ethereum, built on a blockchain and launched in 2015, has been described as meeting that Turing threshold, thus enabling such DAOs.[2][13][14] Decentralized autonomous organizations aim to be open platforms through which individuals control their identities and their personal data.[15]

Governance[edit]

DAO governance is coordinated using tokens or NFTs that grant voting powers. Admission to a DAO is limited to people who have a confirmed ownership of these governance tokens in a cryptocurrency wallet, and membership may be exchanged. Governance is conducted through a series of proposals that members vote on through the blockchain,[16] and the possession of more governance tokens often translates to greater voting power.[10] Contributions from members towards the organizational goals of a DAO can sometimes be tracked and internally compensated. Inactive holders of governance tokens can be a major obstacle for DAO governance,[4] which has led to implementations allowing voting power to be delegated to other parties.

Issues[edit]

Social[edit]

Tokens that grant voting powers are often not used to vote.[10] Inactive or non-voting shareholders in DAOs often disrupt the organization's possible functionality.[4]

Another risk is the concentration of power in the case that individuals accumulate large amounts of tokens that grant voting power. Concentration of these tokens defeats the ambitions to distribute governance power. In a study of decentralized finance DAOs, the distribution of tokens was shown to be highly concentrated among a small population of holders.[10]

Legal status, liability, and regulation[edit]

The precise legal status of this type of business organization is generally unclear,[11] and may vary by jurisdiction. On 1 July 2021, Wyoming became the first US state to recognize DAOs as a legal entity.[17] American CryptoFed DAO became the first business entity so recognized.[18] Some previous approaches to blockchain based companies have been regarded by the U.S. Securities and Exchange Commission as illegal offers of unregistered securities.[7][19] Although often of uncertain legal standing, a DAO may functionally be a corporation without legal status as a corporation: a general partnership.[20] Known participants, or those at the interface between a DAO and regulated financial systems, may be targets of regulatory enforcement or civil actions if they are out of compliance with the law.[20]

In June 2022, the venture capital firm Andreessen Horowitz published an "Entity selection framework" describing organizational alternatives for DAOs with a substantial presence in the United States.[21]

Security[edit]

A DAO's code is difficult to alter once the system is up and running, including bug fixes that would be otherwise trivial in centralized code. Corrections to a DAO require writing new code and agreement to migrate all the funds. Although the code is visible to all, it is hard to repair, thus leaving known security holes open to exploitation unless a moratorium is called to enable bug fixing.[22]

In 2016, a specific DAO, "The DAO", set a record for the largest crowdfunding campaign to date.[23][24] Researchers pointed out multiple problems with The DAO's code. The DAO's operational procedure allowed investors to withdraw at will any money that had not yet been committed to a project; the funds could thus deplete quickly.[4] Although safeguards aimed to prevent gaming shareholders' votes to win investments,[7] there were a "number of security vulnerabilities".[25] These enabled an attempted large withdrawal of funds from The DAO to be initiated in mid-June 2016.[26][27] On 20 July 2016, the Ethereum blockchain was forked to bail out the original contract.

DAOs can be subject to coups or hostile takeovers that upend its voting structures especially if the voting power is based upon the number of tokens one owns. An example of this occurred in 2022, when one individual collected enough tokens to give themselves voting control over Build Finance DAO, which they then used to drain the DAO of all its money.[28]

List of notable DAOs[edit]

This is a dynamic list and may never be able to satisfy particular standards for completeness. You can help by adding missing items with reliable sources.

Name

Token

Use cases

Network

Launch

Status

Dash DAO

Dash

Dash (cryptocurrency) ecosystem management and self-funding[29][30]

Dash

September 2015[citation needed]

Operational

The DAO

DAO

Venture capital

Ethereum

April 2016

Defunct late 2016 due to hack[31]

ConstitutionDAO

PEOPLE

Purchasing an original copy of the Constitution of the United States

Ethereum

November 2021[32]

Defunct[33]

PleasrDAO

PEEPS

A group of art collectors who own the sole copy of the Wu Tang Clan album Once Upon a Time in Shaolin[34]

Ethereum

April 2021

Operational

FreeRossDAO[35]

FREE

Clemency for Ross Ulbricht, criminal justice reform advocacy organization

Ethereum

December 2021[36]

Operational[citation needed]

AssangeDAO

JUSTICE[37]

Purchased Clock, an NFT artwork by Pak, to fund legal defense of WikiLeaks' founder Julian Assange

Ethereum

February 2022[38]

Operational

MakerDAO[39]

MKR

Dai (cryptocurrency) stablecoin maintainer and regulator, lender

Ethereum

December 2017

Operational

Uniswap

UNI

Decentralized exchange (DEX), Automated Market Making (AMM)

Ethereum & Celo

November 2018

Operational[40]

What are DAOs? - The New York Times

Skip to contentSkip to site indexWhat are DAOs?By Kevin RooseMarch 18, 2022Leer en españolShare full article

technology

The Latecomer’s Guide to Crypto

Kevin Roose

What are DAOs?

This is part of “The Latecomer’s Guide to Crypto,” a mega-F.A.Q. about cryptocurrency and its offshoots. Kevin Roose, a Times technology columnist, is answering some of the most frequently asked questions he gets about NFTs, DeFi, web3 and other crypto concepts.

OK, start me off gently. What is a DAO?

DAO stands for decentralized autonomous organization.

That’s a mouthful.

Sure is.

What does it mean?

A DAO (pronounced dow) is a new kind of organizational structure, built with blockchain technology, that is often described as a sort of crypto co-op. (Or, alternatively, as a “financial flash mob” or a “group chat with a bank account.”)

In their purest form, DAOs are groups that form for a common purpose, like investing in start-ups, managing a stablecoin or buying a bunch of NFTs. ConsenSys, a blockchain organization, defines DAOs as “governing bodies that oversee the allocation of resources tied to the projects they are associated with and are also tasked with ensuring the long term success of the project they support.”

Once it’s formed, a DAO is run by its members, often through the use of crypto tokens. These tokens often come with certain rights attached, such as the ability to manage a common treasury or vote on certain decisions.

This sounds kind of vague. Can you give me an example?

Sure. The best-known DAO is probably ConstitutionDAO, a group of thousands of crypto fans who raised more than $45 million in the span of a week to bid on a rare copy of the U.S. Constitution that was being auctioned by Sotheby’s. But since that group disbanded after losing the auction (and was mired in controversy as it sought to return money to investors), it’s probably not the best example.

A better example might be PleasrDAO, a group of dozens of crypto artists, entrepreneurs and investors that was formed to bid on works by high-profile digital artists. The group spent $5.4 million on an NFT affiliated with the whistleblower and activist Edward Snowden, and also bought the Wu-Tang Clan album “Once Upon a Time in Shaolin” for $4 million.

Once they were purchased, these works became the property of the DAO’s members, who can manage them as they see fit. They can vote to exhibit them somewhere, or break them into 1,000 NFTs and sell the pieces to the public, or simply keep them locked away in a physical or virtual vault. In a classic DAO model, all of these decisions would be made “on-chain,” through a system of token-based voting.

I get why people might want to pool their money to buy stuff. But why is a completely new, crypto-based governance structure necessary for that? Couldn’t they just use a normal crowdfunding site?

They could. And, in some cases, a DAO might be better off using a platform like Kickstarter, because using crypto to raise large amounts of money can result in users paying exorbitant transaction fees. When ConstitutionDAO raised $47 million, for example, its users paid roughly $1.2 million in fees to the Ethereum network.

Ouch. Are there any other drawbacks to DAOs?

Some DAOs have found that decentralized, blockchain-based governance is messier than it looks. The first-ever DAO, which was simply called The DAO, raised more than $150 million to build a kind of crowdfunded investment firm, then went up in flames amid a host of legal, governance and security problems. Similar issues have plagued other DAOs since then.

DAOs may also run into legal trouble if regulators decide that the tokens they issue are securities, thus requiring them to go through the same registration process as a company selling stocks or bonds. In 2017, the Securities and Exchange Commission found that DAO Tokens, the native token of The DAO, were in fact securities, and should have been subject to securities law.

The recent DAO boom has also raised eyebrows among regulators and law enforcement agencies, who are concerned that some DAOs may simply be fronts for fraud.

“In some cases, crypto investors and regulators say, the ventures amount to Ponzi schemes intended to do little more than bolster the value of the digital tokens they sell,” my colleagues Eric Lipton and Ephrat Livni wrote in a recent piece on some of the problems facing DAOs.

Even some crypto fans have argued that DAOs haven’t yet proved that they can do more than allocating cryptocurrency to crypto-related projects.

Grace Rebecca Rachmany, a DAO leadership consultant (yes, those exist), wrote in a 2020 article for the crypto news site CoinDesk that “DAO technologists have failed to create compelling technology for the problems that society is facing.”

Why would people choose to join a DAO, then?

Well, it’s all a bit new and unexplored. DAOs are still — to borrow a favorite phrase of crypto fans — in the dial-up phase, and proponents argue that better, more powerful examples will arrive in the next few years.

But if you ask believers, they’ll tell you that DAOs are capable of doing a few things better than traditionally run organizations:

• In theory, DAOs can be more transparent than traditional organizations, because the group’s important decisions get made “on-chain,” using governance tokens and votes that appear on the permanent blockchain ledger.

• In theory, DAOs can be more democratic than traditional organizations because every participant can vote on group decisions, not just boards or executives.

• In theory, DAOs can be more nimble and fast-moving than traditional companies, because they’re often project-specific and you can set them up and wind them down quickly, with significantly less red tape than forming a traditional start-up.

Why are you saying “in theory” so much?

Because there aren’t a lot of DAO success stories yet, and most of the benefits are still unproven. Some people are skeptical that DAOs can make more complex business decisions, while others think they amount to little more than thinly-veiled pyramid schemes.

Some DAOs, in fact, have allegedly been outright rug pulls — like AnubisDAO, a dog themed DeFi project whose creator is accused of stealing $60 million from investors.

In addition, leaderless corporate structures haven’t really worked outside of crypto, and most of today’s successful DAOs are what are known as “protocol DAOs” — meaning they’re designed to manage infrastructure-type projects for crypto itself. We don’t really know how the DAO model would work if applied to a regular, noncrypto business.

I’m not a blockchain engineer or a crypto investor. I’m just a normal person with a normal job, living a normal life. Why should I care about DAOs?

Right now, most people don’t encounter DAOs on a daily basis. But I’d argue that it’s important, in general, to know what kinds of problems technologists are trying to solve. And a lot of well-funded technologists are looking for ways to turn all kinds of organizations — including ones you might belong to or care deeply about — into DAOs.

Some people have even predicted that DAOs could become a force in politics, enabling a kind of loose, unregulated crypto PAC that could swarm campaigns and lobbying efforts with money and organizing support.

In its most basic form, a DAO is a new way for a group of people to aim a large amount of money and organizing energy at a project — whether it’s buying the Constitution, building a new social network, or influencing an election. That’s a big, transformative idea, and it would be wise to pay attention while it’s taking shape.

What are the most interesting uses of DAOs right now?

Crypto buffs are starting to experiment with “social DAOs,” which are a kind of community-owned social club that you have to pay (in the form of buying tokens) to join.

The best known social DAO is Friends With Benefits, which has thousands of members and recently raised $10 million from investors including the venture capital firm Andreessen Horowitz.

Friends With Benefits has been compared to a “decentralized Soho House,” and it works a bit like an online country club. Members have to buy a certain number of so-called $FWB tokens to get in. (Currently, a full membership costs 75 $FWB tokens, or about $4,000.) Once they’re in, they get invited to a Discord chat room where members chat about crypto, trade job leads and investing tips, and hold town halls to talk about the group’s future plans. The group hosts members-only parties at major crypto conferences, and members organize local meet-ups in their home cities.

Wait, I thought crypto was all about decentralizing power and leveling the playing field. An exclusive club that you have to pay $4,000 to join sounds like the opposite of that. What gives?

It’s a good question. And I posed it to Alex Zhang, one of the leaders of Friends With Benefits. He responded:

In most cases, and with FWB in particular, the token price was initially quite low, and it grew as the value of being a member — real or perceived — increased over time.It’s important, then, to remember that tokens are an asset, instead of the typical recurring fees you’d pay to belong to other kinds of social organizations. At any point in time, if necessary or desirable, someone can sell their tokens. Nevertheless, it will be important for DAOs to continue to create onboarding opportunities for people who can’t afford to acquire tokens. For instance, we pay FWB tokens to writers, curators, designers, event volunteers, and other roles that benefit our mission and allow these contributors to earn their way into having an ownership stake in the community.

So it sounds like DAOs can get messy and complicated, and some are outright scams, and even the ones that are doing something interesting might be expensive to join. So … what’s the good part? If DAOs are so useless, why are investors funding them, and why are people joining them?

As with any crypto project, DAOs have attracted people for all kinds of reasons: speculative gambling, trend-chasing and utopian true belief among them.

Among the more serious-minded DAO advocates, a common theme is collective ownership. Like believers in web3, DAO proponents believe that we need a radically different ownership model for the next phase of the internet. DAOs, they argue, could allow us to build a new set of organizations and platforms that are owned by their users, governed in fair and transparent ways, and native to the internet.

You could have, for example, a DAO-governed social network, where users could vote to take down certain types of inflammatory posts, or award tokens to people who posted lots of valuable or enlightening content. Or a DAO-ified version of Amazon Web Services that was run like a co-op, with members pitching in to build new features and keep the network humming.

Chris Dixon, a venture capitalist and crypto investor, recently argued that DAOs “can help course correct the internet back to its original, idealistic vision: power and money pushed to the edges, networks growing and flourishing together, a level playing field for talent anywhere in the world, a thriving creative middle class, and a generally diverse and interesting place.”

But, of course, it could also become an expensive, unruly mess, as DAOs confront the challenges involved in corralling any group of people toward a common goal, regardless of whether crypto is involved or not.

Go deeper:

“The Dao of DAOs” In this 2021 essay, Packy McCormick, a crypto investor, offers a lengthy analysis of DAOs and their potential future applications, from a pro-DAO perspective.

“Crypto Cities” A 2021 blog post in which Vitalik Buterin, the co-creator of Ethereum, sketches a vision of how DAOs could be used to govern entire cities.

“The Biggest Crowdfunding Project Ever — the DAO — Is Kind of a Mess” This 2016 Wired article about the collapse of The DAO, the original decentralized autonomous organization, is a cautionary tale about the pitfalls of decentralized governance.

Share full articleAdvertisementSKIP ADVERTISEMENTSite IndexSite Information Navigation© 2024 The New York Times CompanyNYTCoContact UsAccessibilityWork with usAdvertiseT Brand StudioYour Ad ChoicesPrivacy PolicyTerms of ServiceTerms of SaleSite MapCanadaInternationalHelpSubscriptionsManage Privacy Preferences

One More Step

Please complete the security check to access Kraken.com

Please turn JavaScript on and reload the page.Please enable Cookies and reload the page.

一文解析 DAO 投资：DAOs 是对人类组织方式的未来的一种押注_腾讯新闻

一文解析 DAO 投资：DAOs 是对人类组织方式的未来的一种押注

撰文：Andrew Thurman

编辑：南风

DAOs 的去中心化属性及其对对充满活力的、忠诚的社区的依赖，可能会让那些只为利益而来的投资者失望。

越来越多的以太坊爱好者相信，DAOs (去中心化自治组织) 可能是工作、文化社区和人类组织的未来。因此，一些人认为，DAOs 将会像DeFi(去中心化金融) 和 NFTs (非同质化代币) 一样迎来主流突破。

从基本层面上说，该论点是说得通的。毕竟，DeFi 基于其「作为传统金融体系必然的继任者」的理念而起飞，NFTs 也因人们相信它们是数字一代的艺术世界而人气飙升。因此，将组织规则以透明的方式编程到区块链上的 DAOs，在其寻求取代传统中心化企业过时的等级结构时，应该也有机会吧，不是吗？

不幸的是，对这一趋势的押注并不像押注一些 Tokens 那么简单。

在上周举办的一场以 DAO 为主题的 MCON 2021 会议上，由会议的组织者亲自挑选的 300 多名与会者齐聚Denver (美国丹佛市)一家庞大的啤酒厂，讨论 DAOs 的未来。以太坊社区是一个真诚地相信自己有能力构建智能合约解决方案来解决世界上许多问题的群体，即使以以太坊社区有时过于乐观的标准来看，DAOs 的前景也是乐观的，人们的情绪也是高涨的。

Yearn Finance 的核心贡献者Tracheopteryx表示，“如果你看一下 DeFi，就会发现它是对金融未来的一种押注；NFTs 可能是对艺术、房地产或者任何类型的财产的押注——它是对财产的未来进行押注。但是DAOs 是对人类组织方式的未来进行押注，这是一件更大的事情。”

然而，就局外人而言，DAOs 几乎不被理解。当涉及 DeFi 和 NFTs 时，主流媒体、金融专家和监管机构偶尔会有一些理解，但 DAOs 在很大程度上对于他们仍然是一个陌生概念——区块链新手最熟悉的可能是臭名昭著的“The DAO”攻击事件，The DAO 是一个早期的 DAO 投资实验，在 2016 年由于被黑客攻击而失败。

今天，对于 DAO 到底是什么，甚至还有一些定义上的争论。这个首字母缩略词通常是指通过一些链上规则来管理一个组织机构以及(偶尔但不一定)一个附属的资金池。

Ameen Soleimani 是早期 DAO 的先驱和 SpankChain 的创始人，他开玩笑地把 DAO 称为“美化的预算委员会”或“使用一个联合银行账户的群聊”。

Tracheopteryx 坦诚道：“我们甚至不知道‘DAO’是什么意思，因此有很多相互竞争的定义。我们了解 DAO 的每个部分，但我们仍在将所有这些部分拼凑在一起。”

然而，尽管存在这些松散的词法规则，但近年来，DAOs 在技术和开发方面的进步可以说比任何其他的区块链领域都要大：许多 DeFi 和 NFT 项目都是以 DAO 的方式来治理；在当前大约2 万亿美元的加密货币总市值中，有很大一部分价值是由 DAOs 管理的；得益于 Colony、Aragon和 Coordinape 等组织的努力，DAOs 相关的工具和功能都有了重大的升级；Opolis 是一个针对独立工作者的福利和工资合作社，该平台甚至可以帮助全职的 DAO 工作者获得医疗保健。

从中期到长期来看，DAOs 提出的愿景可能吸引任何投资者。

Tracheopteryx 解释道：“想象一下，当荷兰东印度公司成立时，如果那时你能够押注 (投资) 于公司的概念，想象一下在那个时候，这个领域能够在我们星球上发展得多么大。而 DAOs 是公司、组织的未来……这是一个大得多的市场。”

然而，正如许多专家所说那样，押注于 DAOs 的未来是一个非常棘手的命题。

DAO 基础设施

几个月来，DAO 的支持者们一直在宣传 DAOs 是 NFTs 之后将要崛起的“下一个”资产类别。

以 DAO 的形式运行的捐款组织 Gitcoin 的创始人Kevin Owocki表示：“我确实看到了很多我们之前从未见过的对 DAOs 的兴趣和热情。我认为 DAOs 是对资本和文化的协调。我很期待 DAOs 将如何发展。”

Kevin 继续说道：

“如果我们成功了，MetaFactory 将颠覆 Shopify；如果我们成功了，Friends With Benefits 将颠覆 Y Combinator；如果我们成功了，Gitcoin 将颠覆 LinkedIn。这是文化的翻腾，成千上万的 DAOs 实验正在蓬勃发展，只有 10 个会成功，但成功的 DAOs 将是庞大的。”

然而，挑选这些赢家是一项冒险的工作，而瞄准那些为 DAOs 提供基础设施的实体可能是增加胜算率的做法。

比如，SpankChain 创始人 Ameen Soleimani 指出，诸如RaidGuild和DAOHaus等 DAO 工具制造商，以及投票平台Tally等等，都是可供选择的选项。

然而，对于寻求在该领域部署大量资金的投资者而言，事情可能并不一帆风顺，因为并非所有上述这些项目都有可投资的 Tokens。

此外，Soleimani 警告称，DAO 基础设施投资的上行空间可能也有限。他表示：“奇怪的是，这些 (基础设施) 项目本身的表现可能不如某些 DAOs。”

他将这种现象与直接投资 NFTs 还是购买 NFT 平台代币 (比如 Rarible 的 RARI) 之间的选择进行比较。虽然 NFTs 在几周内就能获得数倍的回报，但在撰写本文时，RARI 在 30 天内下跌了 52%。

Opolis 的执行董事 Bill Warren 表示，大牌投资者可以采用的一个途径是采取“群体智慧”的方式——“资助基金”，即投资于积极管理投资组合的 DAOs。他说道：

“他们会把钱投给 MetaCartel Ventures 这样的投资 DAOs，并表示‘我们意识到，这群人比 12 个斯坦福大学毕业生更擅长挑选赢家。’”

然而，如果仅从投资的角度看待 DAOs，则会忽略一些事情。Warren 警告说:

“我不认为 DAOs 是传统意义上的资产类别。DAOs 是社区，而社区拥有资产——其中一些资产具有现实世界的价值，因为你可以把它们卖很多钱，而一些社区具有良好的、感觉更模糊的价值，因为它们将你与其他人联系在一起。”

他以 MetaCartel 为例，这个分配赠款的 DAO 组织的成立有着明显的捐赠意图。Warren 表示，随着时间的推移，MetaCartel 已经成为他最亲近的 DAOs 之一，因为随着其资金的减少，该社区变得更强大了。

文化冲突

除了 DAO 相关的技术进步，会议上的小组成员还讨论了 DAOs 的社会层。多位专家表示，完全出于利益动机的投资者可能并不理解谁将加入 DAOs 以及加入之后能够获得的益处，因此他们可能无法完全理解 DAOs。

Gitcoin 创始人 KevinOwocki 说道：“有一群 Z 世代的人觉得晚期资本主义很糟糕。我们接手的经济中，气候变化是一个大问题，错误信息是一个大问题，我们不信任我们的制度，我们有我们正在创造的新文化，该文化是围绕我们这一代人的需求、价值观和思想建立的。”

他继续说道：

“如果不了解以太坊的文化，你就无法理解它的技术，所以可能会有一群风投 (VCs) 正在委派一些低水平的分析师来学习以太坊的文化，但在很多方面，他们与以太坊文化是不兼容的。”

在会议期间，这种不兼容的情况得到了充分的展示。比如，一位投资者抛出了“最小可行社区”(minimum viable community) 这一说法，这是一种奇怪的语言混搭，将分析型投资者的语言应用到难以形容的人类组织上。使 DAOs 可行的许多指标，包括社区的热情、模因 (Meme) 的力量等等，有着根本不可测量性，这使得经典的投资分析形式变得毫无意义。

到目前为止，参与 DAOs 的主要基金的业绩好坏参半。

有些公司，如 ParaFi 和 Delphi，积极参与 DAO 的工程工作，并对由 DAO 治理的 DeFi 协议提出治理提案。同样，投资巨头 Andreessen Horowitz (a16z) 最近为其 DeFi 投资启动了一个代币委托计划(即将 a16z 在其投资的一些 DeFi 协议 (包括Uniswap、Compound等) 的代币投票权委托给第三方)，但 a16z 的这一计划是在 Uniswap 治理论坛上出现两个有争议的 DAO 提案之后。

一位不愿透露姓名的天使投资人，将这种现象比作是塔利班在美国从阿富汗撤军后发现了美国的黑鹰 (Blackhawk) 直升机；假设这些可能是非常强大的工具，但风投们首先必须学会如何使用它们。

“这里面存在摩擦，因为每当你试图控制去中心化的东西时，你要么会破坏你试图控制的社区，要么就无法从他们那里得到你原本想要的东西，”Opolis 的执行董事 Bill Warren 说道。他补充道：

“我认为最终风投们会非常失望。我觉得一个风投想要投资像 DAOHaus 这样的平台，这会让他们崩溃的。这个东西是完全开源的，且从传统意义的角度来看，其唯一的竞争优势是社区，也即人们相信它，感觉自己拥有它。但如果突然之间，它的 50% 的代币被某一个实体拥有，那么这种优势就会消失。”

这种摩擦的一部分也来自这样一个事实，即如果成功的话，DAOs 将取代风险投资公司。这就好比 Web2 组织正在试图投资于可能注定将杀死它们的 Web3 继任者。

超级周期的循环

DAOs 可能不会迎来重大资本转动的另一个原因是，从许多指标来看，DAO 的超级周期已经开始了——只是可能不会出现在 CoinGecko 的排名上。

许多早期的 DAO 参与者，包括经历了早期实验的MolochDAO“召唤者”和 MetaCartel 捐赠者，目前正在蓬勃发展，并同样催生了整个项目的家族树。

SpankChain 创始人 Ameen Soleimani说道：“很多经历了这一过程的人曾处于这场浪潮的顶端，他们能够继续搭建一些致力于其他事情的社区。以Joseph Delong为例，他曾是 ConsenSys 的一名 Eth 2.0 开发人员，他自愿决定加入 Moloch DAO，拿出自己的 100ETH来资助 Eth 2.0 的开发——那是他自己的东西。现在他是领导层的一员。”

Joseph Delong 目前是 DeFi 平台Sushiswap的首席技术官，这一职位赋予了他重要的社区影响力。

同样，Soleimani谈到了Cooper Turley(@Cooopahtroopa)，Moloch DAO 曾出钱让 Cooper写一篇年终博客。现如今，Cooper 已经成为了Fire Eyes 和 Friends With Benefits 等 DAO 组织的关键人物。

这是一种不寻常的投资形式，甚至更接近于建立人脉——将财务和社交资本借给某个 DAO 组织，然后再通过从中产生的机会来获得回报。

这些机会反过来也扩大了 DAO 生态系统。Warren 和 Soleimani 都指出，DAO 成员通常会继续组建新的组织，这些组织可能有不同的使命、目的和需求——这些需求将推动对 DAO 基础设施的新投资。

简言之，想要被动配置资金的投资者最终将无法抓住这一趋势；只有身在其中的人才能感知到变化和周期。

“贡献挖矿”

最终，尽管可供投资的工具和平台数量不多 (虽然其数量在不断增加)，但与 CoinDesk 交谈的每一位专家都认为，从这一新兴垂直领域创造价值的最佳方式是积极参与，也就是所谓的“贡献挖矿”(contribution mining)。

Warren开玩笑说：“如果风投们试图在没有加入任何 DAO 的情况下投资于 DAOs，那将是一种愚蠢的做法。”

有许多关于如何加入某个 DAO的指南，但Tracheopteryx表示，这个过程并不像与一个 DeFi 合约互动那么复杂——投资者只需要找到他们喜欢的营地，然后砍柴或挑水。

Tracheopteryx 说道：“答案其实很简单，‘你对什么感兴趣？你的信仰是什么？谁与你有共同的价值观？这个 DAO 里面有没有与你志同道合的人？’只要加入其 Discord，找到开始做贡献的方式就行了。”

毕竟，革命不一定需要投资，它们需要脚踏实地——而且，正如索莱Soleimani所说，这种彻底改革人类组织结构方式的机会与经济回报一样令人兴奋：

“我相信开发者们会想出办法。我们才刚刚开始。我们刚刚展示了 DAO 的能力。它已经可以在某些方面做得更好，我们只需要证明它可以在其他方面做得更好。在这个设计空间中存在着无限的机会，我们可以创造出比现有结构更有意义的结构。”

无论某个特定的 DAO 组织的未来看起来多么美好，如果你希望从中受益，就需要参与其中。

Follow

tokenpocket官方|daos

tokenpocket官方|daos

开源全闪存存储系统：Intel DAOS架构介绍 - 知乎

从两个模型带你了解DAOS 分布式异步对象存储 - 知乎

GitHub - daos-stack/daos: DAOS Storage Stack (client libraries, storage engine, control plane)

下一代开源分布式存储(vs Ceph)系统 - DAOS - 知乎

Decentralized autonomous organizations (DAOs) | ethereum.org

去中心化自治组织 (DAO) | ethereum.org

Decentralized autonomous organization - Wikipedia

What are DAOs? - The New York Times

One More Step

一文解析 DAO 投资：DAOs 是对人类组织方式的未来的一种押注_腾讯新闻

最近的新闻

您可能喜欢的文章

imtoken2.0下载|cs平台

imtoken钱包安卓官网下载|deskry

钱包USDT换ETH：快捷便利的数字货币交换方式

比特币登陆钱包官方地址

谷歌钱包充值比特币：全面指南及最新教程

区块链钱包安装，安全隐患大揭秘

比特币冷钱包提币教程及注意事项