Zhuang's Diary

言之有物，持之以恒

Posted on Edited on

CPU Profiling

Golang 提供了 pprof 包（runtime/pprof）用于输出运行时的 profiling 数据，这些数据可以被 pprof 工具（或者 go tool pprof，其为 pprof 的变种）使用。通常我们这样来使用 pprof 包：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1 // 定义 flag cpuprofile
2 var cpuprofile = flag.String("cpuprofile", "", "write cpu profile to file")
3 func main() {
4    flag.Parse()
5    // 如果命令行设置了 cpuprofile
6    if *cpuprofile != "" {
7        // 根据命令行指定文件名创建 profile 文件
8        f, err := os.Create(*cpuprofile)
9        if err != nil {
10            log.Fatal(err)
11        }
12        // 开启 CPU profiling
13        pprof.StartCPUProfile(f)
14        defer pprof.StopCPUProfile()
15    }
16    ...

假定我们编写的一个程序 mytest 中加入了上述代码则可以执行并生成 profile 文件：

1
./mytest -cpuprofile=mytest.prof

这里，我们生成了 mytest.prof profile 文件。有了 profile 文件就可以使用 go tool pprof 程序来解析此文件：

1
go tool pprof mytest mytest.prof

pprof 程序中最重要的命令就是 topN，此命令用于显示 profile 文件中的最靠前的 N 个样本（samples），例如（此例为 http://blog.golang.org/profiling-go-programs 中的例子）：

1
2
3
4
5
6
7
8
9
10
11
12
1 (pprof) top10
2 Total: 2525 samples
3    298  11.8%  11.8%    345  13.7% runtime.mapaccess1_fast64
4    268  10.6%  22.4%   2124  84.1% main.FindLoops
5    251   9.9%  32.4%    451  17.9% scanblock
6    178   7.0%  39.4%    351  13.9% hash_insert
7    131   5.2%  44.6%    158   6.3% sweepspan
8    119   4.7%  49.3%    350  13.9% main.DFS
9     96   3.8%  53.1%     98   3.9% flushptrbuf
10    95   3.8%  56.9%     95   3.8% runtime.aeshash64
11    95   3.8%  60.6%    101   4.0% runtime.settype_flush
12    88   3.5%  64.1%    988  39.1% runtime.mallocgc

开启 CPU profiling 后，Golang 程序在 1 秒钟会停顿 100 次，每次停顿都会记录 1 个样本。上例中，前两列表示运行的函数的样本数量（the number of samples in which the function was running）和占总样本数的百分比，例如说 runtime.mapaccess1_fast64 函数在 298 次采样中（占总采样数量的 11.8%）正在运行。第三列表示前几行样本数量总和占总样本数的百分比（第二行 22.4% 为 11.8% + 10.6%）。第四、五列表示出现的函数的样本数量（the number of samples in which the function appeared）和占总样本数的百分比，这里“出现的函数”指的是在采样中正在运行或者等待某个被调用函数返回的函数，换句话就是采样中那些位于调用栈上的函数。我们可以使用 -cum（cumulative 的缩写）flag 来以第四、五列为标准排序。需要注意的是，每次采样只会包括最底下的 100 个栈帧（stack frames）。

使用 web 命令能够以图形化的方式（SVG 格式）显示函数调用关系。例如（图片来源于 http://blog.golang.org/profiling-go-programs ）：

这里每个方块的大小由运行的函数的样本数量决定（这样就能方便的一眼看到热点函数）。箭头表示的是调用关系，箭头上的数字表示的是采样到的调用次数。web 命令还可以指定显示特定的函数，例如：

1
(pprof) web mapaccess1

当我们有大致的想法（也就是确定热点函数）后，就可以深入特定的函数。我们使用 list 命令（此例为 http://blog.golang.org/profiling-go-programs 中的例子）：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1 (pprof) list DFS
2 Total: 2525 samples
3 ROUTINE ====================== main.DFS in /home/rsc/g/benchgraffiti/havlak/havlak1.go
4    119    697 Total samples (flat / cumulative)
5      3      3  240: func DFS(currentNode *BasicBlock, nodes []*UnionFindNode, number map[*BasicBlock]int, last []int, current int) int {
6      1      1  241:     nodes[current].Init(currentNode, current)
7      1     37  242:     number[currentNode] = current
8      .      .  243:
9      1      1  244:     lastid := current
10    89     89  245:     for _, target := range currentNode.OutEdges {
11     9    152  246:             if number[target] == unvisited {
12     7    354  247:                     lastid = DFS(target, nodes, number, last, lastid+1)
13     .      .  248:             }
14     .      .  249:     }
15     7     59  250:     last[number[currentNode]] = lastid
16     1      1  251:     return lastid

上例中，第一列为运行到此行时的样本数，第二列为运行到此行或从此行调用的样本数，第三列为行号。如果需要显示汇编，可以使用命令 disasm（使用命令 weblist 可以同时显示源码和汇编代码， 这里 有一个范例）。通过样本数，我们可以定位到热点行，然后考虑适合的优化策略。

pprof 包

pprof 包进行 profiling 有两种方式：

  • 采样。CPU Profiling 需要不断采样，（如上所述）pprof 包提供了一套特殊的 API（StartCPUProfile / StopCPUProfile）
  • 快照。下面详细谈这种方式（同样可以使用 go tool pprof 程序来解析输出的 profile 文件）

pprof 包预先定义了（还可以自己扩展）4 种快照模式：

  • goroutine，当前所有 goroutines 的 stack traces
  • heap，所有的堆内存分配（为降低开销仅获取一个近似值，To reduce overhead, the memory profiler only records information for approximately one block per half megabyte allocated (the “1-in-524288 sampling rate”), so these are approximations to the actual counts）
  • threadcreate，致使新系统线程创建的 stack traces
  • block，致使在同步原语上阻塞的 stack traces

相关 API 具体用法如下：

1
2
3
4
1 // 根据名字查找 Profile
2 p := pprof.Lookup("heap")
3 // 将一个 pprof（程序）格式的快照写入 w
4 p.WriteTo(w, 0)

这里的 WriteTo 方法原型为：

1
1 func (p *Profile) WriteTo(w io.Writer, debug int) error

其中 debug 参数：

  • 为 0 时，仅仅输出 pprof（程序）需要的十六进制地址
  • 为 1 时，输出时增加函数名和行号，这样无需工具也可以阅读此 profile
  • 为 2 时，并且当输出 goroutine profile 时，输出的 goroutine 栈的格式为未 recovered panic 时的格式

memory profiling

以 https://blog.golang.org/profiling-go-programs 中的例子为例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1 // 定义 flag memprofile
2 var memprofile = flag.String("memprofile", "", "write memory profile to this file")
3 ...
4    // 需要 profiling 的函数
5    FindHavlakLoops(cfgraph, lsgraph)
6    if *memprofile != "" {
7        f, err := os.Create(*memprofile)
8        if err != nil {
9            log.Fatal(err)
10        }
11        // WriteHeapProfile 等价于 Lookup("heap").WriteTo(w, 0)
12        pprof.WriteHeapProfile(f)
13        // 关闭文件
14        f.Close()
15        return
16    }

使用 go tool pprof 程序打开生成的 profile 文件：

1
2
3
4
5
6
7
1 (pprof) top5
2 Total: 82.4 MB
3    56.3  68.4%  68.4%     56.3  68.4% main.FindLoops
4    17.6  21.3%  89.7%     17.6  21.3% main.(*CFG).CreateNode
5     8.0   9.7%  99.4%     25.6  31.0% main.NewBasicBlockEdge
6     0.5   0.6% 100.0%      0.5   0.6% itab
7     0.0   0.0% 100.0%      0.5   0.6% fmt.init

这里显示了函数当前大致分配的内存。类似 CPU profiling，通过 list 命令查看函数具体的内存分配情况：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
1 (pprof) list FindLoops
2 Total: 82.4 MB
3 ROUTINE ====================== main.FindLoops in /home/rsc/g/benchgraffiti/havlak/havlak3.go
4   56.3   56.3 Total MB (flat / cumulative)
5...
6    1.9    1.9  268:     nonBackPreds := make([]map[int]bool, size)
7    5.8    5.8  269:     backPreds := make([][]int, size)
8      .      .  270:
9    1.9    1.9  271:     number := make([]int, size)
10   1.9    1.9  272:     header := make([]int, size, size)
11   1.9    1.9  273:     types := make([]int, size, size)
12   1.9    1.9  274:     last := make([]int, size, size)
13   1.9    1.9  275:     nodes := make([]*UnionFindNode, size, size)
14     .      .  276:
15     .      .  277:     for i := 0; i < size; i++ {
16   9.5    9.5  278:             nodes[i] = new(UnionFindNode)
17     .      .  279:     }
18...
19     .      .  286:     for i, bb := range cfgraph.Blocks {
20     .      .  287:             number[bb.Name] = unvisited
21  29.5   29.5  288:             nonBackPreds[i] = make(map[int]bool)
22     .      .  289:     }

有了这些信息，我们就可以着手进行优化了。

Posted on Edited on

BSD开源协议

是一个给于使用者很大自由的协议。可以自由的使用，修改源代码，也可以将修改后的代码作为开源或者专有软件再发布。当你发布使用了BSD协议的代码，或者以BSD协议代码为基础做二次开发自己的产品时，需要满足三个条件：

  • 如果再发布的产品中包含源代码，则在源代码中必须带有原来代码中的BSD协议。
  • 如果再发布的只是二进制类库/软件，则需要在类库/软件的文档和版权声明中包含原来代码中的BSD协议。
  • 不可以用开源代码的作者/机构名字和原来产品的名字做市场推广。

BSD代码鼓励代码共享，但需要尊重代码作者的著作权。BSD由于允许使用者修改和重新发布代码，也允许使用或在BSD代码上开发商业软件发布和销售，因此是对商业集成很友好的协议。很多的公司企业在选用开源产品的时候都首选BSD协议，因为可以完全控制这些第三方的代码，在必要的时候可以修改或者 二次开发。

Apache Licene 2.0 协议

Apache Licence是著名的非盈利开源组织Apache采用的协议。该协议和BSD类似，同样鼓励代码共享和尊重原作者的著作权，同样允许代码修改，再发布（作为开源或商业软件）。需要满足的条件也和BSD类似：

  • 需要给代码的用户一份Apache Licence
  • 如果你修改了代码，需要在被修改的文件中说明。
  • 在延伸的代码中（修改和有源代码衍生的代码中）需要带有原来代码中的协议，商标，专利声明和其他原来作者规定需要包含的说明。
  • 如果再发布的产品中包含一个Notice文件，则在Notice文件中需要带有Apache Licence。你可以在Notice中增加自己的许可，但不可以表现为对Apache Licence构成更改。
  • Apache Licence也是对商业应用友好的许可。使用者也可以在需要的时候修改代码来满足需要并作为开源或商业产品发布/销售。

英文原文：http://www.apache.org/licenses/LICENSE-2.0.html

MIT 协议

MIT许可证之名源自麻省理工学院（Massachusetts Institute of Technology, MIT），又称「X条款」（X License）或「X11条款」（X11 License）

MIT内容与三条款BSD许可证（3-clause BSD license）内容颇为近似，但是赋予软体被授权人更大的权利与更少的限制。

被授权人有权利使用、复制、修改、合并、出版发行、散布、再授权及贩售软体及软体的副本。

被授权人可根据程式的需要修改授权条款为适当的内容。

在软件和软件的所有副本中都必须包含版权声明和许可声明。

此授权条款并非属copyleft的自由软体授权条款，允许在自由/开放源码软体或非自由软体（proprietary software）所使用。

此亦为MIT与BSD（The BSD license, 3-clause BSD license）本质上不同处。

MIT条款可与其他授权条款并存。另外，MIT条款也是自由软体基金会（FSF）所认可的自由软体授权条款，与GPL相容。

协议英文原文：http://www.opensource.org/licenses/mit-license.php

GPL 协议

在自由软件所使用的各种许可证之中，最为人们注意的也许是通用性公开许可证(General Public License，简称GPL)。

GPL同其它的自由软件许可证一样，许可社会公众享有：运行、复制软件的自由，发行传播软件的自由，获得软件源码的自由，改进软件并将自己作出的改进版本向社会发行传播的自由。
GPL还规定：只要这种修改文本在整体上或者其某个部分来源于遵循GPL的程序，该修改文本的 整体就必须按照GPL流通，不仅该修改文本的源码必须向社会公开，而且对于这种修改文本的流通不准许附加修改者自己作出的限制。因此，一项遵循GPL流通 的程序不能同非自由的软件合并。GPL所表达的这种流通规则称为copyleft，表示与copyright(版权)的概念“相左”。

GPL协议最主要的几个原则：

  • 确保软件自始至终都以开放源代码形式发布，保护开发成果不被窃取用作商业发售。任何一套软 件，只要其中使用了受 GPL 协议保护的第三方软件的源程序，并向非开发人员发布时，软件本身也就自动成为受 GPL 保护并且约束的实体。也就是说，此时它必须开放源代码。

  • GPL 大致就是一个左侧版权（Copyleft，或译为“反版权”、“版权属左”、“版权所无”、“版责”等）的体现。你可以去掉所有原作的版权 信息，只要你保持开源，并且随源代码、二进制版附上 GPL 的许可证就行，让后人可以很明确地得知此软件的授权信息。GPL 精髓就是，只要使软件在完整开源 的情况下，尽可能使使用者得到自由发挥的空间，使软件得到更快更好的发展。

  • 无论软件以何种形式发布，都必须同时附上源代码。例如在 Web 上提供下载，就必须在二进制版本（如果有的话）下载的同一个页面，清楚地提供源代码下载的链接。如果以光盘形式发布，就必须同时附上源文件的光盘。

  • 开发或维护遵循 GPL 协议开发的软件的公司或个人，可以对使用者收取一定的服务费用。但还是一句老话——必须无偿提供软件的完整源代码，不得将源代码与服务做捆绑或任何变相捆绑销售。

Posted on Edited on

Decentralized Identity Foundation Grows To 56 Members In Our First Year

May 23, 2018 marks the Decentralized Identity Foundation’s first anniversary. Over the past year, DIF has grown from a handful of founding organizations to 56 members. Together, we’re working to shape the future of decentralized identity technology and standards.

Technology Under Development

DIF members are working together to build a variety of technologies. Much of this work is being done in collaboration with the larger open source community through the W3C and events such as Rebooting Web of Trust and the Internet Identity Workshop.

Decentralized Identifiers (DIDs)

Decentralized Identifiers (DIDs) are a new type of identifier for verifiable, “self-sovereign” digital identity. DIDs are fully under the control of their owner, independent from any centralized registry, identity provider, or certificate authority.

Universal Resolver

The Universal Resolver is similar to Bind in the DNS system. However, instead of working with domain names, it works with self-sovereign identifiers that can be created and registered directly by their owners. This project was organized by DIF members with funding from British Columbia.

Chainpoint

Chainpoint is an open standard for anchoring data to a blockchain and creating a timestamp proof.

Hubs

Hubs are datastores containing semantic data objects at well-known locations. Each object in a Hub is signed by an identity and accessible via a globally recognized API format that explicitly maps to semantic data objects. Hubs are addressable via unique identifiers maintained in a global namespace. Several members within DIF have announced work on hub implementations, including Microsoft and Sovrin.

DIF Steering Committee Members

We’d like to thank the following Steering Committee members for providing leadership and helping DIF grow over the past year.

More Projects/companies working on blockchain and identity

More Projects/companies working on blockchain and identity.

Posted on Edited on

最坏的情况是：f个节点是有问题的，由于到达顺序的问题，有可能f个有问题的节点比正常的f个节点先返回消息，又要保证收到的正常的节点比有问题的节点多，所以需要满足N-f-f>f => N>3f，所以至少3f+1个节点。

为什么至少要2f个prepare (包括自己的pre-prepare共2f+1)。这是因为之前论证的，如果有f个fault 节点，那么节点总数至少是N=3f+1。简单说一下论证过程，假设总数N个节点，f个fault节点，那么必须接收到N-f个消息应答，才能够判断出结果(因为fault节点可能不发送应答)。N-f个应答中有f个可能是假的(fault节点发出的)，那么真实的是N-f-f，要求真实的应答大于假的应答，即N-f-f > f ==> N > 3f。所以: N_min = 3f+1 所以在prepare和commit两个阶段必须收到2f+1(包括自己) 的应答消息，才能证明有f+1非fault节点发送了应答。(注意前提是非fault对于相同的消息，会产生相同的消息应答)那么这里也有个问题：就是接收2f+1个消息的时，判断是否一致，是否需要对比数据的的签名。我的看法是，如果2f+1个v，n都相同，d(m)只需要f+1相同就可以了。否则就共识失败了。

Posted on Edited on

原文作者：Vijini Mallawaarachchi
原文地址：10 Common Software Architectural Patterns in a nutshell

有没有想过要设计多大的企业规模系统？在主要的软件开发启动之前，我们必须选择好体系结构，它将为我们提供所需的功能和质量。因此，在将它们应用到具体设计之前，我们应该了解不同的体系结构。

什么是架构模式？

根据维基百科中的定义：

架构模式是一个通用的、可重用的解决方案，用于在给定上下文中的软件体系结构中经常出现的问题。架构模式与软件设计模式类似，但具有更广泛的范围。

在本文中，将简要地解释以下10种常见的体系架构模式，以及它们的用法、优缺点。

  1. Layer 分层模式
  2. CS 客户端-服务器模式
  3. MS 主从设备模式
  4. Filter 管道-过滤器模式
  5. Broker 代理模式
  6. P2P 点对点模式
  7. Bus 事件总线模式
  8. MVC 模型-视图-控制器模式
  9. Blockboard 黑板模式
  10. Expression 解释器模式

一. Layer 分层模式

这种模式也称为多层体系架构模式。它可以用来构造可以分解为子任务组的程序，每个子任务都处于一个特定的抽象级别。每个层都为下一个提供更高层次服务。

一般信息系统中最常见的是如下所列的4层。

  • 表示层(也称为UI层)
  • 应用层(也称为服务层)
  • 业务逻辑层(也称为领域层)
  • 数据访问层(也称为持久化层)

使用场景：

  • 一般的桌面应用程序
  • 电子商务Web应用程序

二. CS 客户端-服务器模式

这种模式由两部分组成：一个服务器和多个客户端。服务器组件将为多个客户端组件提供服务。客户端从服务器请求服务，服务器为这些客户端提供相关服务。此外，服务器持续侦听客户机请求。

使用场景：

  • 电子邮件，文件共享和银行等在线应用程序

三. MS 主从设备模式

这种模式由两方组成,主设备和从设备。主设备组件在相同的从设备组件中分配工作，并计算最终结果，这些结果是从设备返回的结果。

使用场景：

  • 在数据库复制中，主数据库被认为是权威的来源，并且要与之同步
  • 在计算机系统中与总线连接的外围设备(主和从驱动器)

四. 管道-过滤器模式

此模式可用于构造、生成和处理数据流的系统。每个处理步骤都封装在一个过滤器组件内。要处理的数据是通过管道传递的。这些管道可以用于缓冲或用于同步。

使用场景：

  • 编译器。连续的过滤器执行词法分析、解析、语义分析和代码生成
  • 生物信息学的工作流

五. 代理模式

此模式用于构造具有解耦组件的分布式系统。这些组件可以通过远程服务调用彼此交互。代理组件负责组件之间的通信协调。

服务器将其功能(服务和特征)发布给代理。客户端从代理请求服务，然后代理将客户端重定向到其注册中心的适当服务。

使用场景：

  • 消息代理软件，如Apache ActiveMQ，Apache Kafka，RabbitMQ和JBoss Messaging
  • 负债均衡 Ngix

六. 点对点模式

在这种模式中，单个组件被称为对等点。对等点可以作为客户端，从其他对等点请求服务，作为服务器，为其他对等点提供服务。对等点可以充当客户端或服务器或两者的角色，并且可以随时间动态地更改其角色。

使用场景：

  • 像Gnutella和G2这样的文件共享网络
  • 多媒体协议，如P2PTV和PDTP
  • 像Spotify这样的专有多媒体应用程序

七. 事件总线模式

这种模式主要是处理事件，包括4个主要组件：事件源、事件监听器、通道和事件总线。消息源将消息发布到事件总线上的特定通道上。侦听器订阅特定的通道。侦听器会被通知消息，这些消息被发布到它们之前订阅的一个通道上。

使用场景：

  • 安卓开发
  • 通知服务

八. MVC 模型-视图-控制器模式

这种模式，也称为MVC模式，把一个交互式应用程序划分为3个部分，

  • 模型：包含核心功能和数据
  • 视图：将信息显示给用户(可以定义多个视图)
  • 控制器：处理用户输入的信息
    这样做是为了将信息的内部表示与信息的呈现方式分离开来，并接受用户的请求。它分离了组件，并允许有效的代码重用。

使用场景：

  • 在主要编程语言中互联网应用程序的体系架构
  • 像Django和Rails这样的Web框架

九. 黑板模式

这种模式对于没有确定解决方案策略的问题是有用的。黑板模式由3个主要组成部分组成。

  • 黑板——包含来自解决方案空间的对象的结构化全局内存
  • 知识源——专门的模块和它们自己的表示
  • 控制组件——选择、配置和执行模块
    所有的组件都可以访问黑板。组件可以生成添加到黑板上的新数据对象。组件在黑板上查找特定类型的数据，并通过与现有知识源的模式匹配来查找这些数据。

使用场景：

  • 语音识别
  • 车辆识别和跟踪
  • 蛋白质结构识别
  • 声纳信号的解释

十. 解释器模式

这个模式用于设计一个解释用专用语言编写的程序的组件。它主要指定如何评估程序的行数，即以特定的语言编写的句子或表达式。其基本思想是为每种语言的符号都有一个分类。

使用场景：

  • 数据库查询语言，比如SQL
  • 用于描述通信协议的语言

体系架构模式的比较

下面给出的表格总结了每种体系架构模式的优缺点。

名称—优点—缺点
1.分层模式:
- 一个较低的层可以被不同的层所使用。层使标准化更容易，因为我们可以清楚地定义级别。可以在层内进行更改，而不会影响其他层。
- 不是普遍适用的。在某些情况下，某些层可能会被跳过。
2.客户端-服务器模式:
- 很好地建立一组服务，用户可以请求他们的服务。
- 请求通常在服务器上的单独线程中处理。由于不同的客户端具有不同的表示，进程间通信会导致额外开销。
3.主从设备模式:
- 准确性——将服务的执行委托给不同的从设备，具有不同的实现。
- 从设备是孤立的：没有共享的状态。主-从通信中的延迟可能是一个问题，例如在实时系统中。这种模式只能应用于可以分解的问题。
4.管道-过滤器模式:
- 展示并发处理。当输入和输出由流组成时，过滤器在接收数据时开始计算。轻松添加过滤器，系统可以轻松扩展。过滤器可重复使用。可以通过重新组合一组给定的过滤器来构建不同的管道。
- 效率受到最慢的过滤过程的限制。从一个过滤器移动到另一个过滤器时的数据转换开销。
5.代理模式:
- 允许动态更改、添加、删除和重新定位对象，这使开发人员的发布变得透明。
- 要求对服务描述进行标准化。
6.点对点模式:
- 支持分散式计算。对任何给定节点的故障处理具有强大的健壮性。在资源和计算能力方面具有很高的可扩展性。
- 服务质量没有保证，因为节点是自愿合作的。安全是很难得到保证的。性能取决于节点的数量。
7.事件总线模式:
- 新的发布者、订阅者和连接可以很容易地添加。对高度分布式的应用程序有效。
- 可伸缩性可能是一个问题，因为所有消息都是通过同一事件总线进行的。
8.模型-视图-控制器模式:
- 可以轻松地拥有同一个模型的多个视图，这些视图可以在运行时连接和断开。
- 增加复杂性。可能导致许多不必要的用户操作更新。
9.黑板模式:
- 很容易添加新的应用程序。扩展数据空间的结构很简单。
- 修改数据空间的结构非常困难，因为所有应用程序都受到了影响。可能需要同步和访问控制。
10.解释器模式:
- 高度动态的行为是可行的。对终端用户编程性提供好处。提高灵活性，因为替换一个解释程序很容易。
- 由于解释语言通常比编译后的语言慢，因此性能可能是一个问题。