VIM-GO, Golang 개발환경 꾸미기


회사 업무 때문에 Golang을 쓰고 있다. 코딩 스타일과 디렉토리 구조를 강제하는 점이 불만이지만, 그에 대한 반대급부로 편리함을 제공해준다. Golang은 개성이 중요한 예술가적 마인드의 개발자를 위한 도구가 아니라 문제해결이 중요한 실용가적 마인드의 개발자를 위한 도구인 것 같다.

Golang이 강제하는 코딩 스타일과 디렉토리 구조를 받아들인다면, 주요 OS마다 제공되는 표준 툴의 편리함과 일관됨을 누릴 수 있다. Golang을 설치하고 vim-go를 설치하면 다른 번잡한 툴이 필요 없다.

Golang 툴 설치

https://golang.org/doc/install 페이지가 안내하는 대로 따라하면 어렵지 않게 설치할 수 있다. GOROOT 환경변수와 GOPATH 환경변수 설정이 중요하다. GOROOT는 Golang 툴이 설치된 root 디렉토리 (예를 들어 /usr/local/go)이고, GOPATH는 Golang 프로젝트 관리를 위해 사용할 home 디렉토리 (예를 들어 /home/some-usr/go)이다. GOPATH 디렉토리 아래에는 툴에 의해 bin, pkg, src 디렉토리가 강제로 생성되고 관리된다. 개발자는 $GOPATH/src/ 디렉토리 아래에 프로젝트 디렉토리를 만들어야 한다 (안 내켜도 받아들이는게 편하다).

Vim-go 설치

  1. Vundle (VIM 플러그인 매니저) 설치
    .vimrc 설정파일을 GitHub에 올렸다. 해당 파일에 Vundle 플러그인 매니저의 설치방법도 메모해뒀다.
    https://gist.github.com/ingee/0554f2a8ae8c018d0f8b0c0c2c322767
  2. vim-go (Golang VIM 플러그인) 설치
    VIM 에디터에는 Vundle 말고도 다양한 플러그인 매니저가 존재한다. 어느 플러그인 매니저를 사용하든 상관 없다. VimAwesome 페이지(https://vimawesome.com/)를 방문하면 수많은 VIM 플러그인들의 목록과 설치방법을 확인할 수 있다. Golang 프로젝트 개발을 위해서는 vim-go 플러그인을 설치해야 한다. 바로 위 .vimrc 파일에는 Vundle 플러그인 매니저를 이용해서 vim-go 를 활용하는 설정이 이미 존재한다. .vimrc 를 수정한 다음, vim 을 실행시키고 커맨드 모드에서 :PluginInstall 을 실행시키면 vim-go 가 설치된다. vim-go 가 설치된 상태에서 :GoInstallBinaries 를 실행시키면 필요한 Golang 바이너리들이 설치된다 (바이너리 업데이트는 :GoUpdateBinaries). 여기까지 오면 준비 끝이다.
  3. Go 소스 탐색
    • hello.go 새로 편집
      vim hello.go를 입력하면 vim-go가 기본 뼈대를 자동으로 만들어 준다.
      package main
      
      import "fmt"
      
      func main() {
        fmt.Println("vim-go")
      }
      
    • <ctrl> ] 입력으로 소스코드 추적
      커서를 Println 구문 위에 놓고 <ctrl>+] 키를 입력하면 fmt.Println() 함수 구현부로 이동한다.
      // Println formats using the default formats for its operands and writes to standard output.
      // Spaces are always added between operands and a newline is appended.
      // It returns the number of bytes written and any write error encountered.
      func Println(a ...interface{}) (n int, err error) {
        return Fprintln(os.Stdout, a...)
      }
      
    • <ctrl> o 입력으로 소스코드 복귀
      다시 <ctrl>+o 키를 입력하면 직전 편집 위치로 복귀한다. <ctrl>+] 키와 함께 쓰면 편하다.
      package main
      
      import "fmt"
      
      func main() {
        fmt.Println("vim-go")
      }
      
끝!


Posted by ingeeC
,

Private vs. Public,
Permissioned vs. Permissionless 블록체인


멋지고 선명한 정의를 발견하여 메모함.

private vs. public 블록체인

  • Who can read from the Blockchain?
  • 제한된 사람들만 블록체인을 조회할 수 있으면 프라이빗 블록체인
  • 누구나 블록체인을 조회할 수 있으면 퍼블릭 블록체인

permissioned vs. permissionless 블록체인

  • Who can write to the Blockchain?
  • 허가된 사람들만 블록체인 합의에 참여할 수 있으면 퍼미션드 블록체인
  • 누구나 블록체인 합의에 참여할 수 있으면 퍼미션리스 블록체인

Posted by ingeeC
,

도커 운영 중, 호스트 머신의 스토리지가 가득찼을 때


현상

docker storage를 충분한 크기로 적절히 설정하고 운영함에도 host 머신의 스토리지가 full 되는 경우가 있다.

# df Filesystem Size Used Avail Use% Mounted on /dev/vda1 10G 3.9G 6.2G 39% / /dev/vdc1 10G 10G 0 100% /var /dev/vdd1 100G 7.5G 93G 8% /home ...


설명

  • /var/lib/docker/containers/ 디렉토리 아래, <container-id>/<container-id>-json.log 파일이 스토리지를 모두 차지했을 수 있다
  • 이 파일은 도커가 docker logs 명령 실행시 출력할 로그를 저장하는 파일이다 (docker storage에 저장되지 않고 host 머신의 파일 시스템을 소진한다)
  • 도커 실행시 max-size 옵션을 설정하면 로그 파일의 크기를 제한할 수 있다
  • 도커 실행시 max-file 옵션을 설정하면 로그 파일의 개수를 제한할 수 있다 (log rotate 효과)

해법

$ sudo vi /etc/docker/daemon.json
...다음 내용 추가...
{
  "log-driver": "json-file",
  "log-opts": {
    "mode": "non-blocking",
    "max-size": "4m",
    "max-file": "3"
  }
}

$ sudo systemctl restart docker

Ref


Posted by ingeeC
,

Docker Storage 이해

Ops 2018. 10. 15. 14:15

2018.10.15 덧붙임

컨테이너 안에서 파일을 저장하려면 data volume을 이용하는 것이 좋다 (강력히 권장. data volume 사용이 애매하면 mount volume도 권장).

  • 컨테이너 안에서의 파일 I/O는 storage driver에 의해 처리되며, 이는 일반 file I/O보다 큰 오버헤드를 감수해야 한다 (CoW 처리 때문)
  • 하지만, data volume 을 이용한 (컨테이너 안에서의) 파일 I/O는 storage driver를 우회하여 처리되며, host 머신의 file I/O와 동일한 속도로 처리된다
  • data volume (또는 mount volume)을 이용하려면 docker run 명령으로 컨테이너를 실행할 때, -v 옵션으로 볼륨을 지정하면 된다



2016.12.16 덧붙임

  • 도커는 원래 Ubuntu에서 개발, Ubuntu의 파일 스토리지 시스템은 AUFS
  • Red Hat 계열 배포판 (RHEL, CentOS, ...)에는 AUFS가 존재하지 않음
  • Red Hat 계열 리눅스를 위해, 도커는 Device Mapper를 2번째 Storage Backend로 수용함
  • Red Hat 계열 리눅스에 도커를 설치하면, Device Mapper가 도커의 Storage Backend로 동작 (loop-lvm)
  • 만약, 도커를 상용 수준으로 운영하려면, Device Mapper를 loop-lvm(디폴트)가 아닌 direct-lvm으로 설정/운영해야 함
  • loopback device (loop-lvm)는 상용 서비스를 처리하기엔 성능이 너무 안 좋음 (https://forums.docker.com/t/loopback-storage-devices/22007/2)



2016.01.29 원글

Q: 도커를 쓸 때 궁금했다
- 도커허브에서 가져온 도커 이미지는 어디에 저장되는 걸까?
- 도커 컨테이너 안에 write 하는 데이터는 어디에 저장되는 걸까?

A: 알고보니, <도커 스토리지>에 저장됐다
- <도커 이미지>는 layer 구조를 갖는다
- <도커 컨테이너>의 데이터는 CoW (Copy On Write) 정책에 따라 저장된다
+ RHEL/ CentOS/ Fedora 에서는 <도커 스토리지> 설정 작업이 필요하다 (Device Mappr)
  - 디폴트 스토리지는 loopback 장치
  - 안정적이지 않음
- Ubuntu는 도커 패키지 설치후 도커 스토리지 설정 없이 그냥 써도 좋다 (AUFS)

도커 스토리지 설정 스크립트 (@RHEL/ CentOS/ Fedora)
0. su
  $ su
1. volume이 정상적으로 준비되어 있는지 확인
  # fdisk -l
  - 사용하지 않는 /dev/vdc 장치 존재 확인
2. docker-storage-setup 설정 파일 수정
  # cat <<EOF > /etc/sysconfig/docker-storage-setup DEVS=/dev/vdc VG=docker-vg EOF
3. docker-storage-setup 명령 실행
  # docker-storage-setup
  ...
  Physical volume "/dev/vdc1" successfully created
  Volume group "docker-vg" successfully created
  Rounding up size to full physical extent 16.00 MiB
  Logical volume "docker-poolmeta" created.
  Logical volume "docker-pool" created.
  ...

Ref
- (추천!) Understand images, containers, and storage drivers
  https://docs.docker.com/engine/userguide/storagedriver/imagesandcontainers/
- Docker and the Device Mapper storage driver
  https://docs.docker.com/engine/userguide/storagedriver/device-mapper-driver/
- Comprehensive Overview of Storage Scalability in Docker
  http://developerblog.redhat.com/2014/09/30/overview-storage-scalability-docker/

(이상)

Posted by ingeeC
,

Permissioned Blockchain 합의 알고리즘의 종류


Permissioned Lottery based Consensus

  • 리더를 추첨, 리더가 블록을 생성
  • 사례: PoET (Proof of Elapsed Time), PoW
  • 장점: node 개수가 대규모일 때 적합
  • 단점: fork가 일어날 수 있음, 따라서 finality 확정까지 긴 시간 소요


Permissioned Voting based Consensus

  • 투표에 의한 합의
  • 사례: RBFT (Redundant BFT), PBFT (Practical BFT)
  • 장점: 빠른 finality 확정
  • 단점: node 수가 늘어날수록 합의 시간이 길어짐, 즉 scalability와 speed 사이의 trade-off 존재



합의 알고리즘 관련 용어

  • Safety : 같은 TXs를 처리하면 모든 node가 같은 결과를 내야 한다 (같은 블록체인을 만들어야 한다)
  • Liveness : 살아있는 node는 시간이 흐르면 결국 모든 TXs를 수신해야 한다


Ref.


Posted by ingeeC
,