2017-11-04

vim-goの便利コマンド一覧

概要

Goを開発している際に、vim-goを利用しています。

github.com

最低限のコマンドしか利用できていなかったため、
便利なコマンドを再洗い出ししてみます。
(個人的なまとめの意味合いが強いです。)

Commands

下記を参照しております。

vim-go/vim-go.txt at master · fatih/vim-go · GitHub

:GoRun

go run コマンドに相当します。
vim上から実行できるところが便利です。

:GoBuild

go build コマンドに相当します。build後のバイナリは排出しないです。
buildが成功するかどうかを確認する際に利用すると便利です。
成功すると、下記のように出力されます。

vim-go: SUCCESS

失敗すると、quickfix windowに一覧が出力されます。

1 main.go|16| syntax error: unexpected semicolon or newline, expecting comma or }
Quickfix  go build -i . errors
vim-go: FAILED

:GoDef

カーソル以下の、宣言元にjumpできます。
実際の実装がどうなっているか確認したりする際に利用します。
gd で同等の動作をします。
(基本的には、 gd で移動することが多い印象です。)

:GoCallers

カーソル以下のfuncの、呼び出し元を一括検索できます。
(ファイル全検索していたのが、馬鹿らしく思えます..)
注意点 として、複数packageで検索したい場合は、 :GoGuruScope でスコープを設定します。
(どのディレクトリ以下で検索をかけたいかを設定するイメージです。)

:GoGuruScope github.com/midorigreen/gprof

selectPeco()のカーソル上で

:GoCallers

quickfix window

1 main.go|93 col 6| github.com/midorigreen/gmd.selectPeco is called from these 3 sites:
2 /Users/midori/src/golang/src/github.com/midorigreen/gmd/exec.go|28 col 28| static function call from github.com/midorigreen/gmd.cmdExec
3 /Users/midori/src/golang/src/github.com/midorigreen/gmd/hist.go|38 col 28| static function call from github.com/midorigreen/gmd.cmdHist
4 /Users/midori/src/golang/src/github.com/midorigreen/gmd/del.go|29 col 25| static function call from github.com/midorigreen/gmd.cmdDel

:GoCallstack

カーソル以下のfuncのcallstackがquickfix windowで見れます。
(こちらも :GoGuruScope の指定が必要です。)

1 main.go|120 col 7| Found a call path from root to github.com/midorigreen/gmd.run
2 main.go|120 col 6| github.com/midorigreen/gmd.run
3 main.go|138 col 13| static function call from github.com/midorigreen/gmd.main

:GoTest

テストを実行します。

:GoTestFunc

カーソル以下のtest funcのみテストを実行します。

:GoDoc

カーソル以下のGoDocを別windowで参照することができます。 (Shift+k と同等の認識です。)

:GoDocBrowser

カーソル以下のGoDocをブラウザ上で参照することができます。
わざわざGoDocを検索する手間が省けます。

[range]:GoAddTags

range指定した、structにタグを自動で追加してくれます。 Before

type Prof struct {
    Cores     []Core
    Model     string
    ModelName string
    CacheSize int32 
}

After (defaultはjsonタグ)

type Prof struct {
    Cores     []Core `json:"cores"`
    Model     string `json:"model"`
    ModelName string `json:"model_name"`
    CacheSize int32  `json:"cache_size"`
}

dbタグ = [range]:GoAddTags db
omitempty = [range]:GoAddTags json,omitempty

:GoFillStruct

structの宣言時に、literalをdefault値で埋めてくれます。
初期化時に、各literalを打たなくて良いのが楽です。
Before

prof := Prof{}

After

prof := Prof{
    Cores:     nil,
    Model:     "",
    ModelName: "",
    CacheSize: 0,
}

:GoRename [to]

カーソル以下の文字を、一括でrenameしてくれます。
呼び出し元も、合わせて修正してくれろところが便利です。
func, struct, 変数名 のそれぞれ動作可能です。

:GoPlay

開いているファイルをGo Playgroundで見ることができます。
サンプルコード書いて、展開する場合とかに便利そうです。

所感

他にもまだまだ眠ってそうですが、追加され次第、追記していく形を取ろうかと思います。
ここまで揃っていると、vimで十分な効率で開発できそうです。

2017-10-22

技術書展3に行ってきた

概要

技術書展3に行ってきたので、戦利品(2点)をさらします。
まだ、中身は読めていないです。 (あまり買えなかったですね..)

techbookfest.org

戦利品

こうしてぼくらは、書籍を売るアプリを作った
Gopher Walker

こうしてぼくらは、書籍を売るアプリを作った

メルカリカウルを作った話ですね。

f:id:midori5:20171022204626j:plain

気になる内容

ChatOpsの勘どころ
Goのinterface設計

Gopher Walker

golang.tokyo が出版した本(PDF)です。
Gopherとして読んでみたい本でした。
(無料配布でしたが、少額の寄付をさせていただきました!)

f:id:midori5:20171022210656j:plain

f:id:midori5:20171022205318p:plain

気になる内容

@pospome さんの実装パターン
@tenntenn さんのGo Friday傑作選

感想

この台風前の雨の中、大勢の方が来られていました。よくみられた出版物は下記の形の印象でした

機械学習系
- やっぱり多かったですね
Swift
- Swift系の出版物がちらほらみられました

Go系のものがまだまだ少なかったので、増えてくれるとうれしいですね。
次回も覗きに行けたらいいかなぁと思います。

補足

「Goならわかるシステムプログラミング」が買えなかったのが残念です。

2017-09-18

Serverless App作成ツール Up を利用してみた

概要

up と呼ばれるツールを利用してみました。
(Introductionをそのまま試してみただけです。)

github.com

upとは?

Serverless Applicationを簡単に作成、デブロイできるツールです。
現状の構築環境と方式は、下記のとおりです。

構築環境
- AWS
方式
- API GateWay + AWS Lambda

対応言語

個人的にはGolangに対応しているのが良いですね。
(Lambda自体はまだ、Golang対応していないので)

Node.js
Golang (← GOOD)
Python
Crystal
静的サイト

手順

こちらのサイトに記載のまんまです。

1. Install

curl直接 or npm

# curl版
% curl -sfL https://raw.githubusercontent.com/apex/up/master/install.sh | sh

# npm版 (内部で上記curlを叩いているだけです)
% npm i -g up

2. AWS Credenstialsの設定

~/.aws/credentials に追記が楽かと思います。

[go-up-test]
aws_access_key_id = xxxxxxxx
aws_secret_access_key = xxxxxxxxxxxxxxxxxxxxxxxx

3. `up.json`(設定ファイル)作成

必須の項目は、profileのみです。
~/.aws/credentials で設定したprofile名と合わせてください。

{
    "profile": "go-up-test",
    "regions": ["ap-northeast-1"]
}

4. 好きな言語でサーバー側の処理を記載

package main

import (
        "fmt"
        "log"
        "net/http"
        "os"
)

func main() {
        addr := ":" + os.Getenv("PORT")
        http.HandleFunc("/", hello)
        log.Fatal(http.ListenAndServe(addr, nil))
}

func hello(w http.ResponseWriter, r *http.Request) {
        fmt.Fprint(w, "Hello go-up-test")
}

5. Deploy

# develop環境へのDeploy
% up

# production環境へのDeploy
% up deploy production

6. 確認

# ブラウザでOpen
% up url --open

# ClipbordにCopy
% up url --copy

% curl "https://xxxxxxx.execute-api.ap-northeast-1.amazonaws.com/development/"
Hello go-up-test

補足

up.json に諸々の設定を加えることができそうです
- 複数regionに作成
- Lambdaの設定
- 環境変数
- CORS
- SSL証明
up logs コマンドでログが見れます

# past 5 minutes
% up logs

# real time log
% up logs -f

up stack delete で作成したresourcesを全て削除できます

サンプルコード

github.com

所感

AWSの設定さえ終わっていれば、非常に簡単にServerless Appを作成できると感じました。Slack Commandが簡単に作れるようなので、試してみたいです。 (元々、SlackのSlash Commandを簡単に作れるという記事を見かけて、興味を持ちました。)

参考

2017-08-16

Machine Learning事始め (TensorFlow)

Machine Learning

概要

お盆休みを利用して、Machine LearningをTensorFlowのTutorialを通して触れてみました。
解いた問題は、手書き数値の認識です。

Machine Learning

おこなっていることは、任意のグラフに対して近似する関数(=Model)を見つけること

用語

データ
- (Training用) データとそのラベルのセットを持つ必要がある
  - ex) 手書き文字 <-> 書いてある文字
- (Test用) accuracyを計測するためのデータ
  - 同様にデータと正解ラベルを持つ必要がある
weight
- 入力値への重みテンソル(行列)
bias
- weightと入力値の積をずらす
x
- 入力値
y
- 出力
activation function

evidence = W * x + b

-------------------
Tensor
W = weight
x = input
b = bias
-------------------

softmax function
- evidence(活性化関数=activation functionの結果)を確率へと変換する
- 確率より 0 <= y <= 1
loss function
- 期待値と実際の結果の差分を計測する関数
- ※ loss functionの結果を0に近づけることが目標
  (=期待値と実際の値が一致する)

Machine Learningの流れ

Trainingデータセットを用意する
activation function(W * x + b)を定義
loss functionを定義
TrainingするOptimizerを決めて、loss functionをセットする
ex) Gradient Decent (最小勾配法)
Trainingを実施
テストデータを利用して、関数を何度も実行する。
実行するたびに、WとbをOptimizeする。(TensorFlow利用時は勝手にOptimizeしてくれる)
Modelのaccuracyを測定する

サンプルコード

github.com

手書き数値の認識

CNNを利用せずにの実装もできましたが、accuracyを上げるためにも、CNNを利用したほうが良いみたいです。

Convolutional Neural Network

畳み込みニューラルネットワーク
面を一定の大きさのフィルタで覆い、領域で特徴量を抽出する方法
- ex) 32x32の画像を5x5のフィルタでスライド1の場合 => 28x28の画像となる
- pixel単位でないため画像が全体的に類似しているかを判断できる
Filter
- パラメータ
  - filterの数
  - filterの大きさ
  - filterの移動幅
  - padding
    - 画像の端の領域を0で埋める
Layer
- Convolutional Layer
- Pooling Layer
  - サイズを圧縮する層
  - max poolingが利用される
    - 領域内の最大値を取る手法
- Fully Connected Layer

肝となると感じた部分

大量のTrainingデータを用意すること
accuracyを向上させるためのチューニング

まとめ

基本的に、TensorFlowのTutorialを上からなぞってコード書いてみただけですが、
Machine Learningで何やってるかを少しだけ知ることができました。
絶賛、下記を読み込み中なので読めたらneural networksとdeep learningについて
正確に理解できるかなと思います。

Neural networks and deep learning

ひとまずPythonでやってみてますが、GolangでもTensorFlow自体は使えるので、
書き直したいところです。

参考

2017-08-06

【WEB+DB PRESS Vol.99】k8sの記事での利用コマンド

kubernetes

概要

WEB+DB PRESS Vol.99 の記事を参考にk8sを利用してみました。
詳しい内容は、記事をご参照いただければと思います。(非常にわかりやすい記事でした)
下記は、記事に書いてあるコマンドのままですが、メモ書き程度に思っていただければ。

Amazon CAPTCHA

コマンド

gcloud側の設定

# project の設定
% gcloud config set project xxxx

# ゾーンの設定
% gcloud config set compute/zone asia-northeast1-a

# 認証設定
% gcloud auth login

コンテナクラスタ起動

# クラスタ起動
% gcloud container clusters create one \
--cluster-version=1.6.7 \
--machine-type=g1-small
Creating cluster one...done.
Created [https://container.googleapis.com/v1/projects/xxxxx/zones/asia-northeast1-a/clusters/one].
kubeconfig entry generated for one.
NAME  ZONE               MASTER_VERSION  MASTER_IP       MACHINE_TYPE  NODE_VERSION  NUM_NODES  STATUS
one   asia-northeast1-a  1.6.7           35.190.233.232  g1-small      1.6.7         3          RUNNING

GCRにイメージをbuildしてpush

# Container build file
% cat manifest/cloudbuild.yaml
  env: ['PROJECT_ROOT=one']
  args: ['build', '-o', 'goneup']
- name: 'gcr.io/cloud-builders/docker'
  env: ['PROJECT_ROOT=one']
  args: ['build', '--tag=asia.gcr.io/$PROJECT_ID/one/goneup', '.']
images: ['asia.gcr.io/$PROJECT_ID/one/goneup']%

# push gcr
% gcloud container builds submit --config=manifest/cloudbuild.yaml .

kubernetes利用

Pod単独

% cat manifest/pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: goneup
spec:
  containers:
    - image: asia.gcr.io/[project]/one/goneup:latest
      imagePullPolicy: Always
      name: goneup

# create pod
% kubectl create -f manifest/pod.yaml

# port forward
% kubectl port-forward [pod name] [local port]:[external port]

ReplicaSet

apiVersion: extensions/v1beta1
kind: ReplicaSet
metadata:
  name: goneup
spec:
  replicas: 3
  template:
    metadata:
      labels:
        name: goneup
    spec:
      containers:
        - image: asia.gcr.io/[project]/one/goneup:latest
          imagePullPolicy: Always
          name: goneup

# create replicaset
% kubectl create -f manifest/replicaset.yaml

# check replicasets
% kubectl get replicasets
NAME                DESIRED   CURRENT   READY     AGE
goneup-1100937273   2         2         2         57s

# replace replicaset
% kubectl replace -f manifest/replicaset.yaml

Deployment

% cat manifest/deployment.yaml
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: goneup
spec:
  replicas: 3
  template:
    metadata:
      labels:
        name: goneup
    spec:
      containers:
        - image: asia.gcr.io/[project]/one/goneup:latest
          imagePullPolicy: Always
          name: goneup

# create deployment
% kubectl create -f manifest/deployment.yaml

# check deployment
% kubectl get deployment
NAME      DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
goneup    2         2         2            2           50s

Service

% cat manifest/service.yaml
apiVersion: v1
kind: Service
metadata:
  name: goneup
spec:
  type: LoadBalancer
  selector:
      name: goneup
  ports:
      - port: 8080

# create service
% kubectl create -f manifest/service.yaml

Ingress

% cat manifest/ingress.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: goneup
spec:
  rules:
    - http:
        paths:
          - path: /*
            backend:
              serviceName: goneup
              servicePort: 8080

# create ingress
% kubectl create -f manifest/ingress.yaml

まとめ

各マニフェストファイルを作成することで、簡単にGCP上にk8sを構築できました。
また情報にアクセスしたい際は、kubectl get xxxで簡単にアクセスできるところが非常にいいなと感じました。
基本的な設定しか入れていないので、利用してみてもっと詳細な設定まで使いこなせると良いかと思います。

2017-07-15

Dockerについて

Docker

概要

Dockerについて、本当に簡単な部分だけまとめてみました。
(ここから、Docker->ECS->k8s->GKEと進めていければなぁと思っています。)

Dockerとは

Software Container Platform=コンテナが動作するプラットフォーム

Containerとは

一つSoftwareが実行されるために必要なすべてをパッケージングしたもの
Softwareを動かすために必要なライブラリと設定のみが入っている
Container内で、独自にリソースを持つ(メモリ/プロセス/ネットワーク)

どういった問題を解決するのか

「自分のローカルに環境で動いたけど、検証サーバーに載せると動かない..」
→ こういった、環境差分を解決することができる
Containerにくるむことで、どこでも同じように安全に動作することが保証されます。そのため、Containerにくるんでおけば安心して、検証、本番環境へとSoftwareをリリースすることができます。

Container(= Docker Container)の作り方

Dockerfileを書きましょう。

Dockerfileとは

Docker Containerの設計が書かれたファイル
Dockerfile` というファイル名で作成する
記述はDockerfile用DSL
Dockerエンジン + Dockerfile + ソースファイルがあればどの環境でも同じように実行可能

Docker image

Dockerfileに記述されたOSやアプリケーションコード等をまとめたテンプレート
Containerはimageを実体化したもの
Dockerfileをbuildすることで作成することができる
Dockerエンジン + Docker image があればどの環境でも同じように実行可能
- imageを作成して、Docker Hub等のコンテナ管理サービスにpushしておく
- Docker Hub等からimageをpullしてくるだけで実行可能に

Docker Containerの生成手順

Dockerfile記述
BuildしてDocker imageの作成
imageをもとにRunしてContainerの起動

例: Go Appの実行

下記のようなGolangのHello WorldのコードをContainer内で実行してみます。

package main

import "fmt"

func main() {
    fmt.Println("Hello World!")
}

\1. Dockerfile記述
下記のようなDockerfileを作成します。(詳細はコメント参照)

# ベースイメージの指定
# Docker Hub(https://hub.docker.com/)上に様々なイメージが公開されている
# そちらから利用したいベースイメージを選択
FROM golang:1.8.3-alpine3.6

# 作業を行うディレクトリを選択
WORKDIR /go/src

# コマンドを実行
# golangイメージは Alpine Linuxをもとに作成(軽量のためDockerでよく利用される)
# linuxコマンド(ls,mkdir)等が実行可能
RUN mkdir hello

# 作業を行うディレクトリを変更
WORKDIR /go/src/hello

# 作業ディレクトリからコンテナ内にファイルをコピー
# COPY [ホスト側] [コンテナ内]
COPY . .

# Go Appをbuild
RUN go build -o hello main.go

# コンテナ起動時に実行されるコマンド
CMD ["/go/src/hello/hello"]

\2. BuildしてDocker imageの作成

% ls
Dockerfile      main.go

# imageの作成
# (-t でタグを設定できる)
% docker build -t hello:1.0 ./

# imageの確認
% docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
hello               1.0                 df9a562be589        10 minutes ago      259MB

\3. imageをもとにRunしてContainerの起動

# コンテナの実行
% docker run hello:1.0
Hello World

まとめ

docker-composeやswam等は別途まとめようかなと思います。また、詳細なDockerfileのDSLや、docker build/runオプションについてもまとめられたら良いですね。

参考

2017-07-09

エンジニアとして学びたいこと(歴2年目)

Golang

概要

エンジニアとして、どのあたりを学んでいこうかなぁとの備忘録

項目

Golang

最近ずっと利用しているメイン言語です。仕事上ではJavaを利用することが多いですが、書いている時間も量もそろそろ超えてくるのではと思っています。

好きなところはこんな感じです。

ビルドしたバイナリがあればどの環境でも動かしやすい点
型あり
Httpサーバーの起動しやすさ
プログラマーならたぶん誰でも読める
ドキュメントが読みやすい

学びたいこと

パッケージの構成方法
- 自由に書けてしまってどこに何を書くかが明確になっていない
- パッケージの切り方
- 各ファイル内のinterface,strcut,methodの構成
周辺ツールの利用方法
- ツールが充実しているのことで、きっちり使い方を抑えたい(pprofとか)
実務上でのコードレベル
- OSSのライブラリ等を読んでみる等ですかね
体系的な知識
- Webでの情報がメインのため、体系的な知識が身についてない疑惑
- 書籍でまとまったものがあれば一度読むのも良いかも

次のステップ

標準ライブラリ読む
OSS読む
本をよむ
- Go言語によるWebアプリケーション開発
実務での利用
- 布教

クラウド

実務できっちり利用できていない分、プライベートで学んでおかないと遅れが目立ってしまう印象です。

学びたいこと

GAE/Goの動作方法
k8sについて
GCP主要サービス理解
- そもそものサービスについてあまり知らない
AWS(ざっくり)

次のステップ

GAEにGoサービスを載せてみる
WEB+DB PRESS Vol.99を読む

低レイヤー

Goならわかるシステムプログラミングを読んでいて感じましたが、低レイヤーの知識が圧倒的に足りないと感じます。このあたりのコンピュータサイエンスについて、きっちり抑えておきたいです。
低レイヤー周りを最適化したコードを実装できるように、理解を深めたいです。

学びたいこと

Unixについて
プロセスについて
メモリ管理について(GC等)
通信について

次のステップ

まとめ

ざっくりと思い当たることについて、並べて書いてみました。自分の整理にはなったかなとは思います。
学ぶのに良い情報をお持ちの方がいたら、ぜひ教えていただけると幸いです。
まだまだ、手を動かしてコードを書く経験値が足りなさすぎるので、手はとにかく日々動かし続けていきたいとは思っています。

概要

Commands

:GoRun

:GoBuild

:GoDef

:GoCallers

:GoCallstack

:GoTest

:GoTestFunc

:GoDoc

:GoDocBrowser

[range]:GoAddTags

:GoFillStruct

:GoRename [to]

:GoPlay

所感

概要

戦利品

こうしてぼくらは、書籍を売るアプリを作った

気になる内容

Gopher Walker

気になる内容

感想

補足

概要

upとは?

対応言語

手順

1. Install

2. AWS Credenstialsの設定

3. up.json(設定ファイル)作成

4. 好きな言語でサーバー側の処理を記載

5. Deploy

6. 確認

補足

サンプルコード

所感

参考

概要

Machine Learning

用語

Machine Learningの流れ

サンプルコード

手書き数値の認識

Convolutional Neural Network

肝となると感じた部分

まとめ

参考

概要

コマンド

gcloud側の設定

コンテナクラスタ起動

GCRにイメージをbuildしてpush

kubernetes利用

Pod単独

ReplicaSet

Deployment

Service

まとめ

概要

Dockerとは

Containerとは

どういった問題を解決するのか

Container(= Docker Container)の作り方

Dockerfileとは

Docker image

Docker Containerの生成手順

例: Go Appの実行

まとめ

参考

概要

項目

学びたいこと

次のステップ

学びたいこと

次のステップ

低レイヤー

学びたいこと

次のステップ

まとめ

3. `up.json`(設定ファイル)作成