Web U Project

CircleCIはじめました

Mon, 03 Aug 2020 00:00:00 +0000

以前の職場で用意した資料を一部修正して公開します。

CI/CDとはなにか、CircleCIでどんなことができるのかを紹介し、実際にどういった設定、操作ができるのかをまとめました。

補足には近しいサービスと簡単な特徴を記載しておきます。

CI/CD: Continuous Integration, Continuous Delivery

アプリケーション作成時の品質改善のための手法
具体的にはテストやデプロイの自動化の仕組みを用意すること

CircleCI とは

CI/CDの仕組みを提供するSaasタイプのサービス

https://circleci.com/product/

何をしてくれるのか

ビルド
- Github(or Bitbucket)のコードからアプリケーションをビルドします。
- コミットするたびにビルドしてくれる。(設定は.circle/config.yml に。後述します)
テスト
- コミットするたびにコンテナ(もしくはVM)を立ち上げテストを走らせてくれる。
デプロイ
- 本番環境にsshして〜のような手動作業がなくせる。
通知
- ビルド、テスト結果の通知。問題にすばやく気づける。

.circleci/config.yml の書き方

Githubリポジトリに.circleci/config.ymlを配置することで実行してくれる。

version: 2
jobs:
    job1:
        docker:          # machine(VM), macOS など選べるらしい
            - image: ... # dockerの場合は、dockerイメージを指定
        steps:
            - checkout   # CI環境上でGitリポジトリをコピー
            - run: ...   # コマンドの実行
workflows:               # ジョブのパイプライン設定
    version: 2
    build:
        jobs:
            - job1
...

初期設定としてCircleCIの管理画面でAdd Projectが必要
CircleCI version 1 系は circle.yml に記載していた。（が、ymlが version 2 系で書かれていれば動作する模様）
- https://discuss.circleci.com/t/whats-the-difference-between-circleci-folder-and-circle-yml/13651
- https://circleci.com/docs/ja/2.0/configuration-reference/

注 : CircleCI 1.0 から利用していたユーザーは、新たにconfig.yml ファイルを使うことで、以前とは異なるブランチで 2.x 環境におけるビルドを試すことができます。従来の circle.yml の設定内容は残るため、.circleci/config.yml のないブランチである CircleCI 1.0 環境の実行にも支障はありません。

※ version 1 系は 2018.8.31 で提供終了している https://circleci.com/blog/sunsetting-1-0/

workflowsで使いたい設定

requires

ジョブの依存関係を設定できる。

jobs:
  - build
  - test:
    requires:
      - build
...

※ ジョブ間のコンテナは別なのでデータの同期などは save_caches などの設定が必要

filters(only, ignore)

実行するジョブをブランチ絞ってくれる

filters:
  deplyToProduction:
    only:
      - master        # masterブランチでのみ実施
  deplyToDevelopment:
    only:
      - develop       # developブランチのみ
  deplyToExperimental:
    ignore:
      - master        # masterブランチは無視

triggers

スケジューリングして動かす。

nightly:
  triggers:
    - schedule:
        cron: "0 0 * * *"

local CLIの利用

https://circleci.com/docs/2.0/local-cli/

install

ローカルで以下を実行。ダウンロードからインストールまで。

$ curl -fLSs https://circle.ci/cli | bash

ymlファイルの検証

$ circleci config validate -c circle.yml
Error: Unable to parse YAML
while parsing a block mapping
 in 'string', line 1, column 1:
    version:
    ^
expected <block end>, but found '-'
 in 'string', line 2, column 1:
    -
    ^

ローカル環境（docker）でのジョブの実行

$ circleci local execute --job JOB_NAME

環境変数は -e HOST=xxx -e PASS=yyy で設定できる

まとめと蛇足

CircleCIは開発プロセスの自動化の仕組みを提供してくれている
新しいプロジェクトにアサインされたときは、まずリポジトリの .circleci/config.yml を見つけたらまずそこから読むと追いやすいかも

References

補足

CI機能を提供するサービス

CircleCI https://circleci.com/product/
- iOSのビルドできる！
TravisCI https://travis-ci.com/
- CircleCIよりも設定ファイルの記述量が抑えられるらしい。
Weacker https://www.oracle.com/corporate/acquisitions/wercker/
- Werckerは1リポジトリ1 Dockerイメージ(CircleCIは1ジョブ1イメージにできる)
- スケジューラはない
- oracleに買収されてた。。
Gitlab CI https://docs.gitlab.com/ee/ci/
- Gitlabと連携しやすい（あたりまえか
- Merge When Pipeline Succeeds 便利
- CIの実行(Runner)を自前で用意できる。（ローカルMacでiOSビルドとか
Bitbucket Pipeline https://www.atlassian.com/ja/software/bitbucket/features/pipelines
- atlassianなので、Jiraとの連携もよいらしい。
- freeだと時間制限 50min/month

google client api for python 使い方メモ

Wed, 12 Jun 2019 00:00:00 +0000

毎度書き方を忘れるのでまとめたいのですが、ひとまず以前の自分の書いたコードだったり参考にしたリンクを載せておきます。

思い出したり、他にコードを見つけたら追記していくかも。

事前準備

サービスアカウントのキーファイルの作成

OAuth用の認証キー(サービスアカウントキー)を用意する。 jsonファイルの例（一部マスクしてあります）

{
  "type": "service_account",
  "project_id": "＜プロジェクト名＞",
  "private_key_id": "****",
  "private_key": "-----BEGIN PRIVATE KEY-----\n 〜  \n-----END PRIVATE KEY-----\n",
  "client_email": "****@****.iam.gserviceaccount.com",
  "client_id": "****",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://oauth2.googleapis.com/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/〜.iam.gserviceaccount.com"
}

※ 秘密鍵となるので、管理に気をつけましょう。外部に漏れてしまった場合はGCPのコンソールから無効化すること。

ライブラリのインストール

pip install --upgrade google-api-python-client google-auth-oauthlib

GoogleDrive

認証用メソッド

# get_drive_service.py

import json
import os
import pickle

from google.auth.transport.requests import Request

from google_auth_oauthlib.flow import InstalledAppFlow

from googleapiclient.discovery import build


DRIVE_SCOPES = ['https://www.googleapis.com/auth/drive']
DRIVE_API_SERVICE_NAME = 'drive'
DRIVE_API_VERSION = 'v3'
CREDENTIALS_DRIVE_PICKLE = "drive_credentials.pickle"


def get_drive_service():
    return get_authenticated_service(
        DRIVE_API_SERVICE_NAME,
        DRIVE_API_VERSION,
        pickle_file=CREDENTIALS_DRIVE_PICKLE,
        scopes=DRIVE_SCOPES
    )


def get_authenticated_service(api_service_name,
                              api_version,
                              pickle_file,
                              scopes=SCOPES):
    pickle_path = "%s/%s" % (CREDENTIALS_CACHE_DIR, pickle_file)
    credentials = get_pickled_credentials(pickle_file)
    if credentials:
        print("[%s] credential expiry(old): %s" % (pickle_file, credentials.expiry))
        req = Request()
        credentials.refresh(req)
        print("[%s] credential expiry(new): %s" % (pickle_file, credentials.expiry))
        with open(pickle_path, "wb") as f:
            pickle.dump(credentials, f)
        return build(api_service_name, api_version, credentials=credentials)

    info_str = os.environ.get("GOOGLE_SERVICE_ACCOUNT")
    if not info_str:
        raise EnvironmentError("Cannnot found env.")

    info = json.loads(info_str)
    flow = InstalledAppFlow.from_client_config(info, scopes=scopes)
    credentials = flow.run_console()
    with open(pickle_path, "wb") as f:
        pickle.dump(credentials, f)
    return build(api_service_name, api_version, credentials=credentials)

GDrive上にフォルダを作成する

mimeType: application/vnd.google-apps.folder にする

def create_folder(drive_service, name: str, parent_id: str):
    file_metadata = {
        'name': name,
        'mimeType': 'application/vnd.google-apps.folder',
        'parents': [parent_id]
    }
    file = drive_service.files().create(
        body=file_metadata,
    ).execute()
    return file

csvファイルをspreadsheetとしてuploadする

MediaIoBaseUpload の mimetypeは text/csv 、 bodyパラメタのmimeTypeは application/vnd.google-apps.spreadsheet にする

import io

from googleapiclient.http import MediaIoBaseUpload


def upload_csv_file(drive_service, filename: str, csv_data: str, parent_id: str):
    fh = io.BytesIO(csv_data.encode("utf-8"))
    media = MediaIoBaseUpload(fh, mimetype='text/csv')
    body = {
        "name": filename,
        "parents": [parent_id],
        'mimeType': 'application/vnd.google-apps.spreadsheet'
    }
    return drive_service.files().create(
        body=body, media_body=media
    ).execute()

ファイルを参照する

（みつけたら書きます。）

Youtube 情報の取得 (Data API, Report API)

（みつけたら書きます）

Google Cloud Storage バケットへテキストファイルをアップロードする

from google.cloud import storage
from google.oauth2 import service_account

GOOGLE_CLOUD_STORAGE_SCOPE_READWRITE = [
    "https://www.googleapis.com/auth/devstorage.read_write"
]
GSERVICEACCOUNT_FILEPATH = "./config/gcp/service-account-sample.json"


def get_storage_client():
    os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = GSERVICEACCOUNT_FILEPATH
    credentials = service_account.Credentials.from_service_account_file(
        GSERVICEACCOUNT_FILEPATH,
        scopes=GOOGLE_CLOUD_STORAGE_SCOPE_READWRITE
    )
    client = storage.Client(credentials=credentials)
    return client


def upload_text_file(client, file_str, filename, content_type="text/plain"):
    bucket = client.bucket(GCS_BUCKET_NAME)
    blob = bucket.blob(filename)
    blob.upload_from_string(
        file_str,
        content_type=content_type)


if __name__ == "__main__":
    client = get_storage_client()
    upload_text_file(client, "this is test text", "sample.txt")

refs.

google auth

https://google-auth.readthedocs.io/en/latest/user-guide.html

Cloud IAMについて

https://cloud.google.com/iam/docs/overview?hl=ja

サービスアカウントについて

https://cloud.google.com/iam/docs/understanding-service-accounts?hl=ja

以前はサンプルコードがあったと思うのだけど、githubにredirectされてしまう。

https://developers.google.com/api-client-library/

Python Quickstart | Sheets API | Google Developers

https://developers.google.com/sheets/api/quickstart/python

Youtube API code sample

https://developers.google.com/youtube/v3/code_samples/python?hl=ja

PyDoc for Drive API

https://developers.google.com/resources/api-libraries/documentation/drive/v2/python/latest/

便利/参考になるライブラリ

PyDrive https://github.com/gsuitedevs/PyDrive
BigQuery-Python https://github.com/tylertreat/BigQuery-Python

スライド資料をmarkdownで書ける remark.js を試しました。

Mon, 13 May 2019 00:00:00 +0000

スライド資料をmarkdownで書ける remark.js を試しました。

Jekyll側では

post.layout == 'presentation'

の投稿についてはtopとrssには含めないようにしてみました。

feed.xmlは以下のような感じ

---
layout: null
---
<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>{{ site.title }}</title>
    <description>{{ site.description }}</description>
    <link>{{ site.BASE_PATH }}/</link>
    <atom:link href="{{ site.BASE_PATH }}/{{ site.rss_path }}" rel="self" type="application/rss+xml" />
    {% for post in site.posts limit:10 %}
    {% if post.layout == "presentation" %}
    {% else %}
    <item>
      <title>{{ post.title }}</title>
      <description>{{ post.content | xml_escape }}</description>
      <pubDate>{{ post.date | date: "%a, %d %b %Y %H:%M:%S %z" }}</pubDate>
      <link>{{ site.BASE_PATH }}{{ post.url }}</link>
      <guid isPermaLink="true">{{ site.BASE_PATH }}{{ post.url }}</guid>
    </item>
    {% endif %}
    {% endfor %}
  </channel>
</rss>

「全員発表型！コーポレートエンジニアリングLT大会」に参加してきました。

Wed, 05 Dec 2018 00:00:00 +0000

最近は複数の案件をいただき仕事をしています。

ほとんどがデータ解析だったり、分析基盤のインフラ系の仕事なのですが、毛色の違う案件で知人の紹介でスタートアップの情シスとして週2くらいで働いています。

発表資料はその会社でやったことの一部を紹介させていただきました。偶然イベントを見つけたので参加させていただきました。

(情シス、社内エンジニアというような人たちの情報ってなかなかネットで見つからないですよね。。)

参加したイベント

全員発表型！コーポレートエンジニアリングLT大会
- https://www.wantedly.com/projects/260148

発表資料

https://speakerdeck.com/u110/public-corp-eng-lt-20181204

常駐先のGSuiteの活用状況についてまとめました。

GoogleDriveは便利なのですが、権限周りが鬼門という認識は参加者で一致しました。また、GoogleDriveにはBusiness版以降のプランではチームドライブという機能があるのでそれを使いたいと考えています。

学びのあった話のメモ

人数規模と自動化のタイミング

組織変更に伴なうワークフローの承認順序の変更
退職、異動に伴なう権限の剥奪、移譲。
100人未満であれば人力でできるが、それ以上だと結構辛くなる
先付け（＝設定変更の事前予約）の仕組みを用意し、自動化の仕組みを用意している

PaaS系ツールの利用とアクセスコントロール

PaaS系ツールが増えて便利になった。
反面、管理側でフォローしきれない状態
SSOやパスワード管理ツールを利用して、IDの集約・管理をしている

その他

SlackはIDを自由に付けれる反面、本名しか知らない場合探しにくいという課題があります。

参加者の会社ではhubotに本名からSlackIDやその他連絡方法を返してくれる機能を作ったとのこと。自分のところでも早速利用したいです。

情シス業での学びは他の仕事でも活かしていきたい。

最近の状況報告[2018年10月]

Mon, 22 Oct 2018 00:00:00 +0000

ココ最近の近況報告とこれからについてまとめてみました。毎月書いていきたい。。。！

お仕事

スタートアップ事業の業務フロー整理（情シス）
- リスク管理まわり相談したいという話から。
- Gsuite, LastPass, Slack, kibela あたりのサービスを整理、導入してみたり。
- 個人的にはデータ分析の相談ももらえてるのでそっち側にシフトできたらなと。
広告レポート集約管理システムの改修

その他

子育てエンジニアmeetupでLTしてきました。

丸二日たってしまいましたが発表資料載せました〜 #子育てエンジニア https://t.co/06e8PXXYSE 懇親会も子育てトークできて楽しかったです。
— ゆう (@yuu_ito) 2018年10月17日

Developersjp というコミュニティに参加しています。
- https://www.developersjp.online/
- コミュニティ内徳丸本２版読み会を主催？（言い出しっぺ）させてもらっています。
  - 一緒に勉強できる人いるのは嬉しい。
  - コミュニティにも貢献していきたい。

これから

新しいお仕事。
- ネット広告系のインフラ業務。
- ↑と別で分類ロジック周りでシステム開発できるかも（ざっくりしすぎｗ
イベント
- HPも個人プロジェクトでもFirebase使っているので Firebase関連のイベントいきたいな。
- 地方移住紹介イベントに顔を出す。
保育園申請
確定申告にむけて整理していこう。。

その他

相棒MacBookProの引退

今まで現役で活躍してくれていた2010モデルのMacBookPro。

電池が１０分も持たなくなってしまったので新しく購入。

（LTの最中に落ちるという。。汗）

前職の同期からお古としてもらったのを、ディスクを替え、メモリ増築したりと長生きさせてきたので感慨深い。

今まで頑張ってくれてありがとう。

これからはサブ機として余生を過ごしてもらおう。

メモリが8G –> 16Gになり、

アプリの起動がサクサク動くので素晴らしい。

フリーランスとしての働き方

前職を去年の11月に退職したので、そろそろ１年。

とりあえず食っていけそうな気もする。。

食ってはいけるが、働き方とかより稼ぐとなるといくつか課題を感じている。

地方移住についても、いろんな方から話を伺うことができた。

ちょっと話は違うけど、情シス業は本来やりたいこととは若干ズレてはいたが、いろいろと学びがあり、次のアクションに向けて良い経験になっている。

これについては別途まとめていきたい。

Amazon LinuxにeralchemyをインストールしてER図を作成

Tue, 01 May 2018 00:00:00 +0000

DBのテーブル構成を知りたい
ER図の生成にeralchemyを利用
PDFやマークダウンで出力できる

psycopg2のよみは「さいこぴーじーつー」かな
— ゆう (@yuu_ito) 2018年4月27日

最近ご一緒しているお仕事でPostgreSQLのテーブルを見る機会があったのですが、

全体感を掴むためにひとまずER図を描きたいと思いました。

調べたところ eralchemyというツールを見つけたので試してみます。

eralchemy
- https://github.com/Alexis-benoist/eralchemy

インストール

AWSで管理しているのでRDSに繋げることができる

amazonlinuxで動いているEC2にインスタンスしました。

事前にpdf生成にgraphvizパッケージをインストールしておく

ec2-user: $ sudo yum install graphviz graphviz-devel graphviz-gd graphviz-python27 graphviz-graphs

今回はPostgreSQL上のテーブルを参照したいのでPostgreSQL用のドライバを利用します。

psqlコマンドでDB接続する際に設定した環境変数

ec2-user: $ cat ~/.bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
	. ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH

export PGHOST=xxxx.rds.amazonaws.com
export PGPORT=5432
export PGDATABASE=xxxx
export PGUSER=xxxx
export PGPASSWORD=xxxx

PDFを生成するコマンド

ec2-user: $ cat generate_erd.sh
eralchemy -i "postgresql+psycopg2://${PGUSER}:${PGPASSWORD}@${PGHOST}:${PGPORT}/${PGDATABASE}" -o erd.pdf

Kaggle API のインストールとデータセットのダウンロード

Tue, 17 Apr 2018 00:00:00 +0000

Kaggle APIを使って分析環境の準備
データセットのダウンロード、予測結果のサブミットもできる
次回はtitanicデータを眺める

インストール

Kaggle APIはコマンドラインツールです。

pythonで実装されたツールなのでpipでインストールします。

$ pip install kaggle

ヘルプ

$ kaggle --help
Unauthorized: you must download an API key from https://www.kaggle.com/<username>/account
Then put kaggle.json in the folder /Users/u110/.kaggle

とりあえずhelpを見てみようとしたら上記のようなメッセージが。

アカウントの認証が必要とのこと。

ブラウザログインして、上で指定されているURLを開くとAPIという項目がありました。

“Create New API Token” というボタンを押すと kaggle.json がダウンロードできるので、

そのファイルを指定通りに ~/.kaggle ディレクトリ以下に配置します。

$ kaggle --help
Warning: Your Kaggle API key is readable by other users on this system! To fix this, you can run 'chmod 600 /Users/itouyuu/.kaggle/kaggle.json'
usage: kaggle [-h] {competitions,datasets,config} ...

optional arguments:
  -h, --help            show this help message and exit

commands:
  {competitions,datasets,config}
                        Use one of:
                        competitions {list, files, download, submit, submissions}
                        datasets {list, files, download, create, version, init}
                        config {view, set, unset}
    competitions        Commands related to Kaggle competitions
    datasets            Commands related to Kaggle datasets
    config              Configuration settings
$ chmod 600 ~/.kaggle/kaggle.json
$ kaggle datasets
usage: kaggle datasets [-h] {list,files,download,create,version,init} ...
kaggle datasets: error: the following arguments are required: command

コマンドのヘルプが出ましたね。

chmodでパーミッション変えておいてねとあるのでやっておきましょう。

親切。。！

コンペの参照

$ kaggle competitions list
ref                                             deadline             category            reward  teamCount  userHasEntered  
----------------------------------------------  -------------------  ---------------  ---------  ---------  --------------  
imagenet-object-detection-challenge             2029-12-31 07:00:00  Research         Knowledge          0           False  
imagenet-object-detection-from-video-challenge  2029-12-31 07:00:00  Research         Knowledge          0           False  
imagenet-object-localization-challenge          2029-12-31 07:00:00  Research         Knowledge          7           False  
titanic                                         2020-04-07 00:00:00  Getting Started  Knowledge      11053            True  
house-prices-advanced-regression-techniques     2020-03-01 23:59:00  Getting Started  Knowledge       5061           False  
digit-recognizer                                2020-01-07 00:00:00  Getting Started  Knowledge       2242           False  
...

データセットのダウンロード

titanicデータをダウンロードしてみましょう。

とりあえすdownloadコマンドのヘルプを叩いてみます。

$ kaggle competitions download --help
usage: kaggle competitions download [-h] [-c COMPETITION] [-f FILE] [-p PATH]
                                    [-w] [-o] [-q]

optional arguments:
  -h, --help            show this help message and exit
  -c COMPETITION, --competition COMPETITION
                        Competition URL suffix (use "kaggle competitions list" to show options)
                        If empty, the default competition will be used (use "kaggle config set competition")"
  -f FILE, --file FILE  File name, all files downloaded if not provided
                        (use "kaggle competitions files -c <competition>" to show options)
  -p PATH, --path PATH  Folder where file(s) will be downloaded, defaults to /Users/itouyuu/.kaggle
  -w, --wp              Download files to current working path
  -o, --force           Skip check whether local version of file is up to date, force file download
  -q, --quiet           Suppress printing information about download progress

cオプションでコンペ名を指定するようですね。

$ kaggle competitions download -c titanic
train.csv: Downloaded 60KB of 60KB
test.csv: Downloaded 28KB of 28KB
gender_submission.csv: Downloaded 3KB of 3KB
$ ls ~/.kaggle/
competitions/ kaggle.json
$ ls ~/.kaggle/competitions/titanic/
gender_submission.csv  test.csv               train.csv

APIトークンを配置した.kaggleディレクトリ以下にダウンロードされました。

こんなツールあったの知りませんでした。

次回はtitanicデータを眺めて何かしらやってみます。

参考

(https://github.com/Kaggle/kaggle-api)[https://github.com/Kaggle/kaggle-api]

Web U Project

CircleCIはじめました

CI/CD: Continuous Integration, Continuous Delivery

CircleCI とは

.circleci/config.yml の書き方

workflowsで使いたい設定

requires

filters(only, ignore)

triggers

local CLIの利用

install

ymlファイルの検証

ローカル環境（docker）でのジョブの実行

まとめと蛇足

References

補足

CI機能を提供するサービス

google client api for python 使い方メモ

事前準備

サービスアカウントのキーファイルの作成

ライブラリのインストール

GoogleDrive

認証用メソッド

GDrive上にフォルダを作成する

csvファイルをspreadsheetとしてuploadする

ファイルを参照する

Youtube 情報の取得 (Data API, Report API)

Google Cloud Storage バケットへテキストファイルをアップロードする

refs.

スライド資料をmarkdownで書ける remark.js を試しました。

「全員発表型！ コーポレートエンジニアリングLT大会」に参加してきました。

参加したイベント

発表資料

学びのあった話のメモ

人数規模と自動化のタイミング

PaaS系ツールの利用とアクセスコントロール

その他

最近の状況報告[2018年10月]

お仕事

その他

これから

その他

相棒MacBookProの引退

フリーランスとしての働き方

Amazon LinuxにeralchemyをインストールしてER図を作成

インストール

Kaggle API のインストールとデータセットのダウンロード

インストール

ヘルプ

コンペの参照

データセットのダウンロード

参考

「全員発表型！コーポレートエンジニアリングLT大会」に参加してきました。