2024-01-23

rerunを使ったファイル変更検知と再実行：golang+echo編

golang

rerun(ruby製)を使うとファイルの変更を検知してコマンドを再実行できます。

Webアプリケーションの開発中、ファイルを変更したらアプリケーションサーバーを再起動させています。

下記は.goファイルの変更を検知してgo run 〜コマンドを再実行するコマンドですが、うまくいきませんでした。

$ rerun -p "**/*.{go}" go run cmd/server.go

原因はgo run 〜の実行プロセスと、ビルド後のプログラムのプロセス番号が異なるからでした。

go run コマンドは、「Goのソースコードをコンパイルしてからすぐに実行する」という2つのステップを組み合わせたコマンドです

プロセス番号が異なる問題を回避する方法がうまく思いつかず、ひとまずビルドと実行フェーズをそれぞれrerunを実行することで実現できました。

# ビルド
$ rerun -c -p "**/*.{go}" -- go build -o app cmd/server.go

# 実行
$ rerun -c -p "app" -- ./app

2022-12-04

Sequel で特定のカラムを指定するときは Sequel[:table][:column]

Ruby

Ruby でサクッと DB にアクセスするときに Sequel をよく使っています。

同名カラムを持つテーブルをJOINするときはどちらのテーブルのカラムかを指定しますが、Sequelでの指定方法を忘れがちなので備忘録がてらメモを残します。

下記のようなフォーマットで指定します。

Sequel[:table][:column]

tag テーブルの slug カラムなら↓のようになります。

Sequel[:tag][:slug]

サンプル

@db[:tag].left_join(:tag_items, tag_id: :id, type: "source")
                 .select(Sequel[:tag][:id], Sequel[:tag_items][:id])
                 .where(name: source_tags)
                 .sql

生成するSQL

SELECT
  `tag`.`id`,
  `tag_items`.`id`
FROM
  `tag`
LEFT JOIN
  `tag_items` ON ((`tag_items`.`tag_id` = `tag`.`id`) AND (`tag_items`.`type` = 'source'))
WHERE
  ((`name` IN ('hoge'))

2022-10-19

HTTPリクエストを手順に送るだけの小さなワークフローエンジンを作って試行錯誤中

自作

ライティングソフトウェアを読んで、サービス指向なアーキテクチャでクローラを作っています。

この中で〜Managerはワークフローエンジンによって処理を順に実行するだけのサービスとなっています。

処理自体は主に下位の〜Accessに対して手順通りにリクエストを投げるだけです。

このワークフローエンジンは自前実装でなく3rd Partyツールを使うのがライティングソフトウェア的には筋ですが、仕組み的に素朴なものがほしかったのでRubyで自前実装することにしました。

※コードは今のところ公開していません。

元々はGoogle Workflows、その後VM移動した都合でOSSのn8nを使っていました。

自前な素朴ワークフローエンジンは次のようなyamlを定義してリクエストを順に送ります。

miniflow:
  # ソースクロールキューを生成する
  - name: search-source_crawl_queue
    url: http://localhost:8080/v1/source/search
    params:
      condition:
        type: rss
        schedule_with:
          type: hourly
        limit: 100
      format:
        type: crawl_job
        opts:
          skip_enqueue_if_exists_entry: false
    result: crawl_job_get_result

  # ソースクロールキューを追加する
  - name: crawl_job-add
    url: http://localhost:8080/v1/crawl_job/add
    params:
      crawl_jobs: ${result.crawl_job_get_result.result.items}

${〜}で変数を埋め込めるようにして、前の実行結果を引き継げるようにしました。

リクエストの方法は今のところPOSTのみでHTTPリクエストのBODYにJSONを記述して送るだけの仕組みになっていますが、このあたりはパラメータでいくらでも拡張できるので必要になったら作ればいいと考えています。

APIをうまく設計すればHTTPリクエストを順に送るだけで柔軟に機能を実現できます。

まだ、サービスが4個、APIが2〜30本くらいの規模感のソフトウェアしか作っていませんが、設計の感触はなかなかいいです。

2020-05-20

お試し GitOps

開発

GitOps を試すために Kubernetes のクラスタと ArgoCD をVPS（VM4台）に構築し、自前サイトをのっけてみた。そもそも k8s を触ったことなかったので、AWSやGCPのマネジメントクラスタを利用せず、自前で小さいクラスタを構築した。

ひとまず GitOps できる環境構築までは完了。 git リポジトリにプッシュすると k8s クラスタにデプロイできるようになった。 git リポジトリの中身はまだ素のnginx＋HTMLファイルみたいな静的サイトなので、次はPHPアプリケーションあたりを試したい。

git リポジトリは GitLab.com (Saas) を利用。Private Container Registry が無料で使えたので。 GitLab.com は yaml をgitに入れておくだけで、プッシュのタイミングでイメージをビルドしてくれて神だった。 kojole.hatenablog.com はじめ registry への認証ができず、どうやら2段階認証がONになっていると docker login が通らないっぽかったのでOFFにした。ちゃんと認証する方法はありそうなもののサボった。

type: LoadBalancer をこの環境でも使えるように MetaLB(L2), Nginx Ingress Controller を追加でセットアップした。なお type: LoadBalancer が何者かはよくわかっていない。

Nginx Ingress Controller のインストールはかなり詰まって、ここが一番大変だった。最初はずっとエラーが出て解決しなかったので NodePort でお茶を濁していたものの、マニュアルの Bare-Metal の手順でなく helm でインストールしたらうまく行った。なんでだろう。

エラー内容を保存し忘れたが、たしかこんな感じのやつ（github issueから引っ張ってきた）。

Error from server (InternalError): error when creating "〜": Internal error occurred: failed calling webhook "validate.nginx.ingress.kubernetes.io": Post https://ingress-nginx-controller-admission.ingress-nginx.svc:443/extensions/v1beta1/ingresses?timeout=30s: context deadline exceeded

↓の手順を見て、 helm インストールした。Install nginx-ingress controller with Helm の見出しの部分（upgradeとなっているが初回だったのでinstallで実行） www.brightbox.com

外部IPをセットしていないので、今は k8s クラスタの前段に素の nginx をリバースプロキシとして置いている。

Kubernets が内部で何をやっているかまったくわからないのがかなり印象的だった。これをオンプレで管理するの、なかなか難しそう。

2018-08-31

PHPで雑にカラーコードを生成する

PHP

適当な文字列のmd5ハッシュから6文字だけ切り出し、頭に#をつけることで雑にカラーコードを生成できる。

PHPでの例。

<?php

$s = 'OK';
echo '#' . substr(md5($s), 0, 6);

大量のデータを表示するときに、グルーピングしたい単位（IDや日時など）でカラーコードを生成するとパッと見でわかりやすくなる。

2017-05-26

PHPでissetを書くのが面倒なときに??（Null 合体演算子）を使う

PHP

<?php
echo $test["aaa"] ?? "hello";

連結もできるらしい。

<?php
echo $test["aaa"] ?? $test2["aaa"] ?? "hello";

PHP7.0以上で使える。

2017-05-05

Android アプリ開発をはじめた

自作

Androidアプリ開発をはじめた。
ひとまずニュースアプリみたいなやつをつくっている。

Android Studio

普段 IntelliJ IDEA を使っているので、Xcodeより使い勝手に慣れててスムーズに開発に着手できてる。

ライブラリ

OSSのライブラリが大量にあるので、PHPとかRubyの人でも簡単に開発できるんじゃなかろうか。
ライブラリのインストールはgradleにパッケージ名書くだけでいいので楽だし、開発環境も無料だし。

Squareの圧倒的存在感を知る。
retrofit / okhttp / picasso etc...

デザイン

XMLでデザインを作っていくのどうなのと思っていたけど、GUIでポチポチやるより早い。
レイアウトの作り方に慣れると、途端に自由になれる。

Kotlin

Javaのコードをコピペすると、自動でKotlinに変換してくれるのちょっと感動。
モダンなプログラミング言語なので、書いてて楽しい。

画面づくりがメインだったので、ロジックはほぼ未着手でこれから。
APIと連携すると、ビューどスレッドがうんぬんで大変と聞いているので、山はまだ先らしい。

Rubellum fly light

ほぼPHP日記