nuinfobbs

module
v0.0.0-...-0b62d7b Latest Latest
Warning

This package is not in the latest version of its module.

Go to latest
Published: Dec 25, 2019 License: MIT

README

nuinfobbs

名古屋大学の情報学部の掲示板をクロールして、TwitterLINE、Slackに更新情報を配信します。

containersのそれぞれが独立して動いています。

使い方

GCPのCloud RunとCloud Schedulerを使います。

準備

GCPで新規プロジェクトを作成して、コマンドラインでgcloudが動くようにします。

コンテナのビルド

containersディレクトリの中のディレクトリ(crawlerなど)それぞれに対して、Dockerfileが存在する階層で

$ gcloud builds submit --config cloudbuild.yaml .

を実行します。

そうすると、Cloud BuildでビルドされてContainer Registryにpushされます。

Cloud Runにデプロイ

Container Registryのイメージを、Cloud Runにデプロイします。最大1リクエストかつスケール数も最大1にしてください。

環境変数の設定

containers/*/src/main.goconfigという構造体を見れば必要な環境変数がわかります。

ひと目でわからなそうな環境変数だけ説明します。

crawler
環境変数 説明
TARGET_URL クロール対象の掲示板を開いたトップページのURL
DEFAULT_DONE 既に投稿を配信済みとしてDBに投げるかを書きます。(true/false)
JOB_TAGS 他のコンテナ向けのタグを,区切りで入力します。例)twitter,slack,line
crawler以外
環境変数 説明
TAG タグを指定します。このタグに一致するポストでDoneがfalseのものを配信していきます。例)twitter
Cloud Schedulerの設定

Cloud Schedulerで定期的にCloud RunのURLを叩きます。

Directories

Path Synopsis
containers
crawler/src Module
library
jobutils Module

Jump to

Keyboard shortcuts

? : This menu
/ : Search site
f or F : Jump to
y or Y : Canonical URL