go-rest-boilerplate

Go Web Server boilerplate

Sommaire

• Installation
• Liste des commandes
  • Dévelopement
  • Production
• Architecture du projet
• Golang web server in production
• Deploiement avec Docker
  • Liens
  • Commandes
  • TODO
• Serveur Web
• Mesure et performance
  • pprof
  • trace
  • cover
• TODO list
• Astuces et explications
  • Performance, Débug et profilage
  • Architecture

Installation

• Installer la dernière de Go (Download page)
• Copier le fichier config.toml.dist vers config.toml et renseigner les bonnes valeurs

Liste des commandes

Dévelopement

Production

Compiler le fichier binaire <binaire> avec make build et renseigner des bonnes valeurs de le fichier de configuration config.toml.

Architecture du projet

\_ assets
   \_ js
\_ commands
\_ database
\_ handlers
   \_ api
   \_ web
\_ lib
\_ logs
\_ migrations
\_ models
\_ repositories
   \_ user
\_ routes
   \_ user
   \_ echo
   \_ web
\_ templates
   \_ example
   \_ layout
\_ websockets

• Le dossier assets contient les fichiers multimédia (images, vidéos, etc.), JavaScript ou encore CSS.
• Le dossier commands contient toutes les commandes que l'on peut lancer depuis un terminal.
• Le dossier database contient tous les fichiers relatifs à l'utilisation de MySQL ainsi que l'initialisation et le dump de la base. Il contient également l'initalisation de l'ORM.
• Le dossier handlers contient tous les handlers du serveur Web. Ils sont divisés par type. Par exemple, on a un dossier api pour gérer les API et un dossier web pour gérer un "site".
• Le dossier lib contient des fonctions globales à l'application.
• Le dossier logs contient les logs du serveur Web.
• Le dossier migrations contient les fichiers de migrations.
• Le dossier models contient les modèles (base de données).
• Le dossier repositories contient les repositories. Ces fichiers permettent d'écrire les requêtes s'appliquant à un modèle. Les fichiers dépendant du type de base de données, ils sont suffixés par le type de base de données, par exemple, _mysql.
• Le dossier routes contient les fichiers relatifs au routing. Ils sont divisés par type. Par exemple, on a un dossier api pour gérer les API et un dossier web pour gérer un "site".
• Le dossier templates contient les templates des différentes page Web.
• Le dossier websockets contient les fichiers relatifs au serveur de WebSockets.

Golang web server in production

• Systemd
• ProxyPass
• How to Deploy App Using Docker

Creating a Service for Systemd

touch /lib/systemd/system/<service name>.service

Edit file:

[Unit]
Description=<service description>
After=network.target

[Service]
Type=simple
Restart=always
RestartSec=5s
ExecStart=<path to exec with arguments>

[Install]
WantedBy=multi-user.target

Deploiement avec Docker

Liens

• Deploying Go servers with Docker
• Building Docker Containers for Go Applications

Commandes

TODO

• Pouvoir modifier dynamique le port et le nom du binaire dans le dockerfile

Serveur Web

Le serveur peut contenir plusieurs sous-domaines. Leur configuration se fait dans le fichier config.toml via la partie [server]. Le serveur possède 3 sous-domaines par défaut :

• apiSubDomain : sous-domaine relatif aux API
• clientSubDomain : sous-domaine pour lancer, par exemple, une application JavaScript Vue.js
• webSubDomain : sous-domaine pour créer une application côté serveur. Il contient également les routes de debug pour pprof ou trace.

Mesure et performance

Go met à disposition de puissants outils pour mesurer les performances des programmes :

• pprof (graph, flamegraph, peek)
• trace
• cover

=> Lien vers une vidéo intéressante Mesure et optimisation de la performance en Go

pprof

Lancer :

curl http://localhost:8888/debug/pprof/heap?seconds=10 > <fichier à analyser>

Puis :

go tool pprof -http :7000 <fichier à analyser> # Interface web
go tool pprof --nodefraction=0 -http :7000 <fichier à analyser> # Interface web avec tous les noeuds
go tool pprof <fichier à analyser> # Ligne de commande

trace

Lancer :

go test <package path> -trace=<fichier à analyser>
curl localhost:<port>/debug/pprof/trace?seconds=10 > <fichier à analyser>

Puis :

go tool trace <fichier à analyser>

cover

Lancer :

go test <package path> -covermode=count -coverprofile=./<fichier à analyser>

Puis :

go tool cover -html=<fichier à analyser>

TODO list

• Passer aux modules introduits avec Go 1.11 :
  • https://roberto.selbach.ca/intro-to-go-modules/
  • https://www.melvinvivas.com/go-version-1-11-modules/
  • https://medium.com/@fonseka.live/getting-started-with-go-modules-b3dac652066d
• Mettre en place un système de migration avec GORM
• Utiliser Viper pour gérer la config
• Séparer les logs d'accès des autres logs
• Ajouter une Basic Auth pour pprof
• SQL logs
  • Afficher la requête sans retour à la ligne
  • Gérer la variable limit dans fichier de configuration
  • Gérer la rotation des logs
  • [] Logger GORM dans un fichier de log GORM logger
• Mettre les logs SQL dans un fichier à part
• Exporter les logs en CSV
• Faire une interface graphique pour afficher et filter les logs
  • Mettre une Basic Auth
• Gestion des timezones
• Interface pour les datetimes

Astuces et explications

Performance, Débug et profilage

• https://medium.com/dm03514-tech-blog/sre-debugging-simple-memory-leaks-in-go-e0a9e6d63d4d
• pprof & Memory leaks
• Allocation efficiency in high-performance Go services
• Astuces Slices
• Pool
• Understanding The Memory Model Of Golang : Part 1
• Understanding The Memory Model Of Golang : Part 2
• High Performance Go Workshop

Architecture

• Trying Clean Architecture on Golang
• go-clean-arch
• Beautify your Golang project