aboutsummaryrefslogtreecommitdiff
path: root/bootstrap.md
blob: c02bfd2c98ea969429128c03cccd71af5b8fb8fe (plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
[[!toc levels=4]]

Bootstrap de uma configura��o completa
======================================

Este documento tem como objetivo descrever o **processo de bootstrap** de uma
configura��o completa de um servidor utilizando o [Padr�o Sarav�](/). O
*processo de bootstrap* pode ser compreendido como "o processo de coordenar
diversos processos interdepententes de forma que seja atingida uma configura��o
sist�mica est�vel".

Para este processo, utilizaremos as seguintes ferramentas:

* [Debian GNU/Linux 6.0](http://www.debian.org/releases/squeeze/).
* [Linux-VServer](http://linux-vserver.org/) ([pacote do debian](http://packages.debian.org/squeeze/linux-image-2.6-vserver-686)).
* [Git](http://git-scm.com/) e [gitosis](http://swik.net/gitosis).
* [puppet-bootstrap](http://git.sarava.org/?p=puppet-bootstrap.git;a=summary).
* [hydra](http://git.sarava.org/?p=hydra.git;a=summary).

Os seguintes est�gios fazem parte de uma instala��o padr�o completa:

Instala��o do sistema padr�o na m�quina hospedeira
--------------------------------------------------

Documenta��o [aqui](/install).

Configura��o da m�quina hospedeira
----------------------------------

Configure algumas vari�veis de ambiente:

    export domain="projeto.org"
    export hostname=`hostname | sed -e s/\\\\..*$//`
    export puppet_bootstrap_dir=/var/tmp/puppet-bootstrap
    export PUPPETLIB=${puppet_bootstrap_dir}/modules

Configure o arquivo `/etc/hosts` (a ordem dos hostnames influencia nos resultados do `facter`):

    cat > /etc/hosts <<EOF
    127.0.0.1 ${hostname}.${domain} ${hostname}
    127.0.0.1 localhost
    EOF

Instale o git e o puppet e clone o reposit�rio `puppet-bootstrap`:

    apt-get -y install git-core puppet wipe
    git clone git://git.sarava.org/puppet-bootstrap ${puppet_bootstrap_dir}

Altere o arquivo `${puppet_bootstrap_dir}/manifests/config.pp` de acordo com suas necessidades.

Prepare o servidor para a utiliza��o do puppet.

    puppet apply -d -v ${puppet_bootstrap_dir}/manifests/stage0.pp

Crie um vserver para abrigar o n� administrativo:

    puppet apply -d -v ${puppet_bootstrap_dir}/manifests/host-stage1.pp

Anote a fingerprint da chave ssh do vserver:

    vserver ${hostname}-master exec ssh-keygen -l -f /etc/ssh/ssh_host_rsa_key.pub

Configura��o do n� administrativo
---------------------------------

A partir deste momento, vamos trabalhar apenas no n� administrativo rec�m criado.

Copie o `puppet-bootstrap` e a configura��o padr�o para o vserver e limpe os rastros:

    echo LANG=C > /var/vservers/${hostname}-master/etc/default/locale
    cp -r ${puppet_bootstrap_dir} \
      /var/vservers/${hostname}-master/${puppet_bootstrap_dir}
    cp -r /usr/local/puppet \
      /var/vservers/${hostname}-master/usr/local/puppet
    wipe -rcfq -S r -R /dev/urandom ${puppet_bootstrap_dir} /usr/local/puppet

Acesse o vserver e instale algumas ferramentas:

    vserver ${hostname}-master enter
    apt-get update
    apt-get -y upgrade
    apt-get -y install git puppet puppetmaster wipe

Configure o hostname e dom�nio do n� administrativo:

    cat > /etc/hosts <<EOF
    127.0.0.1 ${hostname}-master.${domain} ${hostname}
    127.0.0.1 localhost
    EOF

Prepare o vserver para a utiliza��o do puppet.

    puppet apply -d -v ${puppet_bootstrap_dir}/manifests/stage0.pp
    puppet apply -d -v ${puppet_bootstrap_dir}/manifests/admin-stage1.pp

Cria��o de reposit�rios padr�o
------------------------------

D� acesso ao reposit�rio administrativo do gitosis a um usu�rio:

    sudo -H -u gitosis gitosis-init < FILENAME.pub

Clone o reposit�rio administrativo do gitosis remotamente:

    git clone ssh://gitosis@servidor.${domain}:2202/gitosis-admin

Altere o arquivo `gitosis-admin/gitosis.conf` do reposit�rio clonado e crie um reposit�rio para a configura��o do puppet e um reposit�rio para suas chaves criptogr�ficas:

    [gitosis]
    daemon      = no
    gitweb      = no
    public_http = no
    
    [group admin]
    writable = gitosis-admin puppet keyring
    members = usuario@maquina

Empurre as mudan�as para o servidor:

    git commit -a -m "Adicionando reposit�rios para puppet e keyring"
    git push origin master

Para adicionar um novo usu�rio ao gitosis, basta adicionar as chaves p�blicas ssh ao diret�rio `gitosis-admin/keydir/` com um nome de arquivo do tipo `usuario@maquina.pub`.

Configura��o do reposit�rio puppet
----------------------------------

Altere as configura��es padr�o do puppet em `/usr/local/puppet/default-conf` de acordo com suas necessidades e incialize os reposit�rios em `/etc/puppet` e `/var/git/repositories/puppet`):

    /etc/init.d/puppetmaster stop
    rm -rf /etc/puppet && mkdir /etc/puppet
    cd /etc/puppet
    cp -r /usr/local/puppet/default-conf/* .
    wipe -rcfq -S r -R /usr/local/puppet
    git init
    git add *
    puppet-bootstrap add-submodules /etc/puppet
    git commit -m "Initial config."
    git clone --bare /etc/puppet/ /var/git/repositories/puppet.git
    chown -R gitosis:gitosis /var/git/repositories/puppet.git

Agora j� podemos clonar o reposit�rio de configura��es do puppet remotamente:

    git clone ssh://gitosis@${hotname}.${domain}:2202/puppet.git

Configura��o da hydra
---------------------

Esta parte da instala��o gera chaves criptogr�ficas e portanto deve ocorrer em uma m�quina com um n�vel de seguran�a significativo (criptografia de disco, bootless, etc).

Instale `hydra` e `keyringer`:

    sudo apt-get -y install git-core
    # hydra
    sudo git clone git://git.sarava.org/hydra /usr/local/hydra
    sudo ln -sf /usr/local/hydra/hydra /usr/local/sbin/hydra
    sudo ln -sf /usr/local/hydra/hydra /usr/local/sbin/hydractl
    # keyringer
    sudo git clone git://git.sarava.org/keyringer /usr/local/keyringer
    sudo ln -sf /usr/local/keyringer/keyringer /usr/local/bin/keyringer

Tenha certeza que possui em seu chaveiro gpg as chaves dos usu�rios que ir�o acessar o reposit�rio de chaves. Crie um keyring para o projeto clonando o reposit�rio configurado:

    keyringer projeto init ~/projeto/keyring
    cd ~/projeto/keyring
    git init
    git remote add origin ssh://gitosis@servidor.${domain}:2202/keyring.git
    git add *
    git commit -m "initial commit"
    git push origin master

Clone o reposit�rio de configura��o do puppet e registre uma nova hydra:

    puppet_dir=~/projeto/puppet
    git clone git://gitosis@servidor.${domain}:2202/puppet $puppet_dir
    hydra projeto register $puppet_dir

Gere novas chaves para os n�s configurados e as envie para os n�s:

    hydra projeto newkeys
    hydra projeto import servidor.pub


Partida do puppetmaster
-----------------------

    /etc/init.d/puppetmaster start

Configura��o de backups:
------------------------

1. Backup local criptografado:
    1. Cria��o de chaves GPG.
    2. Configura��o do backup local.
2. Backup remoto:
    1. Cria��o de chaves SSH para armazenamento remoto de backup.
    2. Configura��o do backup remoto.

Cria��o de outros vservers/n�s
------------------------------

* N� de armazenamento ("storage") para agrupamento de backups.
* Proxy.
* Web.
* Test.

Peda�os de c�digo �teis para o bootstrap
========================================

Configura��o de subm�dulos padr�o
---------------------------------

    apt-get -y install puppetmaster puppet git-core openssh-server
    cd /etc/puppet
    mkdir modules
    git init
    git add .
    
    repos="`lynx -dump http://git.sarava.org/?a=project_index | awk '{ print $1 }' | grep ^puppet-`"
    for repo in $repos; do
      module="`basename $repo .git | sed -e s/^puppet-//`"
      if [ ! -d "modules/$module" ]; then
        git submodule add git://git.sarava.org/puppet-$module.git modules/$module
      fi
    done

No caso de bootstrap para um novo projeto, substitua as refer�ncias de `git.sarava.org` para `git.projeto.org`.

Configurando refer�ncias remotas em massa
-----------------------------------------

    # Configuracao
    origin="sarava.org"
    remotes="sarava.org:${port}"
    repos="`lynx -dump http://git.$origin/?a=project_index | awk '{ print $1 }' | grep ^puppet-`"

    # Adicionando referencias
    for repo in $repos; do
      module="`basename $repo .git | sed -e s/^puppet-//`"
      if [ -d "puppet-$module" ]; then
        cd puppet-$module
        for remote in $remotes; do
          ref="`echo $remote   | cut -d . -f 1`"
          domain="`echo remote | cut -d : -f 1`"
          port="`echo remote   | cut -d : -f 2`"
          git remote add $ref ssh://gitosis@git.$domain:$port/puppet-$module.git
          git push $ref master
        done
        cd ..
      fi
    done

Mudando refer�ncias em subm�dulos
---------------------------------

    # Configuracao
    origin="sarava.org"
    dest="exemplo.org"

    cd puppet
    sed -i -e "s/git.$origin/git.$dest/" .gitmodules
    cd modules
    for module in `ls`; do
      cd $module
      git remote rm origin
      git remote add origin git://git.$dest/puppet-$module.git
      git config branch.master.remote origin
      git config branch.master.merge refs/heads/master
      cd ..
    done

Exemplo de cria��o em massa de m�dulos
--------------------------------------

    # Configuracao
    origin="sarava.org"
    remotes="sarava.org:${port}"

    mkdir puppet-{ikiwiki,moin,mysql,trac}/manifests -p
    touch puppet-{ikiwiki,moin,mysql,trac}/manifests/init.pp
    for module in ikiwiki moin mysql trac; do
      cd puppet-$module
      cp ../puppet-git/LICENSE .
      git init
      git add .
      git commit -a -m "Initial import"
      for remote in $remotes; do
        ref="`echo $remote   | cut -d . -f 1`"
        domain="`echo remote | cut -d : f 1`"
        port="`echo remote   | cut -d : f 2`"
        git remote add $ref ssh://gitosis@git.$domain:$port/puppet-$module.git
        git push $ref master
      done
      cd ..
    done