Apoio Técnico para a utilização da grid

Se pretende utilizar a grid da U.PORTO, execute os três passos que se descrevem aqui.

Para apoio adicional contacte gridup.admin@up.pt.

Poderá utilizar a opção à direita desta página, Portal grid, para submeter as suas tarefas (jobs).

Utilização da grid em três passos simples:

Obter um certificado

O primeiro requisito que o utilizador tem de cumprir é possuir um certificado X.509 válido e emitido por uma Autoridade de Certificação reconhecida pelo EGI.

A Universidade do Porto é uma autoridade de registo da Autoridade de Certificação LIP (http://ca.lip.pt).

1. Pedir um Certificado de Utilizador
   
   Para pedir um certificado de utilizador, deverá aceder a https://ca.lip.pt/up/pub e na tab User -> Request a Certificate selecionar a opção de acordo com o tipo de browser que utiliza ou através da deteção automática do mesmo (Request a certificate with automatic browser detection), sendo esta última a opção recomendada.
   
   Preencher os dados do formulário tendo em atenção os seguintes pontos:
   • Utilizar o e-mail institucional
   • Selecionar em Certificate Request Group a unidade orgânica a que pertence
   • Não utilizar acentos ou cedilhas no parâmetro Name
   • Não preencher o parâmetro DNS
   • Colocar o parâmetro Role como User
   
   Deverá em seguida preencher o seguinte formulário http://ca.lip.pt/docs/cert-pessoal.pdf. O procedimento atual da AC obriga a deslocar-se ao contacto da AR na U.PORTO com um documento comprovativo da sua identidade (BI, Carta de condução, Passaporte), para validar o seu pedido.
   
   
    
2. Cópia de segurança (Backup) do Certificado
    
   
   • Quando receber um e-mail da Autoridade de Certificação com o linkbackup do mesmo.
   • NOTA: Este procedimento deverá ser executado na mesma máquina onde se efetuou o pedido.
   • Para efetuar o backup do certificado deverá verificar nas opções do browser em Preferências -> Segurança -> Certificados
   • Deverá surgir na lista o certificado com os dados que colocou no pedido. Verifique se o issuer corresponde à seguinte informação:
     • CN = LIP Certification Authority
     • O = LIPCA
     • C = PT
   • Deverá de seguida efetuar o backup para um ficheiro do tipo .p12
   • Este certificado ficará encriptado com uma password definida pelo utilizador
      
3. Conversão do certificado de utilizador
   
   
   • Extrair a chave do ficheiro p12
     

     $ openssl pkcs12 -nocerts -in usercert.p12 -out $HOME/.globus/userkey.pem

   • Extrair o certificado do ficheiro p12
     

     $ openssl pkcs12 -clcerts -nokeys -in usercert.p12 -out $HOME/.globus/usercert.pem

Requisitar o acesso a uma Organização Virtual (Virtual Organization - VO)

Para poder usufruir dos recursos da Computação Grid deverá pertencer a uma Organização Virtual. No contexto do EGI a definição de uma Organização Virtual é a seguinte:

"Um grupo de investigadores com interesses e requisitos similares que são capazes de trabalhar colaborativamente com outros membros e/ou partilhar recursos (e.g. Dados, Software, Conhecimento, CPU, Espaço de Armazenamento) independentemente da localização geográfica"

Para a lista completa de Organizações Virtuais suportadas no EGI ver: http://operations-portal.egi.eu/vo

A lista de Organizações Virtuais suportadas nos Clusters da U.PORTO é a seguinte:

Quando os utilizadores pertencentes à U.PORTO realizam a adesão ao serviço de Grid Computing é-lhes facultado o acesso a um User Interface (ui01.up.pt) onde poderão criar e submeter os seus jobs assim como são automaticamente registados na VO vo.up.pt que lhes permite desde logo ter acesso aos recursos computacionais do campus grid da U.PORTO.

Submeter um job

1. Copiar o ficheiro p12 para o User Interface
   

   $ scp usercert.p12 nome_utilizador@ui01.up.pt:

2. Efetuar a ligação por SSH ao User Interface
   

   $ ssh nome_utilizador@ui01.up.pt

3. Criar o diretório .globus
   

   $ mkdir .globus

4. Conversão do certificado de utilizador
   

   $ openssl pkcs12 -nocerts -in usercert.p12 -out $HOME/.globus/userkey.pem

   $ openssl pkcs12 -clcerts -nokeys -in usercert.p12 -out $HOME/.globus/usercert.pem

5. Permissões dos ficheiros relativos ao certificado
   

   $ chmod 444 $HOME/.globus/usercert.pem
   	$ chmod 400 $HOME/.globus/userkey.pem

6. Verificar os dados do seu certificado
   

   $ grid-cert-info

7. Inicialização do proxy
   

   $ voms-proxy-init --voms vo.up.pt
   	Your identity: /C=PT/O=LIPCA/O=UP/OU=xxxxx/CN=xxxxxxxxxx
   	Enter GRID pass phrase:
   	Creating temporary proxy .......................... Done
   	Contacting xxxx.up.pt:xxxxx [/C=PT/O=LIPCA/O=UP/OU=xxxxx/CN=xxxx.up.pt] "vo.up.pt" Done
   	Creating proxy .................................... Done
   	Your proxy is valid until ....

   Por omissão o proxy tem uma duração de 12 horas, pelo que se no final desse tempo pretender submeter jobs deverá renovar o seu proxy.

   Para submeter um job para a infraestrutura do EGI, o utilizador terá de ter um certificado de proxy válido no User Interface e utilizar o seguinte comando:

   $ glite-wms-job-submit -a job.jdl

   onde o job.jdl é um ficheiro contendo a descrição do job, usualmente com a extensão .jdl

   
    
8. Submeter um job simples
   
   Criar um ficheiro job.jdl com o seguinte conteúdo:
   

   	Executable = "/bin/hostname";
   	StdOutput = "std.out";
   	StdError = "std.err";
   	OutputSandbox = {"std.out","std.err"};

   Este ficheiro descreve um job simples que irá executar o comando /bin/hostname. O Standard output e o Standard error serão redirecionados para os ficheiros std.out e std.err respetivamente, que depois são transferidos para o User Interface após o término do job, visto que estão definidos na OutputSandbox.
   
   O job é submetido utilizando o seguinte comando:
   

   glite-wms-job-submit -a job.jdl

   Se a submissão for bem sucedida, o output será semelhante a:
   

   Connecting to the service https://wms01.lip.pt:7443/glite_wms_wmproxy_server
   	====================== glite-wms-job-submit Success ======================
   	The job has been successfully submitted to the WMProxy
   	Your job identifier is:
   	https://xxx.xxx.pt:xxxx/5Ed4M7S57hnA-Raxxxxx
   	==========================================================================

9. Listar os Computing Element compatíveis com uma dada descrição do job
   
   É possível obter a lista dos CE's que permitem executar um job especificado por um dado ficheiro JDL utilizando o comando glite-wms-job-list-match:
   

   $ glite-wms-job-list-match -a job.jdl
   	Connecting to the service https://xxxxx.xxx.pt:7443/glite_wms_wmproxy_server
   	==========================================================================
   	COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found:
   	*CEId*
   	- xxxx.up.pt:xxxx/jobmanager-lcgsge-uporto
   	- xxxxxxx.xx.up.pt:xxxx/jobmanager-lcgsge-uporto
   	- xxxxxxx.xx.up.pt:xxxx/jobmanager-lcgsge-uporto
   	==========================================================================

10. Verificar o estado de um determinado job
    Tendo um job sido submetido cujo identificador é jobId, o comando para verificar o estado do job será:
    

    glite-wms-job-status jobId

11. Cancelar um job
    
    Tendo um job sido submetido cujo identificador é jobId, o comando para cancelar o job será:

    glite-wms-job-cancel jobId

    
     
    
12. Obter o output de um job
    
    Depois do job terminar, o output poderá ser copiado para o User Interface através do comando:
    
    

    glite-wms-job-output --dir . jobId