SaaS

Benvenuto nella pagina dedicata al “Automated Infrastructure Deployment Tool”! Ti sei mai chiesto come poter ottenere un ambiente di analisi funzionante e multi-utente da poter utilizzare con i tuoi studenti? Questa pagina ti guiderà passo dopo passo nella configurazione di una infrastruttura JupyterHub (JH) ospitata su una istanza cloud. Verrà inoltre presentato il notebook utilizzabile sia autonomamente, che in combinazione con JH.

Ti presentiamo uno strumento avanzato che permette a chiunque di istanzare il proprio JH. Perchè a chiunque? Perchè non sono richiesti prerequisiti di alto livello, infatti è sufficiente avere una conoscenza di base del termianle linux, e l’accesso ad un cloud provider su cui generare l’infrastruttura.

Caratteristiche

Ecco di seguito un breve sommario delle caratteristiche principali dello strumento. (se non ti interessa la teoria, vai direttamente alla dashboard e comincia la configurazione!)

  • Intercambiabilità dei notebook: JH non sarà vincolato dalla scelta di un notebook specifico. ALTAS Open Data fornisce un notebook standard, ma se vuoi utilizzare un’altra immagine Docker su un registry, puoi includere quella nell’infrastruttura senza alcuno sforzo. Questo permette sia di avere un alto livello di personalizzazione, che di sfruttare JH per applicazioni che non siano necessariamente le analisi di Open Data.
  • Persistenza dei dati: il tuo lavoro non verrà eliminato al termine della sessione. Non ci saranno timeout del server che causeranno la perdita dei progressi nel notebook. I dati, i plot e i risultati sono salvati ed accessibili in qualsiasi momento.
  • Volumi esterni/condivisi: se si deve analizzare un dataset di grandi dimensioni, è fondamentale poter condividere le risorse, evitando così di obbligare gli utenti singoli a scaricare una grande mole di dati.
  • Velocità: questo strumento è veloce. Il tempo necessario per configurare da zero l’infrastruttura si aggira intorno alla decina di minuti (e questa è una operazione che viene eseguita una volta soltanto). Una volta che JH è operativo, gli utenti possono aprire i propri notebook nel giro di qualche secondo.

Workflow

I pilastri portanti dell’intero processo di istanziazione sono due servizi fondamentali: Docker e Terraform. Docker provvede alla modularità dell’infrastruttura, abilitando la maggior parte delle caratteristiche riportate sopra. Infatti, l’agilità e la flessibilità dell’intero sistema sono dovute alla containerizzazione dell’infrastruttura. D’altra parte, Terraform assicura l'automatizzazione del processo di deployment di JH. Un diagramma esplicativo del processo di istanziazione è riportato sotto.

Soluzioni single-user

Container images per Jupyter notebooks

I Jupyter notebooks sono alla base delle risorse di analisi messe a disposizione da ATLAS Open Data. Vi presentiamo un notebook basato sull’ultima versione dei notebook scipy, a cui integriamo l’installazione del framework ROOT utilizzato al CERN, disponibile sia nel kernel python che in quello C++. Altre versioni di questi notebook sono in fase di sviluppo. </br Puoi utilizzare il notebook sia in modalità indipendente, che in combinazione con il JH descritto sopra. Prova ora il notebook sul tuo pc semplicemente eseguendo questo comando docker in un terminale:

docker run -it --rm -p8888:8888 atlasopendata/root_notebook:latest

A questo punto, accedi al notebbok attraverso il browser, seguendo le istruzioni che il comando ritorna come output:

To access the notebook, open this file in a browser:
        file:///home/jovyan/.local/share/jupyter/runtime/nbserver-15-open.html
    Or copy and paste one of these URLs:
        http://4c61742ed77c:8888/?token=34b7f124f6783e047e796fea8061c3fca708a062a902c2f9
     or http://127.0.0.1:8888/?token=34b7f124f6783e047e796fea8061c3fca708a062a902c2f9

Ricorda: il token cambia ogni volta!

Macchine virtuali

ATLAS Open Data mette anche a disposizione delle macchine virtuali, che permettono l’analisi dei dataset a 13 TeV direttamente sul tuo pc.

Guarda le nostre risorse più da vicino:

Repository del container Macchina virtuale

 

Deployment dashboard

Seleziona il provider cloud che preferisci (meglio se è uno di cui possiedi le credenziali di accesso :D) e segui le istruzioni!

Istanza AWS Istanza OpenStack@CERN Istanza Google Cloud

ATTENZIONE: stiamo attualmente riscontrando un problema che impedisce ad istanze Openstack di installare pacchetti conda. Stiamo indagandso sulle possibili cause.

Deployment locale

Se desideri provare le funzionalità di JH senza dover utilizzare una istanza cloud, no problem! Segui queste istruzioni e istanzia JH sul tuo pc. Sarai in grado di sperimentare l’ambiente e tutte le caratteristiche relative ad esso precedentemente elencate.

Scopri di più

Se vuoi approfondire i dettagli tecnici riguardanti il tool di creazione dell’infrastruttura, dai un’occhiata a (esclusivamente in ligua inglese):

Disclaimer

Il codice e le istruzioni sono soggette alla European Union Public Licence.

I datasets vengono forniti dalla collaborazione ATLAS esclusivamente a fini educativi, e non sono utilizzabili per pubblicazioni scientifiche.

  • ATLAS Open Data è rilasciato sotto la riservaCreative Commons CC0.
  • Nè ATLAS nè il CERN sottoscrivono lavori che non vengano esclusivamente utilizzati a scopo educativo.
  • Tutti i dataset dispongono di un DOI univoco cche è necessario citare in tutte le applicazioni (non scientifiche) o pubblicazioni.
  • Anche venendo semplificati, i dati rimangono strutturalmente complessi. Vari criteri di selezione devono essere applicati per poter produrre analisi, di conseguenza è richiesta una conoscenza, seppur di base, della fisica delle particelle e del funzionamento dei vari rivelatori.
  • La maggioranza dei dati non è visulizzabile in semplici tabelle o analisi basate sulle spreadsheets.