Modulo PeerServices - Analisi Funzionale

Idea generale

Il funzionamento di servizi distribuiti in un modello non centralizzato di rete, che possiamo chiamare servizi peer-to-peer, si basa sul fatto di poter individuare un nodo fra quelli presenti nella rete in un dato momento al quale rivolgere delle richieste. I nodi presenti nella rete cambiano da un momento all'altro, così come cambia la loro identificazione. Si potrebbe anche aggiungere che non tutti i nodi sono disposti a partecipare attivamente al servizio rispondendo alle richieste altrui e anche questo può cambiare nel tempo.

Per ogni servizio occorre definire una funzione che associ ad ogni chiave k (nel dominio di chiavi definito dal servizio) un nodo esistente nella rete. A tale nodo andranno indirizzate le richieste concernenti la chiave k. Siccome tale nodo dovrà rispondere alle richieste, se il servizio prevede la possibilità che un nodo decida di non partecipare attivamente (chiamiamo questo tipo di servizio un servizio opzionale) va aggiunto il requisito che la funzione associ ad ogni chiave k un nodo partecipante al servizio.

Sia S lo spazio di indirizzi validi per i nodi della rete.

Sia V_t il set di nodi nella rete al tempo t.

Sia α_t : S → V_t la funzione suriettiva che al tempo t associa ad un indirizzo il nodo che lo detiene. E' suriettiva in quanto ogni nodo ha almeno un indirizzo. E' una funzione non completamente definita in S poiché un indirizzo potrebbe non essere stato assegnato ad alcun nodo.

Definiamo una funzione che al tempo t assegni ad ogni indirizzo in S un indirizzo nel dominio di α_t. Cioè dato un indirizzo valido che potrebbe non essere stato assegnato tale funzione ritorna un indirizzo assegnato.

• H_t : S → dom(α_t)

DHT: Distributed Hash Table

Sia p un servizio distribuito che vuole implementare un database, sia K lo spazio delle chiavi definito da p per questo database. Il servizio p definisce una funzione di hash che mappa lo spazio delle chiavi sullo spazio degli indirizzi.

• h_p : K → S

Quando un nodo, al tempo t, vuole scrivere la coppia chiave-valore (k, v) nel database distribuito il nodo calcola:

• hash_node(k) = α_t ( H_t ( h_p ( k ) ) )

Contatta quindi il nodo hash_node(k) e chiede di memorizzare la coppia (k, v).

Analogamente il nodo che vuole reperire il dato associato alla chiave k, calcola hash_node(k), contatta il nodo e chiede di leggere il dato associato a k.

Questo procedimento realizza un database distribuito, perché ogni nodo mantiene solo una porzione delle associazioni chiave-valore.

Fondamentale è la funzione H_t. Questa funzione è indipendente dal servizio p, può quindi essere definita e implementata una volta sola. Essa è dipendente dalla conoscenza del dominio di α_t, cioè di quali indirizzi in S sono detenuti da almeno un nodo. Inoltre, in caso di servizi opzionali, è dipendente anche dalla conoscenza di quali indirizzi sono detenuti da nodi che partecipano al servizio.

La conoscenza degli indirizzi detenuti dai nodi presenti nella rete è realizzata attraverso il protocollo di routing QSPN. Occorre invece definire un ulteriore meccanismo per giungere alla conoscenza di quali indirizzi sono detenuti da nodi che partecipano ad ognuno dei servizi opzionali.

HDHT: Hierarchical DHT

In una struttura gerarchica come Netsukuku (dettagli) un nodo non ha la conoscenza di tutti i nodi esistenti nella rete, quindi non può da solo computare la funzione H_t in quanto non conosce per intero dom(α_t).

Infatti ogni nodo n con indirizzo n₀·n₁·...·n_l-1 ha solo conoscenza di:

• tutti i nodi appartenenti a n₁,

• tutti i g-nodi di livello 1 appartenenti a n₂,

• ...

• tutti i g-nodi di livello l-2 appartenenti a n_l-1,

• tutti i g-nodi di livello l-1.

Questa conoscenza la possiamo chiamare dom_n(α_t), cioè il dominio della funzione α_t secondo le conoscenze di n.

L'implementazione della funzione H_t deve dunque avvenire in modo distribuito.

Ruolo del modulo PeerServices

Il modulo fa uso delle tasklet, un sistema di multithreading cooperativo.

Il modulo fa uso del framework ZCD, precisamente appoggiandosi ad una libreria intermedia prodotta con questo framework per formalizzare i metodi remoti usati nel demone ntkd.

Nel modulo PeerServices il nodo registra i servizi peer-to-peer ai quali intende partecipare, specificando quali di questi sono opzionali.

Ogni servizio peer-to-peer ha un intero positivo come suo identificativo, p_id.

Il modulo PeerServices si occupa di divulgare in tutta la rete (tramite trasmissione di vicino in vicino) la conoscenza della partecipazione del nodo ad ogni servizio opzionale. Questa operazione non è necessaria per i servizi non opzionali, proprio perché ogni nodo esistente nella rete partecipa attivamente ad essi.

Allo stesso tempo il modulo PeerServices, nei singoli nodi in cui riceve questa informazione e la propaga, si occupa di mantenere la conoscenza, sempre in forma gerarchica, di tutti i partecipanti a tutti i servizi opzionali esistenti nella rete; questo pur senza necessitare di conoscere a priori quali servizi opzionali esistano. Inoltre, quando un nodo entra in un g-nogo g (per migrazione o per ingresso iniziale nella rete) il modulo richiede subito ai vicini che erano in g prima di lui le mappe di tutti i servizi opzionali esistenti nella rete.

In ogni momento un nodo può fare al suo modulo PeerServices una richiesta relativa ad un servizio con un dato p_id. Se il servizio è non-opzionale per definizione esso è fra quelli registrati, quindi il modulo lo conosce, sa che è non-opzionale e non ha bisogno di mappe di partecipazione per ricercare un suo hash_node. Se il servizio pur essendo opzionale è stato registrato, anche in questo caso il modulo lo conosce e sa che deve consultare le mappe di partecipazione (in questo caso almeno il nodo stesso è nelle mappe). Se il servizio opzionale non è stato registrato, cioè il nodo non vi partecipa attivamente possono esservi due casi:

1. Il modulo è venuto a conoscenza di alcuni nodi nella rete che partecipano. Allora ha le mappe per avviare la ricerca dell'hash_node.
2. Il modulo non ha mai ricevuto informazioni di partecipazioni al servizio con questo identificativo. Allora deduce che nessun nodo nella rete è partecipante al servizio.

Il modulo PeerServices si occupa, su richiesta del nodo, di avviare una comunicazione verso un hash_node per la chiave k di un servizio p; cioè esso avvia il calcolo distribuito di H_t. Per fare questo il modulo non ha bisogno di conoscere l'implementazione della funzione h_p ma soltato il risultato di h_p ( k ); d'altra parte questa richiesta arriva dal nodo stesso quindi il nodo conosce l'implementazione della funzione h_p. Inoltre per fare questa operazione non è necessario che il nodo partecipi al servizio p.

Lo stesso modulo, nei nodi intermedi verso la destinazione, si occupa di instradare il messaggio e di proseguire il calcolo distribuito di H_t. Per fare questo il modulo non ha bisogno di conoscere la logica interna del servizio p, ma deve solo sapere l'identificativo del servizio p_id e il valore di h_p ( k ); questi dati sono contenuti nel messaggio da instradare. Quindi per fare questa operazione il nodo non ha bisogno né di partecipare al servizio p e nemmeno di conoscere nulla sull'implementazione del servizio p.

Lo stesso modulo, nel nodo destinazione del messaggio, si occupa di ricevere la richiesta del nodo originante e di servirla. Perché il modulo possa servirla, nel modulo deve essere stato registrato il servizio peer-to-peer. Difatti il nodo deve essere partecipante al servizio p. Inoltre il modulo fornisce all'implementazione del servizio p la possibilità di replicare qualsiasi dato che esso memorizza su un numero q di nodi partecipanti al servizio che sarebbero stati i più prossimi destinatari della richiesta in caso di sua assenza.

Il modulo PeerServices si occupa per un nodo appena entrato nella rete di reperire per tutti i servizi a cui il nodo intende partecipare tutti i record che sono di sua pertinenza nel mantenimento del database distribuito, come destinatario principale o come replica.

Requisiti

• Mappa delle rotte note.
• Livello del g-nodo che questo nodo ha formato entrando nella rete.
• Factory per aprire una connessione TCP con un percorso interno ad un proprio g-nodo verso un nodo di cui si conosce l'identificativo interno.
• Factory per ottenere uno stub per inviare un messaggio in broadcast (con callback per gli archi in cui il messaggio fallisce) o uno stub per inviare un messaggio su un arco in modo reliable.

Deliverables

• Viene definita una classe base astratta (PeerService) che deve essere derivata per implementare ogni specifico servizio peer-to-peer, sia quelli opzionali che quelli non opzionali.

• Viene definita una classe base astratta (PeerClient) che deve essere derivata per implementare una classe da usare come client per un servizio peer-to-peer.

• Emette un segnale quando ha completato (con successo o meno) la fase di reperimento delle mappe di partecipazione ai servizi opzionali.

• Fornisce un metodo (register) per registrare le istanze di classi che rappresentano un servizio a cui il nodo partecipa.

• Fornisce dei metodi (begin_retrieve_cache e next_retrieve_cache) per i vari servizi registrati perché possano all'avvio recuperare i record di pertinenza del nodo.

• Per i servizi opzionali, questi vanno chiamati solo dopo che è stato completato il reperimento delle mappe di partecipazione.

• Fornisce dei metodi (begin_replica e next_replica) per i vari servizi registrati perché possano replicare i record salvati su un numero di nodi replica.

• Questi vanno chiamati dalle classi che implementano un servizio, appunto quando hanno salvato (o modificato) un record.

• Fornisce un metodo (contact_peer) per effettuare una richiesta ad un servizio peer-to-peer. Sono passate al metodo queste informazioni:

  • l'identificativo del servizio,

  • la tupla obiettivo, cioè il risultato di h_p ( k ),

  • l'istanza di IPeersRequest che rappresenta la richiesta da effettuare,
  • il tempo limite per l'esecuzione della richiesta una volta consegnata all'hash_node.
• Queste informazioni passate al metodo contact_peer lo abilitano ad effettuare la richiesta senza dover conoscere altro sul servizio: infatti per fare una richiesta ad un servizio il nodo non ha bisogno di partecipare attivamente al servizio, quindi il nodo potrebbe non aver passato il servizio in questione al metodo register; basta che il nodo sappia come interfacciarsi con il servizio.
• Il metodo restituisce una istanza di IPeersResponse che può rappresentare il risultato della richiesta o una eccezione prevista dal servizio stesso.

• Oppure rilancia una eccezione (PeersNoParticipantsInNetworkError) se al momento nessun nodo nella rete partecipa attivamente al servizio.

Classi e interfacce

La classe HCoord è una classe comune nota a questo modulo. E' una classe serializzabile, cioè le cui istanze sono adatte al passaggio di dati a metodi remoti (vedi framework ZCD). Una sua istanza contiene le coordinate gerarchiche di un g-nodo nella mappa del nodo: livello e identificativo nel livello.

La mappa delle rotte è un oggetto di cui il modulo conosce l'interfaccia IPeersMapPaths. Tramite essa il modulo può:

• Leggere il numero di livelli della topologia (metodo 'i_peers_get_levels');
• Leggere la gsize di ogni livello (metodo 'i_peers_get_gsize');
• Leggere l'identificativo del proprio nodo a ogni livello (metodo 'i_peers_get_my_pos');
• Leggere il numero di nodi stimato all'interno del proprio g-nodo a ogni livello (metodo 'i_peers_get_nodes_in_my_group');

• Determinare se un certo g-nodo esiste nella rete – cioè se appartiene a dom_n(α_t) (metodo 'i_peers_exists');

• Ottenere uno stub per inviare un messaggio al miglior gateway verso un certo g-nodo, segnalando opzionalmente se si vuole escludere un certo gateway perché era il passo precedente nell'instradamento del messaggio e / o se si vuole escludere e rimuovere un certo gateway che nel tentativo precedente ha fallito la comunicazione (metodo 'i_peers_gateway').
• Ottenere uno stub per inviare un messaggio ad un mio vicino che appartiene al mio stesso g-nodo di un dato livello (metodo 'i_peers_fellow').
• All'avvio del nodo, se esso non ha formato una nuova rete ma piuttosto è entrato in un g-nodo, allora usa subito questo metodo per individuare un vicino che fa parte di quello stesso g-nodo in cui è entrato. Userà questo stub per richiedere a tale vicino la mappa corrente dei g-nodi che partecipano a servizi opzionali.

In alcuni casi sarà necessario realizzare una comunicazione TCP verso un nodo originante di un messaggio. In tali casi si vuole raggiungere il nodo attraverso un percorso interno al proprio g-nodo di un dato livello.

In tutti i casi in cui questo è necessario il dialogo tra i due nodi è molto semplice e prevede sempre uno scambio di richiesta e risposta ad iniziativa del nodo che inizia la connessione. Sarà quindi sufficiente che si ottenga uno stub che realizza la chiamata di un metodo remoto tramite questa connessione TCP.

L'oggetto fornito al modulo a questo scopo implementa l'interfaccia IPeersBackStubFactory, la quale permette di:

• ottenere uno stub per inviare un messaggio ad un dato nodo mediante connessione TCP interna (metodo 'i_peers_get_tcp_inside').

In alcuni casi sarà necessario inviare una comunicazione ai vicini. L'oggetto fornito al modulo a questo scopo implementa l'interfaccia IPeersNeighborsFactory, la quale permette di:

• ottenere uno stub per inviare un messaggio a tutti i vicini (metodo 'i_peers_get_broadcast') specificando una istanza di IPeersMissingArcHandler per gestire gli archi su cui non si è ricevuto un acknowledgement.
• data una istanza di IPeersArc ottenere uno stub per inviare un messaggio reliable su quell'arco (metodo 'i_peers_get_tcp').

Quando il modulo usa il metodo i_peers_get_broadcast sull'oggetto IPeersNeighborsFactory "nf" fornito dal suo utilizzatore, gli passa un oggetto IPeersMissingArcHandler "ah". Lo stub che l'utilizzatore fornisce ora al modulo tiene conto di questo "ah". Quando lo stub trasmette un messaggio si aspetta di ricevere, entro un tempo limite, un acknowledgement tramite ognuno degli archi noti al nodo: se per qualcuno degli archi questo non avviene, allora lo stub si occuperà di richiamare su "ah" il metodo 'i_peers_missing' che riceve un'istanza di IPeersArc. Questa istanza è di un oggetto del tutto oscuro al modulo, che lo può solo passare al metodo i_peers_get_tcp dell'oggetto "nf".

L'interfaccia IPeersRequest non specifica nulla. Va implementata da un oggetto serializzabile. Tale oggetto deve contenere le informazioni che possano identificare una chiamata ad un metodo remoto in un certo servizio.

Il "client" che prepara questo oggetto è specifico di un certo servizio p. Esso può assumere che il "server" che lo riceverà è il server specifico dello stesso servizio p.

Segue un esempio, per nulla vincolante, di cosa questo oggetto potrebbe contenere.

• Il nome del metodo. Si tratta di una stringa.
• Gli argomenti del metodo. Si tratta di un array di stringhe che rappresentano in formato JSON gli argomenti del metodo.

L'interfaccia IPeersResponse non specifica nulla. Va implementata da un oggetto serializzabile. Tale oggetto deve contenere le informazioni che possano rappresentare una risposta fornita da un metodo remoto in un certo servizio.

Il "server" che prepara questo oggetto è specifico di un certo servizio p ed è stato invocato su un particolare metodo m esposto da questo servizio. Esso può assumere che il "client" che lo riceverà è il client specifico dello stesso servizio p e sa che si tratta di una risposta a quel particolare metodo m.

Segue un esempio, per nulla vincolante, di cosa questo oggetto potrebbe contenere.

• L'eccezione lanciata. Si tratta di 3 stringhe nullable: error_domain, error_code, error_message.
• Il valore di ritorno. Si tratta di una stringa. Se le stringhe error_* non sono valorizzate, allora questa stringa rappresenta in formato JSON il risultato della chiamata del metodo.

Tutte le classi che implementano un servizio derivano da PeerService. Questa è una classe astratta definita dal modulo.

La classe base ha un membro p_id che identifica un servizio in tutta la rete. Esso è valorizzato nel costruttore ed è in seguito di sola lettura. L'istanza del servizio è passata come istanza di PeerService al modulo (PeersManager) nella chiamata iniziale al metodo di registrazione e questo la memorizza associandola al suo identificativo.

La classe base ha un membro booleano p_is_optional che dice se il servizio è da considerarsi opzionale. Esso è valorizzato nel costruttore ed è in seguito di sola lettura.

La classe base ha un metodo virtuale is_ready() che dice se il nodo è pronto a servire. L'implementazione della classe base risponde sempre True. La classe del servizio che la deriva può modificare l'implementazione. In questo caso il nodo può decidere, secondo la logica propria del servizio specifico, di non rispondere in certi momenti alle richieste. Questo nonostante che il nodo sia partecipante a questo servizio, sia esso opzionale o non. Infatti se non fosse partecipante non esisterebbe l'istanza registrata nel modulo PeersManager.

La classe base ha un metodo astratto exec che viene richiamato sull'hash_node che deve servire una richiesta. Esso riceve una istanza di IPeersRequest e restituisce una istanza di IPeersResponse.

La classe PeerClient può essere derivata per implementare il client di un servizio, sia esso opzionale o non opzionale.

La classe derivata, per ogni tipo di richiesta che è prevista dal servizio, ha il compito di produrre l'oggetto IPeersRequest che rappresenta la richiesta, di specificare quale sia il tempo massimo di attesa per l'esecuzione, di interpretare l'istanza di IPeersResponse ricevuta come risposta.

La classe base ha la conoscenza della topologia della rete, cioè il numero di livelli e per ognuno la gsize. Oltre a ciò non necessita di conoscere le posizioni del nodo corrente. Ha inoltre conoscenza dell'identificativo del servizio.

La classe base ha un riferimeno all'istanza di PeersManager che usa per contattare l'hash_node (metodo contact_peer).

Nella classe derivata va definito il calcolo di h_p. La funzione h_p deve associare ad una chiave k un indirizzo in S, cioè una tupla x̄ = x̄₀·x̄₁·...·x̄_l-1 le cui componenti siano compatibili con la topologia della rete. La classe base non sa come ottenere da una chiave k la tupla x̄, questo procedimento spetta alla classe derivata. Tuttavia molte operazioni saranno uguali nella maggior parte dei servizi. Quindi la classe base cerca di fornire i servizi comuni senza tuttavia essere di impedimento alla classe derivata se vuole usare altre modalità di calcolo. Per fare questo la classe base fornisce:

• un metodo virtuale 'perfect_tuple' che riceve a parametro la chiave (Object k) e restituisce la tupla x̄.
• un metodo astratto 'hash_from_key' che riceve a parametro la chiave (Object k) e un intero (top) e restituisce un intero tra 0 e top.

Quando le operazioni del modulo richiedono il calcolo di h_p ( k ) su un certo servizio p, il metodo 'perfect_tuple' viene richiamato sull'istanza di PeerService, quindi tale metodo deve essere pubblico.

Se tale metodo non viene ridefinito dalla classe derivata, il suo comportamento è il seguente. L'istanza conosce le dimensioni dei g-nodi ad ogni livello (gsizes) quindi calcola la dimensione dello spazio degli indirizzi validi. Poi richiama il metodo 'hash_from_key' passando oltre alla chiave k il numero massimo dell'hash (la dimensione dello spazio di indirizzi meno uno). In questo metodo la classe derivata deve occuparsi di associare alla chiave un valore di hash (di norma uniformemente distribuito) compreso tra 0 e il valore massimo (inclusi). Questo metodo è demandato alla classe derivata e quindi è definito astratto. Inoltre deve essere usato solo con la modalità sopra descritta, quindi può essere definito protetto.

Poi, nel metodo 'perfect_tuple', l'istanza usa il valore di hash per produrre una tupla x̄ sulla base della sua conoscenza di gsizes.

Se invece la classe derivata ridefinisce il metodo 'perfect_tuple' è libera di calcolare direttamente la tupla x̄ a partire dalla chiave e dalle sue conoscenze. In questo caso, inoltre, può decidere di restituire una tupla con un numero di elementi inferiore al numero di livelli della rete. In questo caso la tupla x̄ = x̄₀·x̄₁·...·x̄_j quando viene passata alla funzione H_t circoscrive la sua ricerca dell'hash_node al g-nodo n_j+1 del nodo n che fa la richiesta.