/* Chrysalide - Outil d'analyse de fichiers binaires
* storage.c - conservation hors mémoire d'objets choisis
*
* Copyright (C) 2020 Cyrille Bagard
*
* This file is part of Chrysalide.
*
* Chrysalide is free software; you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation; either version 3 of the License, or
* (at your option) any later version.
*
* Chrysalide is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with Foobar. If not, see .
*/
#include "storage.h"
#include
#include
#include
#include
#include
#include "storage-int.h"
#include "../db/misc/rlestr.h"
#include "../../common/io.h"
#include "../../common/leb128.h"
#include "../../core/logs.h"
#define STORAGE_MAGIC "CSTR"
#define STORAGE_NUMBER "\x00\x01"
/* Initialise la classe des conservations d'objets en place. */
static void g_object_storage_class_init(GObjectStorageClass *);
/* Initialise une instance de conservation d'objets en place. */
static void g_object_storage_init(GObjectStorage *);
/* Supprime toutes les références externes. */
static void g_object_storage_dispose(GObjectStorage *);
/* Procède à la libération totale de la mémoire. */
static void g_object_storage_finalize(GObjectStorage *);
/* Retrouve l'encadrement pour un nouveau groupe d'objets. */
static storage_backend_t *g_object_storage_find_backend(GObjectStorage *, const char *);
/* Ajoute le support d'un nouveau groupe d'objets construits. */
static bool g_object_storage_add_backend(GObjectStorage *, const char *, storage_backend_t **);
/* Extrait d'un tampon des enregistrements spécifiques. */
static bool g_object_storage_load_backend(GObjectStorage *, packed_buffer_t *);
/* Place dans un tampon les données liées à des enregistrements. */
static bool pack_storage_backend(const storage_backend_t *, packed_buffer_t *);
/* Indique le type défini pour une conservation d'objets construits. */
G_DEFINE_TYPE(GObjectStorage, g_object_storage, G_TYPE_OBJECT);
/******************************************************************************
* *
* Paramètres : klass = classe à initialiser. *
* *
* Description : Initialise la classe des conservations d'objets en place. *
* *
* Retour : - *
* *
* Remarques : - *
* *
******************************************************************************/
static void g_object_storage_class_init(GObjectStorageClass *klass)
{
GObjectClass *object; /* Autre version de la classe */
object = G_OBJECT_CLASS(klass);
object->dispose = (GObjectFinalizeFunc/* ! */)g_object_storage_dispose;
object->finalize = (GObjectFinalizeFunc)g_object_storage_finalize;
}
/******************************************************************************
* *
* Paramètres : storage = instance à initialiser. *
* *
* Description : Initialise une instance de conservation d'objets en place. *
* *
* Retour : - *
* *
* Remarques : - *
* *
******************************************************************************/
static void g_object_storage_init(GObjectStorage *storage)
{
storage->tpmem = g_type_memory_new();
storage->hash = NULL;
storage->backends = NULL;
storage->count = 0;
g_mutex_init(&storage->mutex);
}
/******************************************************************************
* *
* Paramètres : storage = instance d'objet GLib à traiter. *
* *
* Description : Supprime toutes les références externes. *
* *
* Retour : - *
* *
* Remarques : - *
* *
******************************************************************************/
static void g_object_storage_dispose(GObjectStorage *storage)
{
g_clear_object(&storage->tpmem);
G_OBJECT_CLASS(g_object_storage_parent_class)->dispose(G_OBJECT(storage));
}
/******************************************************************************
* *
* Paramètres : storage = instance d'objet GLib à traiter. *
* *
* Description : Procède à la libération totale de la mémoire. *
* *
* Retour : - *
* *
* Remarques : - *
* *
******************************************************************************/
static void g_object_storage_finalize(GObjectStorage *storage)
{
size_t i; /* Boucle de parcours */
storage_backend_t *backend; /* Gestionnaire à manipuler */
int ret; /* Bilan d'un appel */
g_mutex_lock(&storage->mutex);
for (i = 0; i < storage->count; i++)
{
backend = &storage->backends[i];
if (backend->fd != -1)
close(backend->fd);
else
assert(false);
ret = access(backend->filename, W_OK);
if (ret == 0)
{
ret = unlink(backend->filename);
if (ret != 0) LOG_ERROR_N("unlink");
}
free(backend->name);
free(backend->filename);
}
if (storage->backends != NULL)
free(storage->backends);
g_mutex_unlock(&storage->mutex);
g_mutex_clear(&storage->mutex);
if (storage->hash != NULL)
free(storage->hash);
G_OBJECT_CLASS(g_object_storage_parent_class)->finalize(G_OBJECT(storage));
}
/******************************************************************************
* *
* Paramètres : loaded = contenu binaire à associer. *
* *
* Description : Crée le support d'une conservation d'objets en place. *
* *
* Retour : Mécanismes mis en place. *
* *
* Remarques : - *
* *
******************************************************************************/
GObjectStorage *g_object_storage_new(const char *hash)
{
GObjectStorage *result; /* Structure à retourner */
result = g_object_new(G_TYPE_OBJECT_STORAGE, NULL);
result->hash = strdup(hash);
return result;
}
/******************************************************************************
* *
* Paramètres : pbuf = zone tampon à lire. *
* *
* Description : Charge le support d'une conservation d'objets en place. *
* *
* Retour : Gestionnaire de conservations construit ou NULL si erreur. *
* *
* Remarques : - *
* *
******************************************************************************/
GObjectStorage *g_object_storage_load(packed_buffer_t *pbuf)
{
GObjectStorage *result; /* Structure à retourner */
char header[6]; /* Entête attendue des données */
bool status; /* Bilan d'une extraction */
rle_string str; /* Chaîne à conserver */
uleb128_t count; /* Nombre de groupes à charger */
uleb128_t i; /* Boucle de parcours */
result = NULL;
status = extract_packed_buffer(pbuf, header, 6, false);
if (!status) goto quick_exit;
if (strncmp(header, STORAGE_MAGIC STORAGE_NUMBER, 6) != 0)
goto quick_exit;
setup_empty_rle_string(&str);
status = unpack_rle_string(&str, pbuf);
if (!status) goto quick_exit;
if (get_rle_string(&str) == NULL)
{
exit_rle_string(&str);
goto quick_exit;
}
result = g_object_new(G_TYPE_OBJECT_STORAGE, NULL);
result->hash = strdup(get_rle_string(&str));
exit_rle_string(&str);
status = g_type_memory_load_types(result->tpmem, pbuf);
if (!status) goto exit_while_loading;
status = unpack_uleb128(&count, pbuf);
for (i = 0; i < count && status; i++)
status = g_object_storage_load_backend(result, pbuf);
exit_while_loading:
if (!status)
{
g_object_unref(G_OBJECT(result));
result = NULL;
}
quick_exit:
return result;
}
/******************************************************************************
* *
* Paramètres : storage = gestionnaire de conservations à manipuler. *
* pbuf = zone tampon à remplir. [OUT] *
* *
* Description : Sauvegarde le support d'une conservation d'objets en place. *
* *
* Retour : Bilan de l'opération. *
* *
* Remarques : - *
* *
******************************************************************************/
bool g_object_storage_store(GObjectStorage *storage, packed_buffer_t *pbuf)
{
bool result; /* Bilan à retourner */
rle_string str; /* Chaîne à conserver */
size_t i; /* Boucle de parcours */
result = extend_packed_buffer(pbuf, STORAGE_MAGIC STORAGE_NUMBER, 6, false);
if (result)
{
init_static_rle_string(&str, storage->hash);
result = pack_rle_string(&str, pbuf);
exit_rle_string(&str);
}
g_mutex_lock(&storage->mutex);
if (result)
result = g_type_memory_store_types(storage->tpmem, pbuf);
if (result)
result = pack_uleb128((uleb128_t []){ storage->count }, pbuf);
for (i = 0; i < storage->count && result; i++)
result = pack_storage_backend(&storage->backends[i], pbuf);
g_mutex_unlock(&storage->mutex);
return result;
}
/******************************************************************************
* *
* Paramètres : storage = gestionnaire de conservations à compléter. *
* name = désignation d'un nouveau groupe d'objets. *
* *
* Description : Retrouve l'encadrement pour un nouveau groupe d'objets. *
* *
* Retour : Informations liées à un groupe ou NULL en cas d'échec. *
* *
* Remarques : - *
* *
******************************************************************************/
static storage_backend_t *g_object_storage_find_backend(GObjectStorage *storage, const char *name)
{
storage_backend_t *result; /* Encadrement à retourner */
size_t i; /* Boucle de parcours */
assert(!g_mutex_trylock(&storage->mutex));
for (i = 0; i < storage->count; i++)
if (strcmp(storage->backends[i].name, name) == 0)
break;
if (i == storage->count)
result = NULL;
else
result = &storage->backends[i];
return result;
}
/******************************************************************************
* *
* Paramètres : storage = gestionnaire de conservations à compléter. *
* name = désignation d'un nouveau groupe d'objets. *
* backend = support mis en place pour les enregistrements. *
* *
* Description : Ajoute le support d'un nouveau groupe d'objets construits. *
* *
* Retour : Bilan de l'opération. *
* *
* Remarques : - *
* *
******************************************************************************/
static bool g_object_storage_add_backend(GObjectStorage *storage, const char *name, storage_backend_t **backend)
{
bool result; /* Bilan à retourner */
char *prefix; /* Début de nom de fichier */
char *filename; /* Chemin d'accès aux données */
int fd; /* Descripteur de flux ouvert */
result = false;
*backend = NULL;
assert(!g_mutex_trylock(&storage->mutex));
if (g_object_storage_find_backend(storage, name) != NULL)
goto exit;
/* Préparatifs */
asprintf(&prefix, "%s-%s", storage->hash, name);
fd = make_tmp_file(prefix, "cache", &filename);
free(prefix);
if (fd == -1)
goto exit;
/* Inscription en bonne et due forme */
storage->backends = realloc(storage->backends, ++storage->count * sizeof(storage_backend_t));
*backend = &storage->backends[storage->count - 1];
(*backend)->name = strdup(name);
(*backend)->filename = filename;
(*backend)->fd = fd;
result = true;
exit:
return result;
}
/******************************************************************************
* *
* Paramètres : storage = gestionnaire de conservations à compléter. *
* pbuf = zone tampon à lire. *
* *
* Description : Extrait d'un tampon des enregistrements spécifiques. *
* *
* Retour : Bilan de l'opération. *
* *
* Remarques : - *
* *
******************************************************************************/
static bool g_object_storage_load_backend(GObjectStorage *storage, packed_buffer_t *pbuf)
{
bool result; /* Bilan à retourner */
rle_string str; /* Chaîne à conserver */
bool status; /* Bilan de lecture de contenu */
storage_backend_t *backend; /* Informations à intégrer */
uleb128_t length; /* Taille des données à charger*/
off_t moved; /* Nouvelle position établie */
result = false;
g_mutex_lock(&storage->mutex);
/* Récupération du nom et création du support */
setup_empty_rle_string(&str);
status = unpack_rle_string(&str, pbuf);
if (!status) goto exit;
if (get_rle_string(&str) == NULL)
{
exit_rle_string(&str);
goto exit;
}
status = g_object_storage_add_backend(storage, get_rle_string(&str), &backend);
exit_rle_string(&str);
if (!status) goto exit;
/* Récupération du contenu */
status = unpack_uleb128(&length, pbuf);
if (!status) goto exit;
status = safe_write(backend->fd, pbuf->data + pbuf->pos, length);
if (!status) goto exit;
advance_packed_buffer(pbuf, length);
moved = lseek(backend->fd, 0, SEEK_SET);
if (moved == ((off_t)-1))
{
LOG_ERROR_N("lseek");
goto exit;
}
result = true;
exit:
g_mutex_unlock(&storage->mutex);
return result;
}
/******************************************************************************
* *
* Paramètres : backend = stockage des enregistrements spécifiques. *
* pbuf = zone tampon à remplir. [OUT] *
* *
* Description : Place dans un tampon les données liées à des enregistrements.*
* *
* Retour : Bilan de l'opération. *
* *
* Remarques : - *
* *
******************************************************************************/
static bool pack_storage_backend(const storage_backend_t *backend, packed_buffer_t *pbuf)
{
bool result; /* Bilan à retourner */
rle_string str; /* Chaîne à conserver */
bool status; /* Bilan de lecture de contenu */
off_t current; /* Position courante */
off_t moved; /* Nouvelle position établie */
void *data; /* Données à transférer */
result = false;
/* Inscription du nom */
init_static_rle_string(&str, backend->name);
status = pack_rle_string(&str, pbuf);
exit_rle_string(&str);
if (!status) goto exit;
/* Inscription du contenu */
current = lseek(backend->fd, 0, SEEK_CUR);
if (current == ((off_t)-1))
{
LOG_ERROR_N("lseek");
goto exit;
}
moved = lseek(backend->fd, 0, SEEK_SET);
if (moved == ((off_t)-1))
{
LOG_ERROR_N("lseek");
goto exit;
}
data = malloc(current);
if (data == NULL)
{
LOG_ERROR_N("malloc");
goto restore;
}
status = safe_read(backend->fd, data, current);
if (!status) goto free_mem;
status = pack_uleb128((uleb128_t []){ current }, pbuf);
if (!status) goto free_mem;
status = extend_packed_buffer(pbuf, data, current, false);
free_mem:
free(data);
restore:
moved = lseek(backend->fd, current, SEEK_SET);
if (moved == ((off_t)-1))
{
LOG_ERROR_N("lseek");
goto exit;
}
result = status;
exit:
return result;
}
/******************************************************************************
* *
* Paramètres : storage = gestionnaire à manipuler. *
* name = désignation d'un nouveau groupe d'objets. *
* pos = tête de lecture avant écriture. *
* *
* Description : Charge un objet à partir de données rassemblées. *
* *
* Retour : Objet restauré en mémoire ou NULL en cas d'échec. *
* *
* Remarques : - *
* *
******************************************************************************/
GSerializableObject *g_object_storage_load_object(GObjectStorage *storage, const char *name, off64_t pos)
{
GSerializableObject *result; /* Instance à retourner */
bool status; /* Bilan d'une opération */
storage_backend_t *backend; /* Informations à consulter */
packed_buffer_t pbuf; /* Tampon des données à lire */
off64_t new; /* Nouvelle position de lecture*/
result = NULL;
/* Chargement */
status = false;
g_mutex_lock(&storage->mutex);
backend = g_object_storage_find_backend(storage, name);
if (backend != NULL)
{
new = lseek64(backend->fd, pos, SEEK_SET);
if (new == pos)
{
init_packed_buffer(&pbuf);
status = read_packed_buffer(&pbuf, backend->fd);
}
}
g_mutex_unlock(&storage->mutex);
if (!status)
goto exit;
/* Phase de conversion */
result = G_SERIALIZABLE_OBJECT(g_type_memory_create_object(storage->tpmem, &pbuf));
if (result)
{
status = g_serializable_object_load(result, storage, &pbuf);
if (!status)
g_clear_object(&result);
}
exit_packed_buffer(&pbuf);
exit:
return result;
}
/******************************************************************************
* *
* Paramètres : storage = gestionnaire à manipuler. *
* name = désignation d'un nouveau groupe d'objets. *
* pbuf = zone tampon à parcourir. *
* *
* Description : Charge un objet interne à partir de données rassemblées. *
* *
* Retour : Objet restauré en mémoire ou NULL en cas d'échec. *
* *
* Remarques : - *
* *
******************************************************************************/
GSerializableObject *g_object_storage_unpack_object(GObjectStorage *storage, const char *name, packed_buffer_t *pbuf)
{
GSerializableObject *result; /* Instance à retourner */
uint64_t pos; /* Localisation des données */
bool status; /* Bilan d'une opération */
result = NULL;
status = extract_packed_buffer(pbuf, &pos, sizeof(uint64_t), true);
if (status)
result = g_object_storage_load_object(storage, name, pos);
return result;
}
/******************************************************************************
* *
* Paramètres : storage = gestionnaire à manipuler. *
* name = désignation d'un nouveau groupe d'objets. *
* pbuf = zone tampon à parcourir. *
* expected = type d'objet attendu. *
* ... = élément restauré ou NULL en cas d'échec. [OUT] *
* *
* Description : Charge un objet interne à partir de données rassemblées. *
* *
* Retour : Bilan de l'opération. *
* *
* Remarques : - *
* *
******************************************************************************/
bool g_object_storage_unpack_object_2(GObjectStorage *storage, const char *name, packed_buffer_t *pbuf, GType expected, ...)
{
bool result; /* Bilan d'une opération */
uint64_t pos; /* Localisation des données */
GSerializableObject *instance; /* Objet rechargé à valider */
va_list ap; /* Liste d'arguments variables */
void **object; /* Lieu d'enregistrement final */
result = extract_packed_buffer(pbuf, &pos, sizeof(uint64_t), true);
if (result)
{
if (pos == 0)
*object = NULL;
else
{
instance = g_object_storage_load_object(storage, name, pos);
result = G_TYPE_CHECK_INSTANCE_TYPE(instance, expected);
if (result)
{
va_start(ap, expected);
object = va_arg(ap, void **);
*object = instance;
va_end(ap);
}
else
g_clear_object(&instance);
}
}
return result;
}
/******************************************************************************
* *
* Paramètres : storage = gestionnaire à manipuler. *
* name = désignation d'un nouveau groupe d'objets. *
* object = objet sérialisable à traiter. *
* pos = tête de lecture avant écriture. [OUT] *
* *
* Description : Sauvegarde un object sous forme de données rassemblées. *
* *
* Retour : Bilan de l'opération. *
* *
* Remarques : - *
* *
******************************************************************************/
bool g_object_storage_store_object(GObjectStorage *storage, const char *name, const GSerializableObject *object, off64_t *pos)
{
bool result; /* Bilan à retourner */
packed_buffer_t pbuf; /* Tampon des données à écrire */
storage_backend_t *backend; /* Informations à consulter */
off64_t tmp; /* Conservation éphémère */
/* Phase de conversion */
init_packed_buffer(&pbuf);
result = g_type_memory_store_object_gtype(storage->tpmem, G_OBJECT(object), &pbuf);
if (!result) goto exit;
result = g_serializable_object_store(object, storage, &pbuf);
if (!result) goto exit;
/* Enregistrement */
result = false;
g_mutex_lock(&storage->mutex);
backend = g_object_storage_find_backend(storage, name);
if (backend == NULL)
g_object_storage_add_backend(storage, name, &backend);
if (backend != NULL)
{
if (pos == NULL)
pos = &tmp;
*pos = lseek64(backend->fd, 0, SEEK_CUR);
if (*pos != (off64_t)-1)
result = write_packed_buffer(&pbuf, backend->fd);
}
g_mutex_unlock(&storage->mutex);
/* Sortie propre */
exit:
exit_packed_buffer(&pbuf);
return result;
}
/******************************************************************************
* *
* Paramètres : storage = gestionnaire à manipuler. *
* name = désignation d'un nouveau groupe d'objets. *
* pbuf = zone tampon à remplir. *
* *
* Description : Sauvegarde un object interne sous forme de données. *
* *
* Retour : Bilan de l'opération. *
* *
* Remarques : - *
* *
******************************************************************************/
bool g_object_storage_pack_object(GObjectStorage *storage, const char *name, const GSerializableObject *object, packed_buffer_t *pbuf)
{
bool result; /* Bilan à retourner */
off64_t pos; /* Localisation des données */
if (object == NULL)
result = extend_packed_buffer(pbuf, (uint64_t []){ 0 }, sizeof(uint64_t), true);
else
{
result = g_object_storage_store_object(storage, name, object, &pos);
if (result)
result = extend_packed_buffer(pbuf, (uint64_t []){ pos }, sizeof(uint64_t), true);
}
return result;
}