summaryrefslogtreecommitdiff
path: root/src/glibext/storage.c
diff options
context:
space:
mode:
Diffstat (limited to 'src/glibext/storage.c')
-rw-r--r--src/glibext/storage.c867
1 files changed, 867 insertions, 0 deletions
diff --git a/src/glibext/storage.c b/src/glibext/storage.c
new file mode 100644
index 0000000..610a0f6
--- /dev/null
+++ b/src/glibext/storage.c
@@ -0,0 +1,867 @@
+
+/* Chrysalide - Outil d'analyse de fichiers binaires
+ * storage.c - conservation hors mémoire d'objets choisis
+ *
+ * Copyright (C) 2020 Cyrille Bagard
+ *
+ * This file is part of Chrysalide.
+ *
+ * Chrysalide is free software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License as published by
+ * the Free Software Foundation; either version 3 of the License, or
+ * (at your option) any later version.
+ *
+ * Chrysalide is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
+ * GNU General Public License for more details.
+ *
+ * You should have received a copy of the GNU General Public License
+ * along with Foobar. If not, see <http://www.gnu.org/licenses/>.
+ */
+
+
+#include "storage.h"
+
+
+#include <assert.h>
+#include <malloc.h>
+#include <string.h>
+#include <unistd.h>
+#include <stdarg.h>
+
+
+#include "storage-int.h"
+#include "../db/misc/rlestr.h"
+#include "../../common/io.h"
+#include "../../common/leb128.h"
+#include "../../common/pathname.h"
+#include "../../core/logs.h"
+
+
+
+#define STORAGE_MAGIC "CSTR"
+#define STORAGE_NUMBER "\x00\x01"
+
+
+/* Initialise la classe des conservations d'objets en place. */
+static void g_object_storage_class_init(GObjectStorageClass *);
+
+/* Initialise une instance de conservation d'objets en place. */
+static void g_object_storage_init(GObjectStorage *);
+
+/* Supprime toutes les références externes. */
+static void g_object_storage_dispose(GObjectStorage *);
+
+/* Procède à la libération totale de la mémoire. */
+static void g_object_storage_finalize(GObjectStorage *);
+
+/* Retrouve l'encadrement pour un nouveau groupe d'objets. */
+static storage_backend_t *g_object_storage_find_backend(GObjectStorage *, const char *);
+
+/* Ajoute le support d'un nouveau groupe d'objets construits. */
+static bool g_object_storage_add_backend(GObjectStorage *, const char *, storage_backend_t **);
+
+/* Extrait d'un tampon des enregistrements spécifiques. */
+static bool g_object_storage_load_backend(GObjectStorage *, packed_buffer_t *);
+
+/* Place dans un tampon les données liées à des enregistrements. */
+static bool pack_storage_backend(const storage_backend_t *, packed_buffer_t *);
+
+
+
+/* Indique le type défini pour une conservation d'objets construits. */
+G_DEFINE_TYPE(GObjectStorage, g_object_storage, G_TYPE_OBJECT);
+
+
+/******************************************************************************
+* *
+* Paramètres : klass = classe à initialiser. *
+* *
+* Description : Initialise la classe des conservations d'objets en place. *
+* *
+* Retour : - *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+static void g_object_storage_class_init(GObjectStorageClass *klass)
+{
+ GObjectClass *object; /* Autre version de la classe */
+
+ object = G_OBJECT_CLASS(klass);
+
+ object->dispose = (GObjectFinalizeFunc/* ! */)g_object_storage_dispose;
+ object->finalize = (GObjectFinalizeFunc)g_object_storage_finalize;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = instance à initialiser. *
+* *
+* Description : Initialise une instance de conservation d'objets en place. *
+* *
+* Retour : - *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+static void g_object_storage_init(GObjectStorage *storage)
+{
+ storage->tpmem = g_type_memory_new();
+
+ storage->hash = NULL;
+
+ storage->backends = NULL;
+ storage->count = 0;
+ g_mutex_init(&storage->mutex);
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = instance d'objet GLib à traiter. *
+* *
+* Description : Supprime toutes les références externes. *
+* *
+* Retour : - *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+static void g_object_storage_dispose(GObjectStorage *storage)
+{
+ g_clear_object(&storage->tpmem);
+
+ G_OBJECT_CLASS(g_object_storage_parent_class)->dispose(G_OBJECT(storage));
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = instance d'objet GLib à traiter. *
+* *
+* Description : Procède à la libération totale de la mémoire. *
+* *
+* Retour : - *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+static void g_object_storage_finalize(GObjectStorage *storage)
+{
+ size_t i; /* Boucle de parcours */
+ storage_backend_t *backend; /* Gestionnaire à manipuler */
+ int ret; /* Bilan d'un appel */
+
+ g_mutex_lock(&storage->mutex);
+
+ for (i = 0; i < storage->count; i++)
+ {
+ backend = &storage->backends[i];
+
+ if (backend->fd != -1)
+ close(backend->fd);
+ else
+ assert(false);
+
+ ret = access(backend->filename, W_OK);
+ if (ret == 0)
+ {
+ ret = unlink(backend->filename);
+ if (ret != 0) LOG_ERROR_N("unlink");
+ }
+
+ free(backend->name);
+
+ free(backend->filename);
+
+ }
+
+ if (storage->backends != NULL)
+ free(storage->backends);
+
+ g_mutex_unlock(&storage->mutex);
+
+ g_mutex_clear(&storage->mutex);
+
+ if (storage->hash != NULL)
+ free(storage->hash);
+
+ G_OBJECT_CLASS(g_object_storage_parent_class)->finalize(G_OBJECT(storage));
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : loaded = contenu binaire à associer. *
+* *
+* Description : Crée le support d'une conservation d'objets en place. *
+* *
+* Retour : Mécanismes mis en place. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+GObjectStorage *g_object_storage_new(const char *hash)
+{
+ GObjectStorage *result; /* Structure à retourner */
+
+ result = g_object_new(G_TYPE_OBJECT_STORAGE, NULL);
+
+ result->hash = strdup(hash);
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : pbuf = zone tampon à lire. *
+* *
+* Description : Charge le support d'une conservation d'objets en place. *
+* *
+* Retour : Gestionnaire de conservations construit ou NULL si erreur. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+GObjectStorage *g_object_storage_load(packed_buffer_t *pbuf)
+{
+ GObjectStorage *result; /* Structure à retourner */
+ char header[6]; /* Entête attendue des données */
+ bool status; /* Bilan d'une extraction */
+ rle_string str; /* Chaîne à conserver */
+ uleb128_t count; /* Nombre de groupes à charger */
+ uleb128_t i; /* Boucle de parcours */
+
+ result = NULL;
+
+ status = extract_packed_buffer(pbuf, header, 6, false);
+ if (!status) goto quick_exit;
+
+ if (strncmp(header, STORAGE_MAGIC STORAGE_NUMBER, 6) != 0)
+ goto quick_exit;
+
+ setup_empty_rle_string(&str);
+
+ status = unpack_rle_string(&str, pbuf);
+ if (!status) goto quick_exit;
+
+ if (get_rle_string(&str) == NULL)
+ {
+ exit_rle_string(&str);
+ goto quick_exit;
+ }
+
+ result = g_object_new(G_TYPE_OBJECT_STORAGE, NULL);
+
+ result->hash = strdup(get_rle_string(&str));
+
+ exit_rle_string(&str);
+
+ status = g_type_memory_load_types(result->tpmem, pbuf);
+ if (!status) goto exit_while_loading;
+
+ status = unpack_uleb128(&count, pbuf);
+
+ for (i = 0; i < count && status; i++)
+ status = g_object_storage_load_backend(result, pbuf);
+
+ exit_while_loading:
+
+ if (!status)
+ {
+ g_object_unref(G_OBJECT(result));
+ result = NULL;
+ }
+
+ quick_exit:
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = gestionnaire de conservations à manipuler. *
+* pbuf = zone tampon à remplir. [OUT] *
+* *
+* Description : Sauvegarde le support d'une conservation d'objets en place. *
+* *
+* Retour : Bilan de l'opération. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+bool g_object_storage_store(GObjectStorage *storage, packed_buffer_t *pbuf)
+{
+ bool result; /* Bilan à retourner */
+ rle_string str; /* Chaîne à conserver */
+ size_t i; /* Boucle de parcours */
+
+ result = extend_packed_buffer(pbuf, STORAGE_MAGIC STORAGE_NUMBER, 6, false);
+
+ if (result)
+ {
+ init_static_rle_string(&str, storage->hash);
+
+ result = pack_rle_string(&str, pbuf);
+
+ exit_rle_string(&str);
+
+ }
+
+ g_mutex_lock(&storage->mutex);
+
+ if (result)
+ result = g_type_memory_store_types(storage->tpmem, pbuf);
+
+ if (result)
+ result = pack_uleb128((uleb128_t []){ storage->count }, pbuf);
+
+ for (i = 0; i < storage->count && result; i++)
+ result = pack_storage_backend(&storage->backends[i], pbuf);
+
+ g_mutex_unlock(&storage->mutex);
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = gestionnaire de conservations à compléter. *
+* name = désignation d'un nouveau groupe d'objets. *
+* *
+* Description : Retrouve l'encadrement pour un nouveau groupe d'objets. *
+* *
+* Retour : Informations liées à un groupe ou NULL en cas d'échec. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+static storage_backend_t *g_object_storage_find_backend(GObjectStorage *storage, const char *name)
+{
+ storage_backend_t *result; /* Encadrement à retourner */
+ size_t i; /* Boucle de parcours */
+
+ assert(!g_mutex_trylock(&storage->mutex));
+
+ for (i = 0; i < storage->count; i++)
+ if (strcmp(storage->backends[i].name, name) == 0)
+ break;
+
+ if (i == storage->count)
+ result = NULL;
+ else
+ result = &storage->backends[i];
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = gestionnaire de conservations à compléter. *
+* name = désignation d'un nouveau groupe d'objets. *
+* backend = support mis en place pour les enregistrements. *
+* *
+* Description : Ajoute le support d'un nouveau groupe d'objets construits. *
+* *
+* Retour : Bilan de l'opération. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+static bool g_object_storage_add_backend(GObjectStorage *storage, const char *name, storage_backend_t **backend)
+{
+ bool result; /* Bilan à retourner */
+ char *prefix; /* Début de nom de fichier */
+ char *filename; /* Chemin d'accès aux données */
+ int fd; /* Descripteur de flux ouvert */
+
+ result = false;
+
+ *backend = NULL;
+
+ assert(!g_mutex_trylock(&storage->mutex));
+
+ if (g_object_storage_find_backend(storage, name) != NULL)
+ goto exit;
+
+ /* Préparatifs */
+
+ asprintf(&prefix, "%s-%s", storage->hash, name);
+
+ fd = make_tmp_file(prefix, "cache", &filename);
+
+ free(prefix);
+
+ if (fd == -1)
+ goto exit;
+
+ /* Inscription en bonne et due forme */
+
+ storage->backends = realloc(storage->backends, ++storage->count * sizeof(storage_backend_t));
+
+ *backend = &storage->backends[storage->count - 1];
+
+ (*backend)->name = strdup(name);
+
+ (*backend)->filename = filename;
+ (*backend)->fd = fd;
+
+ result = true;
+
+ exit:
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = gestionnaire de conservations à compléter. *
+* pbuf = zone tampon à lire. *
+* *
+* Description : Extrait d'un tampon des enregistrements spécifiques. *
+* *
+* Retour : Bilan de l'opération. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+static bool g_object_storage_load_backend(GObjectStorage *storage, packed_buffer_t *pbuf)
+{
+ bool result; /* Bilan à retourner */
+ rle_string str; /* Chaîne à conserver */
+ bool status; /* Bilan de lecture de contenu */
+ storage_backend_t *backend; /* Informations à intégrer */
+ uleb128_t length; /* Taille des données à charger*/
+ off_t moved; /* Nouvelle position établie */
+
+ result = false;
+
+ g_mutex_lock(&storage->mutex);
+
+ /* Récupération du nom et création du support */
+
+ setup_empty_rle_string(&str);
+
+ status = unpack_rle_string(&str, pbuf);
+ if (!status) goto exit;
+
+ if (get_rle_string(&str) == NULL)
+ {
+ exit_rle_string(&str);
+ goto exit;
+ }
+
+ status = g_object_storage_add_backend(storage, get_rle_string(&str), &backend);
+
+ exit_rle_string(&str);
+
+ if (!status) goto exit;
+
+ /* Récupération du contenu */
+
+ status = unpack_uleb128(&length, pbuf);
+ if (!status) goto exit;
+
+ status = safe_write(backend->fd, pbuf->data + pbuf->pos, length);
+ if (!status) goto exit;
+
+ advance_packed_buffer(pbuf, length);
+
+ moved = lseek(backend->fd, 0, SEEK_SET);
+ if (moved == ((off_t)-1))
+ {
+ LOG_ERROR_N("lseek");
+ goto exit;
+ }
+
+ result = true;
+
+ exit:
+
+ g_mutex_unlock(&storage->mutex);
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : backend = stockage des enregistrements spécifiques. *
+* pbuf = zone tampon à remplir. [OUT] *
+* *
+* Description : Place dans un tampon les données liées à des enregistrements.*
+* *
+* Retour : Bilan de l'opération. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+static bool pack_storage_backend(const storage_backend_t *backend, packed_buffer_t *pbuf)
+{
+ bool result; /* Bilan à retourner */
+ rle_string str; /* Chaîne à conserver */
+ bool status; /* Bilan de lecture de contenu */
+ off_t current; /* Position courante */
+ off_t moved; /* Nouvelle position établie */
+ void *data; /* Données à transférer */
+
+ result = false;
+
+ /* Inscription du nom */
+
+ init_static_rle_string(&str, backend->name);
+
+ status = pack_rle_string(&str, pbuf);
+
+ exit_rle_string(&str);
+
+ if (!status) goto exit;
+
+ /* Inscription du contenu */
+
+ current = lseek(backend->fd, 0, SEEK_CUR);
+ if (current == ((off_t)-1))
+ {
+ LOG_ERROR_N("lseek");
+ goto exit;
+ }
+
+ moved = lseek(backend->fd, 0, SEEK_SET);
+ if (moved == ((off_t)-1))
+ {
+ LOG_ERROR_N("lseek");
+ goto exit;
+ }
+
+ data = malloc(current);
+ if (data == NULL)
+ {
+ LOG_ERROR_N("malloc");
+ goto restore;
+ }
+
+ status = safe_read(backend->fd, data, current);
+ if (!status) goto free_mem;
+
+ status = pack_uleb128((uleb128_t []){ current }, pbuf);
+ if (!status) goto free_mem;
+
+ status = extend_packed_buffer(pbuf, data, current, false);
+
+ free_mem:
+
+ free(data);
+
+ restore:
+
+ moved = lseek(backend->fd, current, SEEK_SET);
+ if (moved == ((off_t)-1))
+ {
+ LOG_ERROR_N("lseek");
+ goto exit;
+ }
+
+ result = status;
+
+ exit:
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = gestionnaire à manipuler. *
+* name = désignation d'un nouveau groupe d'objets. *
+* pos = tête de lecture avant écriture. *
+* *
+* Description : Charge un objet à partir de données rassemblées. *
+* *
+* Retour : Objet restauré en mémoire ou NULL en cas d'échec. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+GSerializableObject *g_object_storage_load_object(GObjectStorage *storage, const char *name, off64_t pos)
+{
+ GSerializableObject *result; /* Instance à retourner */
+ bool status; /* Bilan d'une opération */
+ storage_backend_t *backend; /* Informations à consulter */
+ packed_buffer_t pbuf; /* Tampon des données à lire */
+ off64_t new; /* Nouvelle position de lecture*/
+
+ result = NULL;
+
+ /* Chargement */
+
+ status = false;
+
+ g_mutex_lock(&storage->mutex);
+
+ backend = g_object_storage_find_backend(storage, name);
+
+ if (backend != NULL)
+ {
+ new = lseek64(backend->fd, pos, SEEK_SET);
+
+ if (new == pos)
+ {
+ init_packed_buffer(&pbuf);
+ status = read_packed_buffer(&pbuf, backend->fd);
+ }
+
+ }
+
+ g_mutex_unlock(&storage->mutex);
+
+ if (!status)
+ goto exit;
+
+ /* Phase de conversion */
+
+ result = G_SERIALIZABLE_OBJECT(g_type_memory_create_object(storage->tpmem, &pbuf));
+
+ if (result)
+ {
+ status = g_serializable_object_load(result, storage, &pbuf);
+
+ if (!status)
+ g_clear_object(&result);
+
+ }
+
+ exit_packed_buffer(&pbuf);
+
+ exit:
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = gestionnaire à manipuler. *
+* name = désignation d'un nouveau groupe d'objets. *
+* pbuf = zone tampon à parcourir. *
+* *
+* Description : Charge un objet interne à partir de données rassemblées. *
+* *
+* Retour : Objet restauré en mémoire ou NULL en cas d'échec. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+GSerializableObject *g_object_storage_unpack_object(GObjectStorage *storage, const char *name, packed_buffer_t *pbuf)
+{
+ GSerializableObject *result; /* Instance à retourner */
+ uint64_t pos; /* Localisation des données */
+ bool status; /* Bilan d'une opération */
+
+ result = NULL;
+
+ status = extract_packed_buffer(pbuf, &pos, sizeof(uint64_t), true);
+
+ if (status)
+ result = g_object_storage_load_object(storage, name, pos);
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = gestionnaire à manipuler. *
+* name = désignation d'un nouveau groupe d'objets. *
+* pbuf = zone tampon à parcourir. *
+* expected = type d'objet attendu. *
+* ... = élément restauré ou NULL en cas d'échec. [OUT] *
+* *
+* Description : Charge un objet interne à partir de données rassemblées. *
+* *
+* Retour : Bilan de l'opération. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+bool g_object_storage_unpack_object_2(GObjectStorage *storage, const char *name, packed_buffer_t *pbuf, GType expected, ...)
+{
+ bool result; /* Bilan d'une opération */
+ uint64_t pos; /* Localisation des données */
+ GSerializableObject *instance; /* Objet rechargé à valider */
+ va_list ap; /* Liste d'arguments variables */
+ void **object; /* Lieu d'enregistrement final */
+
+ result = extract_packed_buffer(pbuf, &pos, sizeof(uint64_t), true);
+
+ if (result)
+ {
+ if (pos == 0)
+ *object = NULL;
+
+ else
+ {
+ instance = g_object_storage_load_object(storage, name, pos);
+
+ result = G_TYPE_CHECK_INSTANCE_TYPE(instance, expected);
+
+ if (result)
+ {
+ va_start(ap, expected);
+
+ object = va_arg(ap, void **);
+
+ *object = instance;
+
+ va_end(ap);
+
+ }
+
+ else
+ g_clear_object(&instance);
+
+ }
+
+ }
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = gestionnaire à manipuler. *
+* name = désignation d'un nouveau groupe d'objets. *
+* object = objet sérialisable à traiter. *
+* pos = tête de lecture avant écriture. [OUT] *
+* *
+* Description : Sauvegarde un object sous forme de données rassemblées. *
+* *
+* Retour : Bilan de l'opération. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+bool g_object_storage_store_object(GObjectStorage *storage, const char *name, const GSerializableObject *object, off64_t *pos)
+{
+ bool result; /* Bilan à retourner */
+ packed_buffer_t pbuf; /* Tampon des données à écrire */
+ storage_backend_t *backend; /* Informations à consulter */
+ off64_t tmp; /* Conservation éphémère */
+
+ /* Phase de conversion */
+
+ init_packed_buffer(&pbuf);
+
+ result = g_type_memory_store_object_gtype(storage->tpmem, G_OBJECT(object), &pbuf);
+ if (!result) goto exit;
+
+ result = g_serializable_object_store(object, storage, &pbuf);
+ if (!result) goto exit;
+
+ /* Enregistrement */
+
+ result = false;
+
+ g_mutex_lock(&storage->mutex);
+
+ backend = g_object_storage_find_backend(storage, name);
+
+ if (backend == NULL)
+ g_object_storage_add_backend(storage, name, &backend);
+
+ if (backend != NULL)
+ {
+ if (pos == NULL)
+ pos = &tmp;
+
+ *pos = lseek64(backend->fd, 0, SEEK_CUR);
+
+ if (*pos != (off64_t)-1)
+ result = write_packed_buffer(&pbuf, backend->fd);
+
+ }
+
+ g_mutex_unlock(&storage->mutex);
+
+ /* Sortie propre */
+
+ exit:
+
+ exit_packed_buffer(&pbuf);
+
+ return result;
+
+}
+
+
+/******************************************************************************
+* *
+* Paramètres : storage = gestionnaire à manipuler. *
+* name = désignation d'un nouveau groupe d'objets. *
+* pbuf = zone tampon à remplir. *
+* *
+* Description : Sauvegarde un object interne sous forme de données. *
+* *
+* Retour : Bilan de l'opération. *
+* *
+* Remarques : - *
+* *
+******************************************************************************/
+
+bool g_object_storage_pack_object(GObjectStorage *storage, const char *name, const GSerializableObject *object, packed_buffer_t *pbuf)
+{
+ bool result; /* Bilan à retourner */
+ off64_t pos; /* Localisation des données */
+
+ if (object == NULL)
+ result = extend_packed_buffer(pbuf, (uint64_t []){ 0 }, sizeof(uint64_t), true);
+
+ else
+ {
+ result = g_object_storage_store_object(storage, name, object, &pos);
+
+ if (result)
+ result = extend_packed_buffer(pbuf, (uint64_t []){ pos }, sizeof(uint64_t), true);
+
+ }
+
+ return result;
+
+}
generated by cgit v0.11.2-87-g4458 at 2025-03-21 03:21:18 (GMT)