Rewritten the work queue and fixed thread concurrency.

git-svn-id: svn://svn.gna.org/svn/chrysalide/trunk@117 abbe820e-26c8-41b2-8c08-b7b2b41f8b0a

1 files changed, 539 insertions, 23 deletions

diff --git a/src/analysis/binary.c b/src/analysis/binary.c
index c991125..4fe8f06 100644
--- a/src/analysis/binary.c
+++ b/src/analysis/binary.c
@@ -35,13 +35,12 @@
 #include <sys/types.h>
 
 
-#include "delayed.h"
 #include "line_code.h"          /* TODO : supprimer ? */
 #include "line_comment.h"       /* TODO : supprimer ? */
 #include "line_prologue.h"
 #include "prototype.h"
 #include "../common/extstr.h"
-#include "../glibext/delayed.h"
+#include "../glibext/delayed-int.h"
 #include "../format/format.h"
 #include "../panels/log.h"
 #include "../plugins/pglist.h"
@@ -58,6 +57,71 @@
 
 
 
+/* ------------------------ DESASSEMBLAGE DE BINAIRE DIFFERE ------------------------ */
+
+
+#define G_TYPE_DELAYED_DISASSEMBLY               g_delayed_disassembly_get_type()
+#define G_DELAYED_DISASSEMBLY(obj)               (G_TYPE_CHECK_INSTANCE_CAST((obj), g_delayed_disassembly_get_type(), GDelayedDisassembly))
+#define G_IS_DELAYED_DISASSEMBLY(obj)            (G_TYPE_CHECK_INSTANCE_TYPE((obj), g_delayed_disassembly_get_type()))
+#define G_DELAYED_DISASSEMBLY_CLASS(klass)       (G_TYPE_CHECK_CLASS_CAST((klass), G_TYPE_DELAYED_DISASSEMBLY, GDelayedDisassemblyClass))
+#define G_IS_DELAYED_DISASSEMBLY_CLASS(klass)    (G_TYPE_CHECK_CLASS_TYPE((klass), G_TYPE_DELAYED_DISASSEMBLY))
+#define G_DELAYED_DISASSEMBLY_GET_CLASS(obj)     (G_TYPE_INSTANCE_GET_CLASS((obj), G_TYPE_DELAYED_DISASSEMBLY, GDelayedDisassemblyClass))
+
+
+/* Ensembles binaires à désassembler (instance) */
+typedef struct _GDelayedDisassembly
+{
+    GDelayedWork parent;                    /* A laisser en premier        */
+
+    GOpenidaBinary *binary;                 /* Destinataire final          */
+
+    GBinPart **parts;                       /* Parties binaires à traiter  */
+    size_t count;                           /* Nombre de ces parties       */
+
+    GRenderingLine *lines;                  /* Lignes de rendu résultantes */
+
+} GDelayedDisassembly;
+
+/* Ensembles binaires à désassembler (classe) */
+typedef struct _GDelayedDisassemblyClass
+{
+    GDelayedWorkClass parent;               /* A laisser en premier        */
+
+} GDelayedDisassemblyClass;
+
+
+/* Indique le type défini pour les tâches de désassemblage différé. */
+static GType g_delayed_disassembly_get_type(void);
+
+/* Initialise la classe des tâches de désassemblage différé. */
+static void g_delayed_disassembly_class_init(GDelayedDisassemblyClass *);
+
+/* Initialise une tâche de désassemblage différé. */
+static void g_delayed_disassembly_init(GDelayedDisassembly *);
+
+/* Crée une tâche de désassemblage différé. */
+static GDelayedDisassembly *g_delayed_disassembly_new(GOpenidaBinary *, GBinPart **, size_t);
+
+/* Assure le désassemblage en différé. */
+static void g_delayed_disassembly_process(GDelayedDisassembly *, GtkExtStatusBar *);
+
+/* Procède au désassemblage basique d'un contenu binaire. */
+static GRenderingLine *disassemble_binary_parts(GDelayedDisassembly *, GBinRoutine **, size_t, GtkExtStatusBar *, guint);
+
+/* Etablit les liens entres les différentes lignes de code. */
+static void establish_links_between_lines(GRenderingLine *, GBinRoutine **, size_t, GtkExtStatusBar *, guint);
+
+/* S'assure que toutes les routines ont une taille définie. */
+static void limit_all_routines(GRenderingLine *, GBinRoutine **, size_t, GtkExtStatusBar *, guint);
+
+/* Cherche l'adresse de fin d'une routine. */
+static vmpa_t find_best_ending_address_for_routine(GRenderingLine *, size_t, const vmpa_t *, const off_t *, size_t);
+
+
+
+
+
+
 
 /* Description de fichier binaire (instance) */
 struct _GOpenidaBinary
@@ -102,7 +166,470 @@ bin_t *map_binary_file(const char *, off_t *);
 GRenderingLine *build_binary_prologue(const char *, const uint8_t *, off_t);
 
 /* Acquitte la fin d'un désasemblage différé et complet. */
-void ack_completed_disassembly(GDisassManager *, GOpenidaBinary *, GRenderingLine *, GOpenidaBinary *);
+void ack_completed_disassembly(GDelayedDisassembly *, GOpenidaBinary *);
+
+
+
+
+
+
+/* ---------------------------------------------------------------------------------- */
+/*                          DESASSEMBLAGE DE BINAIRE DIFFERE                          */
+/* ---------------------------------------------------------------------------------- */
+
+
+/* Indique le type défini pour les tâches de désassemblage différé. */
+G_DEFINE_TYPE(GDelayedDisassembly, g_delayed_disassembly, G_TYPE_DELAYED_WORK);
+
+
+/******************************************************************************
+*                                                                             *
+*  Paramètres  : klass = classe à initialiser.                                *
+*                                                                             *
+*  Description : Initialise la classe des tâches de désassemblage différé.    *
+*                                                                             *
+*  Retour      : -                                                            *
+*                                                                             *
+*  Remarques   : -                                                            *
+*                                                                             *
+******************************************************************************/
+
+static void g_delayed_disassembly_class_init(GDelayedDisassemblyClass *klass)
+{
+
+}
+
+
+/******************************************************************************
+*                                                                             *
+*  Paramètres  : disass = instance à initialiser.                             *
+*                                                                             *
+*  Description : Initialise une tâche de désassemblage différé.               *
+*                                                                             *
+*  Retour      : -                                                            *
+*                                                                             *
+*  Remarques   : -                                                            *
+*                                                                             *
+******************************************************************************/
+
+static void g_delayed_disassembly_init(GDelayedDisassembly *disass)
+{
+    G_DELAYED_WORK(disass)->run = (run_task_fc)g_delayed_disassembly_process;
+
+}
+
+
+/******************************************************************************
+*                                                                             *
+*  Paramètres  : binary = binaire chargé en attente des résultats.            *
+*                parts  = parties binaires à désassembler.                    *
+*                count  = nombre de parties à traiter.                        *
+*                                                                             *
+*  Description : Crée une tâche de désassemblage différé.                     *
+*                                                                             *
+*  Retour      : Tâche créée.                                                 *
+*                                                                             *
+*  Remarques   : -                                                            *
+*                                                                             *
+******************************************************************************/
+
+static GDelayedDisassembly *g_delayed_disassembly_new(GOpenidaBinary *binary, GBinPart **parts, size_t count)
+{
+    GDelayedDisassembly *result;            /* Tâche à retourner           */
+
+    result = g_object_new(G_TYPE_DELAYED_DISASSEMBLY, NULL);
+
+    result->binary = binary;
+
+    result->parts = parts;
+    result->count = count;
+
+    return result;
+
+}
+
+
+/******************************************************************************
+*                                                                             *
+*  Paramètres  : disass    = analyse à mener.                                 *
+*                statusbar = barre de statut à tenir informée.                *
+*                                                                             *
+*  Description : Assure le désassemblage en différé.                          *
+*                                                                             *
+*  Retour      : -                                                            *
+*                                                                             *
+*  Remarques   : -                                                            *
+*                                                                             *
+******************************************************************************/
+
+static void g_delayed_disassembly_process(GDelayedDisassembly *disass, GtkExtStatusBar *statusbar)
+{
+    GBinRoutine **routines;                 /* Liste des routines trouvées */
+    size_t routines_count;                  /* Nombre de ces routines      */
+    guint id;                               /* Identifiant de statut       */
+
+    routines = g_binary_format_get_routines(G_BIN_FORMAT(disass->binary->format), &routines_count);
+    qsort(routines, routines_count, sizeof(GBinRoutine *), g_binary_routine_rcompare);
+
+    /* Première étape */
+
+    id = gtk_extended_status_bar_push(statusbar, _("Disassembling..."), true);
+
+    disass->lines = disassemble_binary_parts(disass, routines, routines_count, statusbar, id);
+
+    gtk_extended_status_bar_remove(statusbar, id);
+
+    /* Seconde étape */
+
+    id = gtk_extended_status_bar_push(statusbar, _("Establishing links..."), true);
+
+    establish_links_between_lines(disass->lines, routines, routines_count, statusbar, id);
+
+    gtk_extended_status_bar_remove(statusbar, id);
+
+    /* Troisième  étape */
+
+    id = gtk_extended_status_bar_push(statusbar, _("Finding remaining limits..."), true);
+
+    limit_all_routines(disass->lines, routines, routines_count, statusbar, id);
+
+    gtk_extended_status_bar_remove(statusbar, id);
+
+}
+
+
+/******************************************************************************
+*                                                                             *
+*  Paramètres  : disass    = tâche à l'origine du traitement.                 *
+*                routines  = prototypes existants à insérer.                  *
+*                count     = quantité de ces prototypes.                      *
+*                statusbar = barre de statut avec progression à mettre à jour.*
+*                id        = identifiant du message affiché à l'utilisateur.  *
+*                                                                             *
+*  Description : Procède au désassemblage basique d'un contenu binaire.       *
+*                                                                             *
+*  Retour      : -                                                            *
+*                                                                             *
+*  Remarques   : -                                                            *
+*                                                                             *
+******************************************************************************/
+
+static GRenderingLine *disassemble_binary_parts(GDelayedDisassembly *disass, GBinRoutine **routines, size_t count, GtkExtStatusBar *statusbar, guint id)
+{
+    GRenderingLine *result;                 /* Ligne de rendu à retourner  */
+    GArchProcessor *proc;                   /* Architecture du binaire     */
+    GRenderingOptions *options;             /* Options de désassemblage    */
+    bin_t *bin_data;                        /* Données binaires à lire     */
+    size_t i;                               /* Boucle de parcours #1       */
+    off_t sum;                              /* Somme de toutes les tailles */
+    off_t done;                             /* Quantité déjà traitée       */
+    off_t pos;                              /* Début d'une zone binaire    */
+    off_t len;                              /* Taille de cette même zone   */
+    vmpa_t base;                            /* Adresse de la zone binaire  */
+    off_t start;                            /* Conservation du pt de départ*/
+    vmpa_t addr;                            /* Adresse d'une instruction   */
+    GArchInstruction *instr;                /* Instruction décodée         */
+    GRenderingLine *line;                   /* Nouvelle ligne de rendu     */
+    size_t k;                               /* Boucle de parcours #2       */
+    uint64_t routine_offset;                /* Point de départ de routine  */
+    char *routine_desc;                     /* Prototype d'une routine     */
+
+    result = NULL;
+
+    proc = get_arch_processor_from_format(g_openida_binary_get_format(disass->binary));
+    options = g_openida_binary_get_options(disass->binary);
+    bin_data = g_openida_binary_get_data(disass->binary, NULL);
+
+    /* Préparation du suivi de la progression */
+
+    sum = 0;
+
+    for (i = 0; i < disass->count; i++)
+    {
+        g_binary_part_get_values(disass->parts[i], NULL, &len, NULL);
+        sum += len;
+    }
+
+    done = 0;
+
+    for (i = 0; i < disass->count; i++)
+    {
+        g_binary_part_get_values(disass->parts[i], &pos, &len, &base);
+
+        /* Décodage des instructions */
+
+        start = pos;
+        pos = 0;
+
+        while (pos < len)
+        {
+            addr = base + pos;
+
+            instr = g_arch_processor_decode_instruction(proc, &bin_data[start],
+                                                        &pos, len, start, addr);
+
+            line = g_code_line_new(addr, instr, options);
+            g_rendering_line_add_to_lines(&result, line);
+
+            if (pos < len)
+                gtk_extended_status_bar_update_activity(statusbar, id, (done + pos) * 1.0 / sum);
+
+        }
+
+        done += len;
+        gtk_extended_status_bar_update_activity(statusbar, id, done * 1.0 / sum);
+
+        /* Ajout des prototypes de fonctions */
+
+        for (k = 0; k < count; k++)
+        {
+            routine_offset = g_binary_routine_get_address(routines[k]);
+
+            if (!(base <= routine_offset && routine_offset < (base + len))) continue;
+
+            routine_desc = g_binary_routine_to_string(routines[k]);
+
+            line = g_comment_line_new(routine_offset, routine_desc, options);
+            g_rendering_line_insert_into_lines(&result, line, true);
+
+            free(routine_desc);
+
+        }
+
+    }
+
+    return result;
+
+}
+
+
+/******************************************************************************
+*                                                                             *
+*  Paramètres  : lines     = lignes de rendu à relier.                        *
+*                routines  = prototypes existants à insérer.                  *
+*                count     = quantité de ces prototypes.                      *
+*                statusbar = barre de statut avec progression à mettre à jour.*
+*                id        = identifiant du message affiché à l'utilisateur.  *
+*                                                                             *
+*  Description : Etablit les liens entres les différentes lignes de code.     *
+*                                                                             *
+*  Retour      : -                                                            *
+*                                                                             *
+*  Remarques   : -                                                            *
+*                                                                             *
+******************************************************************************/
+
+static void establish_links_between_lines(GRenderingLine *lines, GBinRoutine **routines, size_t count, GtkExtStatusBar *statusbar, guint id)
+{
+    size_t i;                               /* Boucle de parcours          */
+    vmpa_t start;                           /* Adresse de départ           */
+    vmpa_t end;                             /* Adresse de fin              */
+    GRenderingLine *iter;                   /* Boucle de parcours          */
+    GArchInstruction *instr;                /* Instruction à ausculter     */
+    vmpa_t addr;                            /* Adresse référencée          */
+    InstructionLinkType type;               /* Type de référence           */
+    GRenderingLine *target;                 /* Ligne visée par la référence*/
+
+    for (i = 0; i < count; i++)
+    {
+        start = g_binary_routine_get_address(routines[i]);
+        end = start + g_binary_routine_get_size(routines[i]);
+
+        for (iter = g_rendering_line_find_by_address(lines, NULL, start);
+             iter != NULL;
+             iter = g_rendering_line_get_next_iter(lines, iter, NULL))
+        {
+            /* Si on sort de la zone... */
+            if (get_rendering_line_address(iter) >= end) break;
+
+            /* On ne traite que du code ici ! */
+            if (!G_IS_CODE_LINE(iter)) continue;
+
+            instr = g_code_line_get_instruction(G_CODE_LINE(iter));
+            type = g_arch_instruction_get_link(instr, &addr);
+
+            switch (type)
+            {
+                case ILT_NONE:
+                    break;
+
+                case ILT_JUMP:
+
+                    target = g_rendering_line_find_by_address(lines, NULL, addr);
+
+                    if (target != NULL)
+                        g_rendering_line_link_with(iter, target, type);
+
+                    break;
+
+                case ILT_JUMP_IF_FALSE:
+                    break;
+
+                case ILT_JUMP_IF_TRUE:
+
+                    target = g_rendering_line_find_by_address(lines, NULL, addr);
+
+                    if (target != NULL)
+                    {
+                        g_rendering_line_link_with(iter, target, type);
+
+                        target = g_rendering_line_get_next_iter(lines, iter, NULL);
+                        if (target != NULL)
+                            g_rendering_line_link_with(iter, target, ILT_JUMP_IF_FALSE);
+
+                    }
+
+                    break;
+
+                case ILT_CALL:
+
+                    target = g_rendering_line_find_by_address(lines, NULL, addr);
+
+                    if (target != NULL)
+                        g_rendering_line_link_with(iter, target, type);
+
+                    break;
+
+            }
+
+        }
+
+        gtk_extended_status_bar_update_activity(statusbar, id, (i + 1) * 1.0 / count);
+
+    }
+
+}
+
+
+/******************************************************************************
+*                                                                             *
+*  Paramètres  : lines     = lignes de rendu à parcourir.                     *
+*                routines  = prototypes existants à insérer.                  *
+*                count     = quantité de ces prototypes.                      *
+*                statusbar = barre de statut avec progression à mettre à jour.*
+*                id        = identifiant du message affiché à l'utilisateur.  *
+*                                                                             *
+*  Description : S'assure que toutes les routines ont une taille définie.     *
+*                                                                             *
+*  Retour      : -                                                            *
+*                                                                             *
+*  Remarques   : -                                                            *
+*                                                                             *
+******************************************************************************/
+
+static void limit_all_routines(GRenderingLine *lines, GBinRoutine **routines, size_t count, GtkExtStatusBar *statusbar, guint id)
+{
+    size_t i;                               /* Boucle de parcours          */
+    vmpa_t *starts;                         /* Adresses de départ          */
+    off_t *lengths;                         /* Tailles des routines        */
+    GRenderingLine *line;                   /* Ligne de départ / d'arrivée */
+    vmpa_t start;                           /* Adresse de début de routine */
+    vmpa_t last;                            /* Meilleur dernière adresse   */
+    GArchInstruction *instr;                /* Instruction à ausculter     */
+    off_t length;                           /* Taille du code              */
+
+    if (count == 0) return;
+
+    starts = (vmpa_t *)calloc(count, sizeof(vmpa_t));
+    lengths = (off_t *)calloc(count, sizeof(off_t));
+
+    for (i = 0; i < count; i++)
+    {
+        starts[i] = g_binary_routine_get_address(routines[i]);
+        lengths[i] = g_binary_routine_get_size(routines[i]);
+
+        gtk_extended_status_bar_update_activity(statusbar, id, (i + 1) * 1.0 / (count * 2));
+
+    }
+
+    for (i = 0; i < count; i++)
+    {
+        if (lengths[i] > 0) continue;
+
+        start = g_binary_routine_get_address(routines[i]);
+        line = g_rendering_line_find_by_address(lines, NULL, start);
+
+        last = find_best_ending_address_for_routine(line, i, starts, lengths, count);
+
+        line = g_rendering_line_find_by_address(lines, NULL, last);
+        line = g_rendering_line_loop_for_code(line, NULL);
+
+        instr = g_code_line_get_instruction(G_CODE_LINE(line));
+        g_arch_instruction_get_location(instr, NULL, &length, NULL);
+
+        lengths[i] = last - start + length;
+        g_binary_routine_set_size(routines[i], lengths[i]);
+
+        gtk_extended_status_bar_update_activity(statusbar, id, (i + 1 + count) * 1.0 / (count * 2));
+
+    }
+
+    free(starts);
+    free(lengths);
+
+}
+
+
+/******************************************************************************
+*                                                                             *
+*  Paramètres  : line    = ligne de départ du parcours.                       *
+*                index   = indice de la routine traitée dans la liste.        *
+*                starts  = adresse de départ des autres routines.             *
+*                lengths = taille des différentes routines, valides ou nulles.*
+*                count   = quantité de routines présentes.                    *
+*                                                                             *
+*  Description : Cherche l'adresse de fin d'une routine.                      *
+*                                                                             *
+*  Retour      : Plus grande adresse de dernière instruction de routine.      *
+*                                                                             *
+*  Remarques   : -                                                            *
+*                                                                             *
+******************************************************************************/
+
+static vmpa_t find_best_ending_address_for_routine(GRenderingLine *line, size_t index, const vmpa_t *starts, const off_t *lengths, size_t count)
+{
+    vmpa_t result;                          /* Haute adresse à remonter    */
+    GRenderingLine *iter;                   /* Boucle de parcours #1       */
+    vmpa_t candidate;                       /* Candidat potentiel          */
+    size_t i;                               /* Boucle de parcours #2       */
+    GArchInstruction *instr;                /* Instruction à ausculter     */
+
+    result = starts[index];
+
+    for (iter = line; iter != NULL; iter = g_rendering_line_get_next_iter(line, iter, NULL))
+    {
+        if (!G_IS_CODE_LINE(iter)) continue;
+
+        candidate = get_rendering_line_address(iter);
+
+        /* Regarde si on n'empiète pas sur une autre routine */
+
+        for (i = 0; i < count; i++)
+        {
+            if (i == index) continue;
+
+            if (starts[i] <= candidate && candidate < (starts[i] + lengths[i]))
+                break;
+
+        }
+
+        if (i != count) break;
+        else result = candidate;
+
+        /* Retour de fonction ? */
+
+        instr = g_code_line_get_instruction(G_CODE_LINE(iter));
+        if (g_arch_instruction_is_return(instr)) break;
+
+    }
+
+    return result;
+
+}
+
+
+
+
 
 
 
@@ -313,22 +840,22 @@ bool g_openida_binary_save(const GOpenidaBinary *binary, xmlDocPtr xdoc, xmlXPat
 
 void g_openida_binary_analyse(GOpenidaBinary *binary)
 {
-    GDisassManager *manager;                /* Gestionnaire de différés    */
+    GWorkQueue *queue;                      /* Gestionnaire de différés    */
     GBinPart **parts;                       /* Parties d'élément binaire   */
     size_t parts_count;                     /* Nombre de ces parties       */
     GDelayedDisassembly *disass;            /* Désassemblage à mener       */
 
-    manager = get_disassembly_manager();
+    queue = get_work_queue();
 
     parts = g_exe_format_get_parts(binary->format, &parts_count);
     qsort(parts, parts_count, sizeof(GBinPart *), g_binary_part_compare);
 
     disass = g_delayed_disassembly_new(binary, parts, parts_count);
 
-    g_signal_connect(manager, "disassembly-completed",
+    g_signal_connect(disass, "work-completed",
                      G_CALLBACK(ack_completed_disassembly), binary);
 
-    g_delayed_queue_schedule_work(G_WORK_QUEUE(manager), G_DELAYED_WORK(disass));
+    g_work_queue_schedule_work(queue, G_DELAYED_WORK(disass));
 
 }
 
@@ -591,10 +1118,8 @@ GRenderingLine *build_binary_prologue(const char *filename, const uint8_t *data,
 
 /******************************************************************************
 *                                                                             *
-*  Paramètres  : manager = gestionnaire des traitements en parallèle.         *
-*                binary  = binaire dont le contenu est à analyser.            *
-*                lines   = lignes de rendu produites par le désasemblage.     *
-*                user    = élément binaire à l'origine du traitement.         *
+*  Paramètres  : disass = travail de désassemblage mené à bien.               *
+*                binary = représentation de binaire à l'origine de l'opérat°. *
 *                                                                             *
 *  Description : Acquitte la fin d'un désasemblage différé et complet.        *
 *                                                                             *
@@ -604,25 +1129,22 @@ GRenderingLine *build_binary_prologue(const char *filename, const uint8_t *data,
 *                                                                             *
 ******************************************************************************/
 
-void ack_completed_disassembly(GDisassManager *manager, GOpenidaBinary *binary, GRenderingLine *lines, GOpenidaBinary *user)
+void ack_completed_disassembly(GDelayedDisassembly *disass, GOpenidaBinary *binary)
 {
     GRenderingLine *line;                   /* "Première" ligne de rendu   */
     GPluginModule **pglist;                 /* Liste de greffons           */
     size_t pgcount;                         /* Taille de cette liste       */
     size_t i;                               /* Boucle de parcours          */
 
-    /* Si ce n'est pas pour nous... */
-    if (binary != user) return;
 
+    binary->lines = disass->lines;
 
-    binary->lines = lines;
 
 
 
 
 
-
-    line = g_rendering_line_find_by_address(lines, NULL,
+    line = g_rendering_line_find_by_address(disass->lines, NULL,
                                             g_exe_format_get_entry_point(binary->format));
     if (line != NULL) g_rendering_line_add_flag(line, RLF_ENTRY_POINT);
 
@@ -641,12 +1163,6 @@ void ack_completed_disassembly(GDisassManager *manager, GOpenidaBinary *binary,
 
     /* On réintègre le flot premier */
 
-    gdk_threads_enter();
-
     g_signal_emit_by_name(binary, "disassembly-done");
 
-    gdk_flush ();
-
-    gdk_threads_leave();
-
 }