LLAMA explorer - OfficinaTurini

Go to content
LLAMA View
Observe a language model while it generates text

Osservare un modello linguistico durante la generazione del testo

llamaView è un programma freeware dedicato all’esplorazione visiva e didattica del funzionamento dei modelli linguistici locali in formato GGUF.
L’applicazione permette di eseguire un Large Language Model direttamente sul proprio computer e di seguire, token dopo token, il processo con cui il prompt viene elaborato e la risposta viene progressivamente generata.
llamaView non si limita quindi a mostrare il testo prodotto dal modello: raccoglie una serie di tracce numeriche durante l’inferenza e le rappresenta attraverso tabelle, grafici bidimensionali, animazioni temporali e visualizzazioni tridimensionali.
Il programma è distribuito come freeware. La licenza completa è inclusa nel codice ed è consultabile anche dall’applicazione attraverso il menu Help → License.


Un modello LLM deve essere scaricato separatamente

Per ragioni legate alle dimensioni dei file e alle rispettive licenze, llamaView non include un modello linguistico.
Prima di utilizzare il programma è quindi necessario scaricare almeno un modello compatibile in formato GGUF.
Sono stati provati con successo i seguenti modelli:
Modello testato
qwen2.5-1.5b-instruct-q8_0.gguf, 1.5 miliardi di parametri
qwen2.5-3b-instruct-q8_0.gguf, 3 miliardi di parametri
qwen2.5-coder-7b-instruct-q8_0.gguf, 7 miliardi di parametri
Qwen3.5-9B-DeepSeek-V4-Flash-Q8_0.gguf, 9 miliardi di parametri
Qwen3-30B-A3B-Thinking-2507-Deepseek-v3.1-Distill-V2-FP32.Q8_0.gguf, modello MoE di classe 30B

I file possono essere scaricati da Hugging Face:

Nella pagina di Hugging Face selezionare la sezione Files and versions e scaricare esattamente il file GGUF desiderato. Per alcuni modelli molto grandi il download può essere suddiviso in più parti: in questo caso occorre seguire le istruzioni pubblicate nella pagina del modello.
Il modello scaricato deve essere copiato nella cartella:
.\sys\models

È possibile conservare più modelli nella stessa cartella e selezionare quello da utilizzare dalla scheda Settings, tramite il pulsante Browse.
Le licenze dei modelli LLM sono indipendenti dalla licenza freeware di llamaView. Prima del download è pertanto opportuno consultare la licenza riportata nella pagina del rispettivo modello.


Scegliere un modello adeguato al proprio computer

Il numero di parametri influisce direttamente sulla quantità di memoria richiesta e sulla velocità di esecuzione.
I modelli Q8_0 mantengono un’elevata precisione numerica, ma producono file relativamente grandi. La memoria effettivamente necessaria durante l’esecuzione può inoltre essere superiore alla dimensione del file GGUF, perché comprende il modello, il contesto, la cache dei token e le strutture utilizzate per raccogliere le tracce.
Per una prima prova sono consigliati i modelli da 1,5B o 3B, utilizzabili anche su sistemi non particolarmente potenti. Il modello da 7B richiede già maggiori risorse, mentre i modelli da 9B e soprattutto da 30B sono destinati a computer dotati di una quantità di memoria adeguata.
La generazione con llamaView può essere più lenta rispetto a una normale applicazione di chat locale, poiché il programma non deve soltanto calcolare la risposta, ma anche raccogliere e organizzare le informazioni diagnostiche necessarie alla visualizzazione.
Particolare attenzione deve essere prestata all’opzione Dump Nodes: quando attivata produce un catalogo diagnostico molto esteso e può generare file di grandi dimensioni. Per il normale utilizzo è preferibile lasciarla disabilitata.


Il probe modificato

llamaView utilizza una versione appositamente modificata di:
llama-eval-callback.exe
L’eseguibile è previsto nella cartella:
.\sys\bin\llama-eval-callback.exe
Questo componente deriva dall’esempio eval-callback di llama.cpp, ma è stato modificato per registrare la sequenza dei token, le statistiche dei tensori selezionati, i candidati del token successivo e le informazioni necessarie alle rappresentazioni grafiche.
Non deve essere sostituito con la normale versione distribuita con llama.cpp: l’eseguibile standard non produce le tracce CSV richieste da llamaView.


Come avviare una prova

  1. Decomprimere llamaView in una cartella nella quale il programma possa scrivere i propri file.
  2. Scaricare un modello GGUF compatibile.
  3. Copiare il modello nella cartella .\sys\models.
  4. Verificare la presenza di llama-eval-callback.exe nella cartella .\sys\bin.
  5. Avviare llamaView.exe.
  6. Aprire la scheda Settings e controllare il modello selezionato. Il pulsante Browse permette di scegliere manualmente qualsiasi file GGUF compatibile.
  7. Aprire la scheda Prompt e inserire la domanda o il testo da completare.
  8. Impostare il numero massimo di token da generare.
  9. Premere Run Probe.
Durante l’elaborazione, la scheda Log mostra il caricamento del modello, i parametri di sampling e lo stato di avanzamento. Al termine, le tracce prodotte vengono caricate automaticamente nel visualizzatore.
I risultati sono salvati nella cartella:
.\sys\traces
Qui vengono prodotti diversi file CSV e un file di testo contenente il prompt, la risposta generata e il testo completo. Le tracce possono essere ricaricate successivamente con il comando Load CSV, senza dover ripetere l’inferenza.


Cosa mostra llamaView

Flusso didattico

La scheda Didactic Flow separa chiaramente la fase di lettura del prompt dalla fase di generazione della risposta.
Per ogni passaggio vengono mostrati:
  • il token corrente e il relativo identificativo;
  • il numero dei token del prompt e dei token generati;
  • la posizione corrente nella sequenza;
  • i candidati valutati per il token successivo;
  • probabilità, probabilità cumulata e logit dei candidati;
  • il token effettivamente selezionato;
  • una sintesi dell’attività registrata nei vari layer.
I principali canali diagnostici sono:
  • fattn: preparazione precedente all’attenzione;
  • attn: attività associata all’attenzione;
  • ffn: trasformazione feed-forward;
  • l_out: impronta numerica dell’uscita del layer.

Visualizzazione grafica 2D

La scheda Graphics permette di osservare l’attività dei layer attraverso diverse rappresentazioni, tra cui barre del frame corrente, profili dei layer e andamento temporale.
È possibile:
  • selezionare un singolo canale o visualizzarli insieme;
  • utilizzare una scala fissa, locale al frame o globale;
  • muoversi manualmente fra i token;
  • riprodurre la sequenza come un’animazione;
  • regolare la profondità della storia visualizzata;
  • esportare la vista corrente in formato PNG.

Visualizzazione tridimensionale

Attivando 3D View viene aperta una finestra OpenGL dedicata, con diverse modalità:
  • Token Orbit;
  • Token Orbit – Expanded Core;
  • Layer Manifold;
  • Reactor Glyph;
  • Bar City.

Queste rappresentazioni permettono di osservare la traiettoria numerica dei token, la distribuzione dell’attività fra i layer e l’evoluzione temporale delle tracce.
La scena può essere ruotata, ingrandita e osservata frontalmente, dall’alto o lateralmente. Sono inoltre disponibili la rotazione automatica, la regolazione della lunghezza della scia, la selezione del canale e differenti modalità di scala.

Risposta, log e rapporto sul modello

La scheda LLM Response riporta separatamente:
  • il prompt originale;
  • la risposta generata;
  • il testo completo.

Il menu Help contiene inoltre la guida introduttiva, le nozioni fondamentali sugli LLM e il comando LLM Model Report, che legge direttamente i metadati GGUF e riporta informazioni quali architettura, quantizzazione, numero di layer, dimensione dell’embedding, contesto dichiarato e memoria utilizzata durante la sessione.


Uno strumento di osservazione, non un interprete del pensiero

llamaView visualizza indicatori numerici ricavati durante l’elaborazione del modello. Queste misure permettono di confrontare token, layer, prompt, modelli e impostazioni di sampling, ma non rappresentano una lettura diretta del significato, del ragionamento o dei “pensieri” del modello.
L’obiettivo del programma è rendere osservabile un processo normalmente nascosto e fornire uno strumento sperimentale, didattico e comparativo per avvicinarsi al funzionamento dei moderni modelli linguistici locali.

Observe a language model while it generates text

llamaView is a freeware application designed for the visual and educational exploration of locally executed language models in GGUF format.
The program runs a Large Language Model directly on the user’s computer and follows, token by token, the process through which the prompt is evaluated and the response is progressively generated.
llamaView therefore does more than display the final answer. It records a set of numerical traces during inference and presents them through tables, two-dimensional graphics, temporal animations and three-dimensional visualisations.
The application is distributed as freeware. The complete licence is included in the source code and can also be viewed from the program through Help → License.




An LLM model must be downloaded separately

Because of their size and independent licensing conditions, language-model files are not included with llamaView.
Before running the application, at least one compatible GGUF model must be downloaded.
The following models have been successfully tested:
Tested model
qwen2.5-1.5b-instruct-q8_0.gguf, 1.5 billion parameters
qwen2.5-3b-instruct-q8_0.gguf, 3 billion parameters
qwen2.5-coder-7b-instruct-q8_0.gguf, 7 billion parameters
Qwen3.5-9B-DeepSeek-V4-Flash-Q8_0.gguf, 9 billion parameters
Qwen3-30B-A3B-Thinking-2507-Deepseek-v3.1-Distill-V2-FP32.Q8_0.gguf, 30B-class MoE model

The files can be downloaded from Hugging Face:

On the Hugging Face page, open Files and versions and download the required GGUF file. Some very large models may be divided into multiple files; in that case, follow the joining instructions provided by the model publisher.
Copy the downloaded model into:
.\sys\models

Multiple models can be stored in the same folder. The required model can then be selected from the Settings tab using the Browse button.
LLM model licences are independent of the llamaView freeware licence. Users should review the licence displayed on each model page before downloading or using it.



Select a model suitable for your computer

The number of parameters has a direct effect on memory requirements and execution speed.
Q8_0 models retain high numerical precision, but their files are comparatively large. The memory required while the model is running can also be greater than the GGUF file size because the program must allocate space for the model, context, token cache and diagnostic trace structures.
For an initial test, the 1.5B or 3B models are recommended. They can be used on relatively modest systems. A 7B model already requires more resources, while the 9B and especially the 30B models are intended for computers with a suitable amount of memory.
Inference in llamaView may be slower than in a conventional local chat application. In addition to generating the response, the program records and organises the diagnostic information required for the visualisations.
Special care should be taken with the Dump Nodes option. When enabled, it creates a very extensive diagnostic catalogue and may generate extremely large files. It should normally remain disabled.



The modified probe

llamaView uses a specially modified version of:
llama-eval-callback.exe
The executable is expected at:
.\sys\bin\llama-eval-callback.exe
This component is derived from the llama.cpp eval-callback example, but has been modified to record the token sequence, statistics from selected tensors, next-token candidates and the information required by the graphical views.
It must not be replaced with the standard executable distributed with llama.cpp. The unmodified version does not generate the CSV traces required by llamaView.



Running a probe

  1. Extract llamaView into a folder where the application is allowed to write files.
  2. Download a compatible GGUF model.
  3. Copy the model into .\sys\models.
  4. Verify that llama-eval-callback.exe is present in .\sys\bin.
  5. Start llamaView.exe.
  6. Open the Settings tab and check the selected model. Use Browse to select another compatible GGUF file.
  7. Open the Prompt tab and enter a question or a text to complete.
  8. Select the maximum number of tokens to generate.
  9. Press Run Probe.

During processing, the Log tab displays model loading information, sampling parameters and execution messages. When the probe has finished, the generated traces are automatically loaded into the viewer.
Results are stored in:
.\sys\traces
The folder contains several CSV files together with a text file containing the prompt, generated response and complete reconstructed text. Existing traces can later be opened with Load CSV, without running the model again.


What llamaView displays

Didactic flow

The Didactic Flow tab clearly separates prompt evaluation from response generation.
For each step it displays:
  • the current token and its identifier;
  • the number of prompt and generated tokens;
  • the current position in the sequence;
  • the candidates considered for the next token;
  • candidate probability, cumulative probability and logit;
  • the token that was actually selected;
  • a summary of the activity recorded across the model layers.
The main diagnostic channels are:
  • fattn: pre-attention preparation;
  • attn: attention-related activity;
  • ffn: feed-forward transformation;
  • l_out: the numerical fingerprint of the layer output.

Two-dimensional graphics

The Graphics tab shows layer activity through several representations, including current-frame bars, layer profiles and temporal history.
The user can:
  • display an individual diagnostic channel or all channels together;
  • choose a fixed, per-frame or global scale;
  • move manually through the token sequence;
  • play the sequence as an animation;
  • adjust the displayed history depth;
  • export the current view as a PNG image.

Three-dimensional visualisation

Enabling 3D View opens a separate OpenGL window offering several rendering modes:
  • Token Orbit;
  • Token Orbit – Expanded Core;
  • Layer Manifold;
  • Reactor Glyph;
  • Bar City.

These views represent token trajectories, activity distribution across the layers and the temporal evolution of the recorded traces.
The scene can be rotated, zoomed and viewed from the front, top or side. Automatic rotation, trail length, diagnostic channel and scale mode can also be adjusted.

Response, log and model report

The LLM Response tab separately displays:
  • the original prompt;
  • the generated response;
  • the complete text.

The Help menu contains the program guide, an introduction to LLM terminology and the LLM Model Report command. The report reads the GGUF metadata directly and provides information such as model architecture, quantisation, layer count, embedding size, declared context length and memory used during the current session.



An observation tool, not a mind reader

llamaView displays numerical indicators collected while the model processes text. These measurements can be used to compare tokens, layers, prompts, models and sampling settings, but they do not constitute a direct reading of the model’s meaning, reasoning or “thoughts”.
The purpose of llamaView is to make a normally hidden process observable and to provide an experimental, educational and comparative tool for exploring modern locally executed language models.

The complete program with its installer Tested on Win 10 x64 with CUDA

System libraries you may need ....


Revision History:
  • 0.0.1 2026/07/28  : First release
Free counters!
VAT: IT -
(C) 2016-2026 Officina Turini, Tutti i diritti riservati
Back to content