Come generare un file llms.txt per il tuo sito web Astro - Guida completa

Ogni giorno sempre più persone utilizzano ChatGPT, Perplexity e altri strumenti di intelligenza artificiale per cercare e riassumere contenuti. Come discusso in uno dei miei precedenti post su SEO a SAO, è solo questione di tempo prima che la maggior parte delle visite a siti web e blog provenga da agenti di intelligenza artificiale.

Quando si tratta di rendere i tuoi contenuti accessibili ai modelli linguistici, c’è un modo più semplice rispetto alle complesse soluzioni di crawling, specialmente per i siti generati staticamente con Astro. In questo post, ti guiderò attraverso la creazione di un file llms.txt che espone i contenuti del tuo blog ai LLM in un formato pulito e strutturato.

Cos’è llms.txt?

Un file llms.txt è concettualmente simile a robots.txt ma progettato specificamente per i modelli linguistici. Fornisce una rappresentazione strutturata e testuale dei tuoi contenuti che è facile da analizzare e comprendere per i LLM.

I LLM non sono molto bravi a navigare attraverso più pagine tramite link. Invece, i LLM sono molto bravi a estrapolare contenuti da una singola pagina e memorizzarli nella loro memoria. È qui che llms.txt diventa prezioso.

Perché Strumenti di Crawling Come Crawl4AI Potrebbero Essere Eccessivi

Strumenti come Crawl4AI offrono potenti funzionalità di crawling del sito web per i LLM. Sebbene siano ideali per generare LLMs.txt per siti dinamici, possono essere eccessivi per i siti statici.

Per i siti Astro in particolare, dove il contenuto è tipicamente memorizzato come file markdown con frontmatter, hai già contenuti perfettamente strutturati pronti per essere esposti direttamente.

Implementazione di un Endpoint llms.txt in Astro

Ecco come puoi generare file LLMs.txt per il tuo sito Astro.

Crea un file in src/pages/llms.txt.ts (o src/pages/api/llms.txt.ts a seconda della tua configurazione Astro) e aggiungi il seguente codice:

import { getCollection } from "astro:content";
import type { APIRoute } from "astro";

export const GET: APIRoute = async () => {
    try {
        // Fetch all content collections
        const [blogs, features, transcriptions, alternatives, help] = await Promise.all([
            getCollection("blog"),
            getCollection("features"), 
            getCollection("transcription"),
            getCollection("alternatives"),
            getCollection("help")
        ]);

// Sort blogs by date (newest first)
        const sortedBlogs = blogs
            .filter(post => !post.data.draft)
            .sort((a, b) => new Date(b.data.date).getTime() - new Date(a.data.date).getTime());

// Filter non-draft content
        const activeFeatures = features.filter(item => !item.data.draft);
        const activeTranscriptions = transcriptions.filter(item => !item.data.draft);
        const activeAlternatives = alternatives.filter(item => !item.data.draft);

const content = `# Nome del Tuo Sito Web - Guida Completa ai Contenuti

Questo documento contiene il contenuto completo del tuo sito web.

Sito web: https://yourwebsite.com
Ultimo aggiornamento: ${new Date().toISOString().split('T')[0]}

## Contenuto del Blog

${sortedBlogs
    .map((post) => `### ${post.data.title}

URL: https://yourwebsite.com/blog/${post.data.slug || post.id}
Pubblicato: ${post.data.date}
Categoria: ${post.data.category}
Autore: ${post.data.author}
Descrizione: ${post.data.description}

${post.body}

---`).join('\n\n')}

## Sezioni di Contenuto Aggiuntive

${activeFeatures
    .map((feature) => `### ${feature.data.title}

URL: https://yourwebsite.com/${feature.data.slug}
Categoria: ${feature.data.category}
${feature.data.description}

${feature.body}

---`).join('\n\n')}

---
## What is Git?

Git is a **distributed** version control system for tracking changes in source code during software development. It is designed for coordinating work among programmers, but it can be used to track changes in any set of files. Its goals include:

*   Speed
*   Data integrity
*   Support for distributed, non-linear workflows

### Basic Git Commands

Here are some basic Git commands:

1.  `git init`: Initializes a new Git repository.
2.  `git clone [url]`: Clones a repository from a URL.
3.  `git add [file]`: Adds a file to the staging area.
4.  `git commit -m "message"`: Commits changes with a message.
5.  `git push`: Pushes changes to a remote repository.
6.  `git pull`: Pulls changes from a remote repository.

#### Example Usage

To clone a repository from GitHub:

```bash
git clone https://github.com/example/example-repo.git

You can learn more about Git here.

This is an example of italic text.

This is an example of bold text.

What is the purpose of git status?

Cos’è Git?

Git è un sistema di controllo versione distribuito per tracciare le modifiche nel codice sorgente durante lo sviluppo software. È progettato per coordinare il lavoro tra i programmatori, ma può essere utilizzato per tracciare le modifiche in qualsiasi insieme di file. I suoi obiettivi includono:

• Velocità
• Integrità dei dati
• Supporto per flussi di lavoro distribuiti e non lineari

Comandi Git di base

Ecco alcuni comandi Git di base:

1. git init: Inizializza un nuovo repository Git.
2. git clone [url]: Clona un repository da un URL.
3. git add [file]: Aggiunge un file all’area di staging.
4. git commit -m "message": Esegue il commit delle modifiche con un messaggio.
5. git push: Invia le modifiche a un repository remoto.
6. git pull: Estrae le modifiche da un repository remoto.

Esempio di utilizzo

Per clonare un repository da GitHub:

git clone https://github.com/example/example-repo.git

Puoi saperne di più su Git qui.

Questo è un esempio di testo in corsivo.

Questo è un esempio di testo in grassetto.

Qual è lo scopo di git status?

Questo contenuto è fornito per aiutare gli assistenti AI a comprendere le offerte del tuo sito web e fornire informazioni accurate.`;

return new Response(content, { headers: { “Content-Type”: “text/plain; charset=utf-8”, “Cache-Control”: “public, max-age=3600” // Cache for 1 hour }, }); } catch (error) { console.error(‘Error generating llms.txt:’, error); return new Response(‘Error generating llms.txt’, { status: 500 }); } };

## Come Funziona Questo Codice

Questo codice crea un endpoint API che:

1. **Recupera tutti i post** dalle tue raccolte di contenuti usando `getCollection()`
2. **Filtra i contenuti in bozza** per includere solo gli articoli pubblicati
3. **Ordina i contenuti per data** per mostrare prima i contenuti più recenti
4. **Crea un file di testo strutturato** iniziando con il titolo del tuo sito
5. **Include per ogni post:**
   - Il titolo del post come intestazione
   - Un link diretto al post
   - Metadati (data, categoria, autore, descrizione)
   - Il contenuto completo del post
6. **Gestisce gli errori in modo corretto** con un'adeguata registrazione degli errori
7. **Imposta le intestazioni appropriate** inclusa la memorizzazione nella cache per le prestazioni

## Personalizzazione per la Tua Struttura di Contenuti

### Regolazione dei Nomi delle Raccolte

L'esempio sopra utilizza più raccolte. Se hai solo una raccolta di blog, semplificala:

```typescript
export const GET: APIRoute = async () => {
    const posts = await getCollection("blog"); // Regola con il nome della tua raccolta
    
    const publishedPosts = posts
        .filter(post => !post.data.draft)
        .sort((a, b) => new Date(b.data.date).getTime() - new Date(a.data.date).getTime());

const content = `# Nome del Tuo Blog

${publishedPosts
    .map((post) => `# ${post.data.title}

https://yourwebsite.com/blog/${post.data.slug || post.id}

${post.data.description}

${post.body}
`).join('\n\n')}`;

return new Response(content, {
        headers: { "Content-Type": "text/plain; charset=utf-8" },
    });
};

Aggiunta di Filtri di Contenuto

Potresti voler escludere determinate categorie o includere solo contenuti in evidenza:

// Include solo i post in evidenza
const featuredPosts = posts.filter(post => post.data.featured && !post.data.draft);

// Escludi categorie specifiche
const filteredPosts = posts.filter(post => 
    !post.data.draft && !['internal', 'private'].includes(post.data.category)
);

Vantaggi dell’Utilizzo di llms.txt

1. Migliore Scoperta da Parte dell’IA

Gli strumenti di intelligenza artificiale possono comprendere rapidamente l’intera libreria di contenuti senza eseguire la scansione di più pagine.

2. Migliore Contesto per le Risposte dell’IA

Quando gli utenti pongono domande relative ai tuoi contenuti, i modelli di intelligenza artificiale hanno accesso a informazioni complete e strutturate.

3. SEO per l’Era dell’IA

Man mano che la ricerca si evolve verso risultati basati sull’intelligenza artificiale, diventa fondamentale avere contenuti strutturati per il consumo da parte dell’IA.

4. Vantaggi in Termini di Prestazioni

La generazione statica significa che il tuo file llms.txt viene creato al momento della build, fornendo tempi di risposta rapidi.

Test dell’Implementazione di llms.txt

Dopo aver implementato l’endpoint, testalo:

1. Visitando l’endpoint direttamente: https://iltuosito.com/llms.txt
2. Controllando la struttura del contenuto per assicurarti che tutti i post siano inclusi
3. Verificando che la formattazione sia pulita e leggibile
4. Testando con strumenti di intelligenza artificiale chiedendo loro di analizzare il contenuto del tuo file llms.txt

Best Practice per llms.txt

Mantieni il Contenuto Aggiornato

Aggiorna regolarmente il tuo file llms.txt ricostruendo il tuo sito quando pubblichi nuovi contenuti.

Includi Metadati Rilevanti

Aggiungi date di pubblicazione, categorie e descrizioni per aiutare l’IA a comprendere il contesto.

Struttura il Contenuto in Modo Chiaro

Utilizza formati di intestazione coerenti e separatori chiari tra le sezioni.

Monitora le Dimensioni del File

Per i siti con centinaia di post, valuta la possibilità di impaginare o filtrare i contenuti per mantenere il file gestibile.

Conclusione

La creazione di un file llms.txt per il tuo sito web Astro è un modo semplice per rendere i tuoi contenuti accessibili ai modelli linguistici AI. Questo approccio sfrutta le raccolte di contenuti di Astro per creare una visualizzazione strutturata e completa dei contenuti del tuo sito.

Poiché l’intelligenza artificiale sta diventando sempre più importante per la scoperta di contenuti, l’implementazione di llms.txt posiziona il tuo sito web per una migliore visibilità nel panorama della ricerca basata sull’intelligenza artificiale. L’implementazione è semplice, performante e facile da mantenere come parte del processo di build di Astro.

Inizia a implementare llms.txt oggi stesso per assicurarti che i tuoi contenuti siano pronti per il futuro della ricerca e della scoperta basata sull’intelligenza artificiale.

Domande frequenti

Qual è la differenza tra llms.txt e sitemap.xml?

Mentre sitemap.xml elenca le tue pagine per i crawler dei motori di ricerca, llms.txt fornisce il contenuto effettivo in un formato ottimizzato affinché i modelli linguistici lo comprendano ed elaborino.

Quanto spesso devo aggiornare il mio file llms.txt?

Il tuo file llms.txt si aggiorna automaticamente quando ricostruisci il tuo sito Astro, quindi rimane aggiornato con il tuo programma di pubblicazione dei contenuti.

Posso includere immagini e media in llms.txt?

llms.txt è basato su testo, quindi includi descrizioni di immagini e media anziché i file stessi. Concentrati sui contenuti testuali che l’IA può elaborare in modo efficace.

llms.txt influenzerà la mia SEO?

No, llms.txt non avrà un impatto negativo sulla SEO tradizionale. È progettato per integrare la tua strategia SEO esistente rendendo i contenuti accessibili agli strumenti di intelligenza artificiale.

Quanto deve essere grande il mio file llms.txt?

Non ci sono limiti rigidi, ma mantienilo ragionevole. Per i siti con centinaia di post, valuta la possibilità di filtrare per includere solo i tuoi contenuti più importanti o recenti.