Jeden Tag nutzen mehr und mehr Menschen ChatGPT, Perplexity und andere KI-Tools, um Inhalte zu suchen und zusammenzufassen. Wie in einem meiner früheren Beiträge zu SEO zu SAO erörtert, ist es nur eine Frage der Zeit, bis die Mehrheit der Besuche auf Websites und Blogs von KI-Agenten stammen wird.
Wenn es darum geht, Ihre Inhalte für Sprachmodelle zugänglich zu machen, gibt es einen einfacheren Weg als komplexe Crawling-Lösungen - insbesondere für statisch generierte Websites, die mit Astro erstellt wurden. In diesem Beitrag zeige ich Ihnen, wie Sie eine llms.txt-Datei erstellen, die Ihre Blog-Inhalte in einem sauberen, strukturierten Format für LLMs zugänglich macht.
Was ist llms.txt?
Eine llms.txt-Datei ist konzeptionell ähnlich wie robots.txt, aber speziell für Sprachmodelle entwickelt. Sie bietet eine strukturierte, textbasierte Darstellung Ihrer Inhalte, die für LLMs leicht zu parsen und zu verstehen ist.
LLMs sind nicht sehr gut darin, über Links durch mehrere Seiten zu navigieren. Stattdessen sind LLMs sehr gut darin, Inhalte von einer einzelnen Seite zu extrahieren und in ihrem Speicher zu speichern. Hier wird llms.txt unschätzbar wertvoll.
Warum Crawling-Tools wie Crawl4AI möglicherweise übertrieben sind
Tools wie Crawl4AI bieten leistungsstarke Website-Crawling-Funktionen für LLMs. Sie sind zwar ideal für die Generierung von LLMs.txt für dynamische Websites, können aber für statische Websites übertrieben sein.
Insbesondere für Astro-Websites, bei denen Inhalte typischerweise als Markdown-Dateien mit Frontmatter gespeichert werden, haben Sie bereits perfekt strukturierte Inhalte, die direkt zugänglich gemacht werden können.
Implementierung eines llms.txt-Endpunkts in Astro
Hier erfahren Sie, wie Sie LLMs.txt-Dateien für Ihre Astro-Website generieren können.
Erstellen Sie eine Datei unter src/pages/llms.txt.ts (oder src/pages/api/llms.txt.ts, abhängig von Ihrer Astro-Konfiguration) und fügen Sie den folgenden Code hinzu:
import { getCollection } from "astro:content";
import type { APIRoute } from "astro";
export const GET: APIRoute = async () => {
try {
// Fetch all content collections
const [blogs, features, transcriptions, alternatives, help] = await Promise.all([
getCollection("blog"),
getCollection("features"),
getCollection("transcription"),
getCollection("alternatives"),
getCollection("help")
]);
// Sort blogs by date (newest first)
const sortedBlogs = blogs
.filter(post => !post.data.draft)
.sort((a, b) => new Date(b.data.date).getTime() - new Date(a.data.date).getTime());
// Filter non-draft content
const activeFeatures = features.filter(item => !item.data.draft);
const activeTranscriptions = transcriptions.filter(item => !item.data.draft);
const activeAlternatives = alternatives.filter(item => !item.data.draft);
const content = `# Ihr Website-Name - Vollständiger Inhaltsleitfaden
Dieses Dokument enthält den vollständigen Inhalt Ihrer Website.
Website: https://yourwebsite.com
Letzte Aktualisierung: ${new Date().toISOString().split('T')[0]}
Blog-Inhalte
${sortedBlogs .map((post) => `#
${post.data.title}
URL: https://yourwebsite.com/blog/${post.data.slug || post.id} Veröffentlicht: ${post.data.date} Kategorie: ${post.data.category} Autor: ${post.data.author} Beschreibung: ${post.data.description}
${post.body}
---`).join(‘\n\n’)}
Zusätzliche Inhaltsabschnitte
${activeFeatures .map((feature) => `#
${feature.data.title}
URL: https://yourwebsite.com/${feature.data.slug} Kategorie: ${feature.data.category} ${feature.data.description}
${feature.body}
---`).join(‘\n\n’)}
Dieser Inhalt wird bereitgestellt, um KI-Assistenten zu helfen, das Angebot Ihrer Website zu verstehen und genaue Informationen bereitzustellen.`;
return new Response(content, {
headers: {
"Content-Type": "text/plain; charset=utf-8",
"Cache-Control": "public, max-age=3600" // Cache for 1 hour
},
});
} catch (error) {
console.error('Fehler beim Generieren von llms.txt:', error);
return new Response('Fehler beim Generieren von llms.txt', { status: 500 });
}};
## Wie dieser Code funktioniert
Dieser Code erstellt einen API-Endpunkt, der:
1. **Alle Beiträge abruft** aus Ihren Inhaltssammlungen mit `getCollection()`
2. **Entwurfsinhalte herausfiltert**, um nur veröffentlichte Artikel einzubeziehen
3. **Inhalte nach Datum sortiert**, um die neuesten Inhalte zuerst anzuzeigen
4. **Eine strukturierte Textdatei erstellt**, die mit dem Titel Ihrer Website beginnt
5. **Für jeden Beitrag einschließt:**
- Den Titel des Beitrags als Überschrift
- Einen direkten Link zum Beitrag
- Metadaten (Datum, Kategorie, Autor, Beschreibung)
- Den vollständigen Inhalt des Beitrags
6. **Fehler ordnungsgemäß behandelt** mit entsprechender Fehlerprotokollierung
7. **Geeignete Header setzt**, einschließlich Caching zur Leistungssteigerung
## Anpassung an Ihre Inhaltsstruktur
#
## Anpassung der Sammlungsnamen
Das obige Beispiel verwendet mehrere Sammlungen. Wenn Sie nur eine Blog-Sammlung haben, vereinfachen Sie es:
```typescript
export const GET: APIRoute = async () => {
const posts = await getCollection("blog"); // Anpassen an Ihren Sammlungsnamen
const publishedPosts = posts
.filter(post => !post.data.draft)
.sort((a, b) => new Date(b.data.date).getTime() - new Date(a.data.date).getTime());
const content = `# Ihr Blog-Name
${publishedPosts
.map((post) => `# ${post.data.title}
https://yourwebsite.com/blog/${post.data.slug || post.id}
${post.data.description}
${post.body}
`).join('\n\n')}`;
return new Response(content, {
headers: { "Content-Type": "text/plain; charset=utf-8" },
});
};Hinzufügen von Inhaltsfiltern
Möglicherweise möchten Sie bestimmte Kategorien ausschließen oder nur hervorgehobene Inhalte einschließen:
// Nur hervorgehobene Beiträge einschließen
const featuredPosts = posts.filter(post => post.data.featured && !post.data.draft);
// Bestimmte Kategorien ausschließen
const filteredPosts = posts.filter(post =>
!post.data.draft && !['internal', 'private'].includes(post.data.category)
);Vorteile der Verwendung von llms.txt
1. Verbesserte AI-Auffindbarkeit
KI-Tools können Ihre gesamte Inhaltsbibliothek schnell verstehen, ohne mehrere Seiten zu durchsuchen.
2. Besserer Kontext für AI-Antworten
Wenn Benutzer Fragen zu Ihren Inhalten stellen, haben KI-Modelle Zugriff auf umfassende, strukturierte Informationen.
3. SEO für das KI-Zeitalter
Da sich die Suche hin zu KI-gestützten Ergebnissen entwickelt, wird es entscheidend, strukturierte Inhalte für den KI-Konsum zu haben.
4. Leistungsvorteile
Statische Generierung bedeutet, dass Ihre llms.txt-Datei zur Build-Zeit erstellt wird, was schnelle Reaktionszeiten ermöglicht.
Testen Ihrer llms.txt-Implementierung
Nach der Implementierung des Endpunkts testen Sie ihn, indem Sie:
- Besuchen Sie den Endpunkt direkt:
https://yoursite.com/llms.txt - Überprüfen Sie die Inhaltsstruktur, um sicherzustellen, dass alle Beiträge enthalten sind
- Verifizieren Sie die Formatierung, dass sie sauber und lesbar ist
- Testen Sie mit KI-Tools, indem Sie sie bitten, Ihre llms.txt-Inhalte zu analysieren
Best Practices für llms.txt
Inhalte aktuell halten
Aktualisieren Sie Ihre llms.txt regelmäßig, indem Sie Ihre Website neu erstellen, wenn Sie neue Inhalte veröffentlichen.
Relevante Metadaten einschließen
Fügen Sie Veröffentlichungsdaten, Kategorien und Beschreibungen hinzu, um der KI zu helfen, den Kontext zu verstehen.
Inhalte klar strukturieren
Verwenden Sie konsistente Überschriftenformate und klare Trennzeichen zwischen den Abschnitten.
Dateigröße überwachen
Für Websites mit Hunderten von Beiträgen sollten Sie erwägen, Inhalte zu paginieren oder zu filtern, um die Datei überschaubar zu halten.
Schlussfolgerung
Das Erstellen einer llms.txt-Datei für Ihre Astro-Website ist eine unkomplizierte Möglichkeit, Ihre Inhalte für KI-Sprachmodelle zugänglich zu machen. Dieser Ansatz nutzt die Inhaltssammlungen von Astro, um eine strukturierte, umfassende Ansicht der Inhalte Ihrer Website zu erstellen.
Da KI für die Inhaltsentdeckung immer wichtiger wird, positioniert die Implementierung von llms.txt Ihre Website für eine bessere Sichtbarkeit in der KI-gestützten Suchlandschaft. Die Implementierung ist einfach, performant und als Teil Ihres Astro-Build-Prozesses leicht zu warten.
Beginnen Sie noch heute mit der Implementierung von llms.txt, um sicherzustellen, dass Ihre Inhalte für die Zukunft der KI-gestützten Suche und Entdeckung bereit sind.
Häufig gestellte Fragen
Was ist der Unterschied zwischen llms.txt und sitemap.xml?
Während sitemap.xml Ihre Seiten für Suchmaschinen-Crawler auflistet, bietet llms.txt die tatsächlichen Inhalte in einem Format, das für Sprachmodelle optimiert ist, um sie zu verstehen und zu verarbeiten.
Wie oft sollte ich meine llms.txt-Datei aktualisieren?
Ihre llms.txt-Datei wird automatisch aktualisiert, wenn Sie Ihre Astro-Website neu erstellen, sodass sie mit Ihrem Inhaltsveröffentlichungszeitplan auf dem neuesten Stand bleibt.
Kann ich Bilder und Medien in llms.txt einfügen?
llms.txt ist textbasiert, fügen Sie also Beschreibungen von Bildern und Medien anstelle der Dateien selbst ein. Konzentrieren Sie sich auf textuelle Inhalte, die KI effektiv verarbeiten kann.
Wird sich llms.txt auf meine SEO auswirken?
Nein, llms.txt hat keine negativen Auswirkungen auf die traditionelle SEO. Es wurde entwickelt, um Ihre bestehende SEO-Strategie zu ergänzen, indem es Inhalte für KI-Tools zugänglich macht.
Wie groß sollte meine llms.txt-Datei sein?
Es gibt keine strenge Beschränkung, aber halten Sie sie angemessen. Für Websites mit Hunderten von Beiträgen sollten Sie erwägen, zu filtern, um nur Ihre wichtigsten oder neuesten Inhalte einzubeziehen.
