Zum Inhalt springen

Das richtige LLM ist entscheidend!

Beim entwickeln von Agenten braucht es ein LLM. Doch welches sollte man in betracht ziehen?

BildWarum ich mich für Mistral entschieden habe – und ob es Alternativen gibt.

Wer KI-Agenten für sein Unternehmen entwickelt, steht früh vor einer Grundsatzfrage: Welches Large Language Model (LLM) soll das System antreiben? Die Antwort bestimmt nicht nur die Qualität der Ergebnisse, sondern auch Kosten, Datenschutz und die langfristige Unabhängigkeit des gesamten Setups.

Für mein eigenes Multi-Agenten-System – das auf einem dedizierten Server läuft und Aufgaben wie E-Mail-Entwürfe, Projektübersichten, Akquise und Kommunikation steuert – habe ich mich für Mistral entschieden. Die Agenten laufen auf meinem Server, die Intelligenz kommt via API von Mistral. Hier erkläre ich warum.

Meine Anforderungen Bevor man ein Modell wählt, muss man wissen, was man braucht. Meine Kriterien waren klar:

Datenschutz und Datenhoheit. Ich arbeite mit Schweizer Gemeinden, Verwaltungen und Planungsbüros. Sensible Daten dürfen nicht unkontrolliert über US-Server laufen. Der API-Anbieter muss europäisch sein und Daten in Europa verarbeiten.

Bezahlbar bei wachsendem Volumen. KI-Agenten stellen hunderte Anfragen pro Tag. Die Kosten müssen auch bei steigendem Volumen kalkulierbar und tragbar bleiben – kein Modell, bei dem die Rechnung plötzlich explodiert.

Offene Lizenz und Flexibilität. Ich will keine Abhängigkeit von einem einzelnen Anbieter. Wenn sich die Bedingungen ändern, muss ich wechseln können – idealerweise auf ein Modell, das ich im Notfall auch selbst hosten könnte.

Solide Sprachqualität auf Deutsch. Viele Modelle sind auf Englisch optimiert. Für meinen Einsatz brauche ich zuverlässige Ergebnisse in deutscher Sprache – für Entwürfe, Zusammenfassungen und strukturierte Outputs.

Einfache Integration. Die API muss sauber dokumentiert sein und sich problemlos in mein bestehendes Python-basiertes Agentensystem einbinden lassen.

Warum Mistral?

Mistral erfüllt diese Anforderungen besser als jede Alternative, die ich getestet habe.

Europäischer Anbieter mit EU-Servern. Mistral AI ist ein französisches Unternehmen. Die API-Server stehen in Europa. Für Projekte mit Schweizer Gemeinden und Verwaltungen ist das kein Nice-to-have, sondern eine Grundvoraussetzung. Im Gegensatz zu OpenAI oder Google muss ich hier keine Diskussion über Datenabflüsse in die USA führen.

Apache 2.0-Lizenz. Die gesamte Mistral-3-Familie ist unter Apache 2.0 lizenziert – kommerziell nutzbar, modifizierbar, ohne Lizenzgebühren. Das gibt mir ein Sicherheitsnetz: Sollte Mistral die API-Bedingungen ändern, könnte ich das Modell theoretisch selbst hosten. Diese Unabhängigkeit hat kein vergleichbares Closed-Source-Modell.

Extrem günstige API-Kosten. Mistral Small kostet über die API rund $0.30 pro Million Output-Tokens. Zum Vergleich: Claude Sonnet liegt bei $15, GPT-5 bei $10. Bei hunderten Agenten-Anfragen pro Tag bleibt meine monatliche Rechnung im tiefen zweistelligen Bereich. Das macht KI-Agenten auch für kleine Unternehmen wirtschaftlich tragbar.

Token-Effizienz. Ein oft unterschätzter Faktor: Mistral-Modelle produzieren deutlich weniger Output-Tokens pro Aufgabe als vergleichbare Modelle. Weniger Tokens bedeuten schnellere Antworten und niedrigere Kosten. Im Alltag merkt man das: Die Antworten sind kompakt und auf den Punkt.

Gute mehrsprachige Fähigkeiten. Mistral 3 wurde von Grund auf multilingual trainiert, mit über 40 Sprachen im Pretraining. In meinen Tests liefert Mistral Small auf Deutsch zuverlässige, natürlich klingende Ergebnisse – nicht perfekt, aber absolut praxistauglich.

Saubere API, einfache Integration. Die Mistral-API folgt dem OpenAI-kompatiblen Standard. Wer bereits mit OpenAI-Libraries arbeitet, kann mit minimalen Anpassungen wechseln. Für mein Python-basiertes Agentensystem war die Integration unkompliziert.

Wo liegen die Grenzen? Ehrlichkeit gehört dazu: Mistral Small ist kein GPT-5 und kein Claude Opus. Bei hochkomplexem Reasoning, sehr langen Kontexten oder anspruchsvoller Codeanalyse stossen die kleineren Modelle an Grenzen. Für solche Aufgaben greife ich punktuell auf leistungsstärkere Cloud-APIs zurück – aber bewusst und selektiv, nicht als Standard.

Auch das Ökosystem ist kleiner. OpenAI und Anthropic haben mehr Integrationen, mehr Tutorials, mehr Community-Support. Wer mit Mistral arbeitet, findet weniger fertige Lösungen und muss gelegentlich etwas tiefer einsteigen.

Und das Schweizer LLM? Apertus im Blick

Seit September 2025 gibt es mit Apertus erstmals ein grosses Sprachmodell aus der Schweiz. Entwickelt von ETH Zürich, EPFL und dem nationalen Supercomputing-Zentrum CSCS, trainiert auf dem Supercomputer Alps in Lugano – mit 100% klimaneutralem Strom. Das Modell ist vollständig offen: Architektur, Gewichte, Trainingsdaten und -methoden sind dokumentiert und frei zugänglich.

Apertus ist in zwei Grössen verfügbar (8B und 70B Parameter), wurde auf über 1000 Sprachen trainiert – darunter explizit auch Schweizerdeutsch und Rätoromanisch – und erfüllt als erstes LLM seiner Grössenordnung die Transparenzpflichten des EU AI Act. Zugang gibt es über Hugging Face oder die souveräne Swiss AI Platform von Swisscom.

Für den Schweizer Kontext ist das hochspannend. Ein Modell, das unter Schweizer Datenschutzrecht entwickelt wurde, Schweizerdeutsch versteht und als öffentliche Infrastruktur gedacht ist – das hat kein anderes LLM der Welt zu bieten. Die ETH beschreibt Apertus bewusst nicht als Produkt, sondern als Impulsgeber: eine Basistechnologie, auf der andere aufbauen können.

Warum nutze ich es trotzdem (noch) nicht als Hauptmodell? Apertus ist ein Basismodell – kein fertig optimierter Chatbot oder Agent. Für den produktiven Einsatz in einem Multi-Agenten-System braucht es zusätzliche Infrastruktur, Fine-Tuning und eine API mit entsprechender Verfügbarkeit. Mistral bietet das heute als fertiges Paket. Aber Apertus ist definitiv ein Modell, das ich im Auge behalte – insbesondere wenn künftige Versionen domänenspezifische Fähigkeiten in Bereichen wie Recht oder Raumplanung entwickeln.

Gibt es weitere Alternativen? Die ehrliche Antwort: ja, es gibt Kandidaten. Aber keiner überzeugt in der Gesamtbetrachtung so gut wie Mistral.

Llama 4 (Meta) ist Open Source und leistungsstark. Aber: nicht europäisch, die Meta Community License hat Einschränkungen, und die grösseren Modelle sind primär für Self-Hosting gedacht – was deutlich mehr Hardware erfordert.

DeepSeek V3.2 liefert beeindruckende Qualität zu minimalen API-Kosten. Aber: Das Unternehmen sitzt in China. Für datenschutzsensible Schweizer Projekte ist das ein Ausschlusskriterium.

Qwen (Alibaba) – ähnliche Situation wie DeepSeek: technisch stark, aber der chinesische Hintergrund macht es für meinen Kontext unpraktikabel.

Phi-4 (Microsoft) – kompakt und effizient, aber mit kleinerem Kontextfenster und weniger ausgereiftem Multilingual-Support. Zudem kein europäischer Anbieter.

Mein Fazit

Die Wahl des LLM ist keine technische Nebensache – sie ist eine strategische Entscheidung. Für mein Setup – europäische API, budgetbewusst, datenschutzkonform, mit der Option auf Self-Hosting als Backup – ist Mistral die überzeugendste Lösung. Nicht weil es in jedem Benchmark gewinnt, sondern weil es die richtige Balance aus Qualität, Kontrolle und Wirtschaftlichkeit bietet.

Mit Apertus zeichnet sich zudem eine genuin schweizerische Alternative ab, die für öffentliche Institutionen und datensensible Anwendungen besonders interessant werden könnte.

Das «beste» LLM gibt es nicht. Aber das richtige für den eigenen Anwendungsfall – das lässt sich finden. Und genau diese Abwägung lohnt sich, bevor man die erste Zeile Code schreibt.

Autor: Andreas Rupf

KI-Potenzial für Ihre Planung?

Wir zeigen Ihnen, wie KI Ihre Planungsprozesse konkret unterstützen kann.

Gespräch vereinbaren →

Choosing the Right LLM Is Crucial!

When developing agents, you need an LLM. But which one should you consider?

ImageWhy I chose Mistral – and whether there are alternatives.

Anyone developing AI agents for their organisation faces a fundamental question early on: which Large Language Model (LLM) should power the system? The answer determines not only the quality of results, but also costs, data privacy and the long-term independence of the entire setup.

For my own multi-agent system – which runs on a dedicated server and manages tasks such as email drafts, project overviews, acquisition and communication – I chose Mistral. The agents run on my server, the intelligence comes via API from Mistral. Here I explain why.

My Requirements Before choosing a model, you need to know what you need. My criteria were clear:

Data privacy and data sovereignty. I work with Swiss municipalities, public administrations and planning offices. Sensitive data must not flow uncontrolled through US servers. The API provider must be European and process data in Europe.

Affordable at growing volumes. AI agents make hundreds of requests per day. Costs must remain calculable and manageable even at increasing volumes – no model where the bill suddenly explodes.

Open licence and flexibility. I do not want dependency on a single provider. If conditions change, I must be able to switch – ideally to a model I could also self-host in an emergency.

Solid language quality in German. Many models are optimised for English. For my use case, I need reliable results in German – for drafts, summaries and structured outputs.

Simple integration. The API must be cleanly documented and integrate seamlessly into my existing Python-based agent system.

Why Mistral?

Mistral meets these requirements better than any alternative I have tested.

European provider with EU servers. Mistral AI is a French company. The API servers are located in Europe. For projects with Swiss municipalities and public administrations, this is not a nice-to-have, but a basic requirement. Unlike OpenAI or Google, I do not need to have a discussion about data flows to the US.

Apache 2.0 licence. The entire Mistral 3 family is licensed under Apache 2.0 – commercially usable, modifiable, without licence fees. This gives me a safety net: should Mistral change the API terms, I could theoretically self-host the model. No comparable closed-source model offers this independence.

Extremely low API costs. Mistral Small costs around $0.30 per million output tokens via the API. For comparison: Claude Sonnet is at $15, GPT-5 at $10. With hundreds of agent requests per day, my monthly bill remains in the low double digits. This makes AI agents economically viable even for small organisations.

Token efficiency. An often underestimated factor: Mistral models produce significantly fewer output tokens per task than comparable models. Fewer tokens mean faster responses and lower costs. In everyday use, you notice it: the answers are compact and to the point.

Good multilingual capabilities. Mistral 3 was trained multilingually from scratch, with over 40 languages in the pretraining. In my tests, Mistral Small delivers reliable, naturally sounding results in German – not perfect, but absolutely practical.

Clean API, easy integration. The Mistral API follows the OpenAI-compatible standard. Anyone already working with OpenAI libraries can switch with minimal adjustments. For my Python-based agent system, the integration was straightforward.

Where are the limits? Honesty is part of it: Mistral Small is not GPT-5 and not Claude Opus. With highly complex reasoning, very long contexts or demanding code analysis, the smaller models reach their limits. For such tasks, I occasionally use more powerful cloud APIs – but deliberately and selectively, not as a standard.

The ecosystem is also smaller. OpenAI and Anthropic have more integrations, more tutorials, more community support. Working with Mistral means finding fewer ready-made solutions and occasionally having to dig a bit deeper.

And the Swiss LLM? Apertus on the Radar

Since September 2025, Apertus is Switzerland’s first large language model. Developed by ETH Zurich, EPFL and the national supercomputing centre CSCS, trained on the Alps supercomputer in Lugano – with 100% climate-neutral electricity. The model is fully open: architecture, weights, training data and methods are documented and freely accessible.

Apertus is available in two sizes (8B and 70B parameters), was trained on over 1000 languages – including explicitly Swiss German and Romansh – and is the first LLM of its size to fulfil the transparency requirements of the EU AI Act. Access is available via Hugging Face or Swisscom’s sovereign Swiss AI Platform.

For the Swiss context, this is very exciting. A model developed under Swiss data protection law, that understands Swiss German and is conceived as public infrastructure – no other LLM in the world offers this. ETH deliberately describes Apertus not as a product, but as an impulse: a base technology on which others can build.

Why am I (still) not using it as my main model? Apertus is a base model – not a fully optimised chatbot or agent. For productive use in a multi-agent system, it requires additional infrastructure, fine-tuning and an API with corresponding availability. Mistral offers this today as a ready-made package. But Apertus is definitely a model I am keeping an eye on – especially if future versions develop domain-specific capabilities in areas such as law or spatial planning.

Are there further alternatives? The honest answer: yes, there are candidates. But none convinces as comprehensively as Mistral.

Llama 4 (Meta) is open source and powerful. But: not European, the Meta Community Licence has restrictions, and the larger models are primarily designed for self-hosting – which requires significantly more hardware.

DeepSeek V3.2 delivers impressive quality at minimal API costs. But: the company is based in China. For data-sensitive Swiss projects, this is a disqualifying criterion.

Qwen (Alibaba) – similar situation to DeepSeek: technically strong, but the Chinese background makes it impractical for my context.

Phi-4 (Microsoft) – compact and efficient, but with a smaller context window and less mature multilingual support. Also not a European provider.

My Conclusion

The choice of LLM is not a technical side note – it is a strategic decision. For my setup – European API, budget-conscious, data-privacy-compliant, with the option of self-hosting as a backup – Mistral is the most convincing solution. Not because it wins every benchmark, but because it offers the right balance of quality, control and economic viability.

With Apertus, a genuinely Swiss alternative is emerging that could become particularly interesting for public institutions and data-sensitive applications.

The «best» LLM does not exist. But the right one for your own use case – that can be found. And this consideration is worthwhile before writing the first line of code.

Author: Andreas Rupf

AI Potential for Your Planning?

We show you how AI can concretely support your planning processes.

Schedule a conversation →