diff --git a/src/content/posts/ki-selbst-hosten/feature.png b/src/content/posts/ki-selbst-hosten/feature.png new file mode 100644 index 000000000..21e793166 Binary files /dev/null and b/src/content/posts/ki-selbst-hosten/feature.png differ diff --git a/src/content/posts/ki-selbst-hosten/index.de.md b/src/content/posts/ki-selbst-hosten/index.de.md new file mode 100644 index 000000000..a8821cf97 --- /dev/null +++ b/src/content/posts/ki-selbst-hosten/index.de.md @@ -0,0 +1,206 @@ +--- +title: 'KI selbst hosten: Maximale Kontrolle über Ihre Daten, Modelle und Kosten' +description: 'Statt Anfragen an eine externe Cloud KI zu übertragen, können Sie auf Ihrer eigenen On-Premises-Infrastruktur auch eine KI lokal betreiben. Wenn Sie Ihre KI selbst hosten, schützen Sie sensible Firmendaten und machen sich unabhängig von Cloud-Anbietern. Laufende Kosten und eingesetzte Modelle bestimmen Sie selbst. Erfahren Sie in diesem Artikel, wie Sie einen eigenen KI-Server aufsetzen, welche Hardware und Software Sie benötigen und worauf Sie bei der Auswahl lokaler KI-Modelle achten sollten. Zudem lesen Sie, welche Vorteile es bietet, eine KI lokal zu installieren und nahtlos in No-Code AI Workflows und bestehende Systeme zu integrieren.' +seo: + title: 'KI selbst hosten – maximale Kontrolle mit SeaTable' + description: 'Erfahren Sie, wie Sie eine KI selbst hosten, sensible Daten schützen und sich mit einem eigenen KI Server unabhängig von Cloud KI machen.' +date: 2026-09-14 +url: '/de/ki-selbst-hosten' +categories: + - 'best-practice' +tags: + - 'Digitale Transformation' + - 'IT Sicherheit & Datenschutz' + - 'Integrationen & Automatisierung' +color: '#dfe8f8' +register: + show: true +--- + +## Warum Sie Ihre eigene KI hosten sollten + +Texte schreiben, E-Mails zusammenfassen, Bilder erstellen: [Generative KI]({{< relref "posts/kuenstliche-intelligenz" >}}) ist längst im Arbeitsalltag angekommen. Immer mehr Unternehmen setzen künstliche Intelligenz produktiv ein, **automatisieren Prozesse und erschließen neue Effizienzpotenziale**. Dabei entwickeln sich KI-Tools zunehmend vom Experimentierkasten zur geschäftskritischen Technologie. + +Deshalb wachsen vielerorts die Bedenken ebenso wie die Anforderungen im Hinblick auf **Datenschutz, Datenhoheit, Kostenkontrolle und IT-Sicherheit**. Wer sensible Firmendaten, interne Dokumente oder Quellcode an externe Cloud AI Services übermittelt, sollte sich darüber im Klaren sein, wo diese Daten landen, inwiefern sie geschützt sind oder beim Training der Modelle Verwendung finden. + +Wenn Sie eine KI selbst hosten, verlagern Sie die Verarbeitung der Daten dagegen in Ihre eigene [Infrastruktur]({{< relref "posts/it-infrastruktur" >}}). Ein lokales LLM (Large Language Model) kann beispielsweise auf einem KI Server im Rechenzentrum Ihres Unternehmens laufen. So schaffen Sie die technische Grundlage für [digitale Souveränität]({{< relref "posts/digitale-souveraenitaet" >}}). + +## KI selbst hosten: Die wichtigsten Vorteile auf einen Blick + +- **Hochgradiger Datenschutz**: Sensible Daten befinden sich innerhalb Ihrer eigenen Server-Infrastruktur und werden nicht an externe KI-Dienste übermittelt. +- **Digitale Souveränität**: Mit einem Open-Source-Modell können Sie eine eigene KI trainieren und unabhängig von großen KI-Anbietern agieren. +- **Volle Kostenkontrolle**: Bei lokaler KI fallen keine nutzungsabhängigen Token-Kosten an und Sie bleiben von Preissteigerungen externer Cloud KI verschont. +- **Mehr Flexibilität**: Sie entscheiden selbst, welches KI-Modell Sie einsetzen, mit welchen Daten Sie es trainieren und wann Sie neue Versionen installieren. +- **Nahtlose Integration**: Über API-Schnittstellen lässt sich die lokale KI mit Datenbanken, Anwendungen und Automatisierungen zu einem umfassenden System verbinden. + +![KI selbst hosten](ki-selbst-hosten.jpg) + +## Lokale künstliche Intelligenz vs. Cloud-KI + +Die Entscheidung, ob Sie Cloud-KI nutzen oder KI selbst hosten, ist keine leichte. Beide Ansätze haben ihre Vor- und Nachteile. Die Präferenz für Self-Hosting oder Cloud AI hängt vor allem davon ab, wie hoch Sie bestimmte Kriterien gewichten. Bewerten Sie daher, wie hoch Ihre Anforderungen an **digitale Souveränität, Datenschutz, Compliance, Skalierbarkeit, Modellgröße und Gesamtkosten** tatsächlich sind. + +- **Cloud AI Services** punkten häufig mit einer einfachen, nutzungsabhängigen Skalierung und einem **schnellen Setup ohne Hardware-Installation**. Das heißt, Sie müssen keine GPU-Infrastruktur beschaffen und warten, sondern nutzen die KI-Server des Anbieters. Für einzelne Aufgaben, Testphasen oder eine **stark schwankende, kaum vorhersehbare Nutzung** kann Cloud KI besonders attraktiv sein. + +- Demgegenüber bietet **lokale künstliche Intelligenz** auf Ihrem eigenen KI-Server die **volle Kontrolle über die Datenverarbeitung**. Sie entscheiden selbst, welche Modelle Sie einsetzen, mit welchen Systemen sie integriert sind und welche Daten sie verarbeiten. Bei **konstant hoher KI-Nutzung** und hohem Wert der (vertraulichen) Daten wird Self-Hosting auch wirtschaftlich interessant. + +| Kriterium | Lokale KI | Cloud-KI | +| ------------------------------- | ------------------------------- | ------------------------------- | +| **Hardware** | im eigenen Besitz | angemietet nach Bedarf | +| **Datenkontrolle** | sehr hoch | gering, abhängig vom Anbieter | +| **Skalierbarkeit** | unflexibel, abhängig von der Hardware | sehr flexibel und einfach | +| **Wartungsaufwand** | hoch | gering | +| **Kosten** | hohe Anschaffungs- und Betriebskosten | laufende Lizenzkosten, meist nutzungsabhängig | +| **Offline-Betrieb** | möglich | nicht möglich | + +## Hardware & Infrastruktur: Was braucht ein eigener KI Server? + +Wenn Sie eine KI selber hosten möchten, sollten Sie nicht nur die Fähigkeiten der Modelle beachten. Entscheidend ist das Zusammenspiel aus Hardware, Modellgröße und konkreten Geschäftsprozessen. Daher lautet die zentrale Frage: **Wie viel Rechenleistung benötigen Sie für Ihre KI-Prozesse?** Ihr eigener KI Server braucht vor allem GPU, VRAM, SSD-Speicher und Kühlung. Bei mehreren parallelen Nutzern kommen außerdem eine effiziente GPU-Auslastung und Netzwerkbandbreite hinzu. + +### GPU und VRAM + +Grafikprozessoren (Graphics Processing Units, GPUs) bilden heutzutage das Herzstück von KI-Servern. Für LLMs ist insbesondere der verfügbare VRAM (Video Random Access Memory) der GPU relevant. Darunter versteht man **den lokalen Arbeitsspeicher einer Grafikkarte**, der als schneller Zwischenspeicher zum Erstellen von Texten, Grafiken und Bildern dient. + +![KI selbst hosten: Grafikkarten](ki-selbst-hosten-grafikkarten.jpg) + +Nicht immer müssen Sie für Grafikkarten tief in die Tasche greifen. Kleine KI-Modelle können Sie teilweise schon auf leistungsfähiger Consumer Hardware mit bis zu 12 GB betreiben, während größere Modelle deutlich mehr GPU-Speicher (meist über 24 GB) benötigen. + +### Bauliche Infrastruktur + +Ein eigener KI Server kann viel Abwärme freisetzen sowie einen enormen Stromverbrauch und Durchsatz haben. Um KI selbst hosten zu können, benötigen Sie deshalb neben den bereits erwähnten Komponenten spezielle **Kühlsysteme**, **Verkabelung**, **Netzwerke**, **unterbrechungsfreie Stromversorgung** und natürlich **Serverräume**, in denen Ihr eigener KI Server stehen soll. + +![Infrastruktur für den eigenen KI Server](ki-server.jpg) + +## Geeignete Modelle, um KI selbst zu hosten + +Welche KI-Modelle eignen sich am besten, um eine KI lokal zu nutzen? Das hängt hauptsächlich von der gewünschten **Modellgröße**, dem **Anwendungsfall** und der verfügbaren **Hardware** ab. + +### KI-Modellgrößen von 7B bis 70B + +7B und 70B stehen für die **Anzahl der Parameter eines KI-Modells in Milliarden** (englisch „billion“), wobei 7 Milliarden Parameter einem kleinen und 70 Milliarden Parameter einem großen Modell entsprechen. Je nach Anwendungsfall kann ein kleines, schnelles und günstiges 7B-Modell oder ein großes, rechenintensives und kostspieliges 70B-Modell besser geeignet sein, wenn Sie KI selbst hosten möchten. Als grobe Orientierung soll die folgende Übersicht dienen: + +- **7B-Modelle** sind ideal für unkomplizierte Aufgaben wie Chats und einfache Automatisierungen. Sie können gewöhnliche Texte verstehen, Zusammenfassungen schreiben oder einfache Fragen beantworten. Bei komplizierten Logikrätseln oder tiefem Fachwissen machen sie jedoch Fehler. Dafür benötigen sie wenig Strom und Rechenleistung und können bereits auf einem handelsüblichen Gaming-PC laufen. +- **70B-Modelle** können komplexe Probleme lösen, anspruchsvollere Unternehmensaufgaben übernehmen und wie ein Experte über schwierige Themen diskutieren. Sie brauchen aber länger zum Rechnen und Antworten und haben hohe VRAM-Anforderungen. Dadurch kosten sie im Betrieb deutlich mehr Strom und benötigen teure Profi-Grafikkarten, die normalerweise in Rechenzentren zu finden sind. + +| Aspekt | 7B-Modelle | 70B-Modelle | +| ---------------------------- | ---------------------------- | ---------------------------- | +| **Modellgröße** | klein | groß | +| **Antwortgeschwindigkeit** | sehr schnell | spürbar langsamer | +| **Logik** | einfach | komplex | +| **Hardware-Anforderungen** | relativ niedrig | sehr hoch | +| **Kosten** | günstig | teuer | +| **Typische Einsatzgebiete** | z. B. einfache Automatisierung, Chatbots | z. B. komplexe Analysen und anspruchsvolle Aufgaben | + +![KI-Modell selbst hosten](ki-modell-selbst-hosten.jpg) + +### Quantisierung + +Darüber hinaus sollten Sie nicht nur auf die Größe des Modells achten, sondern auch auf die Quantisierung. Denn quantisierte Modellvarianten benötigen **wesentlich weniger VRAM** als Modelle mit voller Präzision. Unter Quantisierung versteht man die Reduzierung von Rechengenauigkeiten bei KI-Modellen, zum Beispiel von 32-Bit-Gleitkommazahlen auf 8-Bit-Ganzzahlen. Dabei geht man einen **Kompromiss zwischen der Geschwindigkeit und der Genauigkeit der Berechnungen** ein. + +{{< warning headline="Informatik-Exkurs" text="Bei **32-Bit-Gleitkommazahlen (FP32)** gibt es eine Menge von rund 4,3 Milliarden möglichen Werten, die von -3,4 ⋅ 10³⁸ bis 3,4 ⋅ 10³⁸ reichen; bei **8-Bit-Ganzzahlen (INT8)** hingegen nur 256 mögliche Werte von -128 bis 127. Da es sich bei Letzteren um einen wesentlich kleineren Wertebereich handelt, kann die Matrixmultiplikation viel schneller erfolgen." />}} + +Quantisierung verringert den Rechenaufwand und kann große Modelle für lokale KI-Systeme praktikabel machen, indem sie **die Antwortgeschwindigkeit bei gleichbleibender Hardware-Rechenleistung erhöht**. Eine sinnvolle Strategie beim KI selbst hosten ist, zunächst mit einem quantisierten Modell zu starten. So können Sie testen, welche Antwortgeschwindigkeit und Qualität Ihr konkreter Anwendungsfall verlangt, bevor Sie in eine leistungsfähigere GPU-Infrastruktur investieren. + +![KI selbst hosten: Platine](ki-selbst-hosten-platine.jpg) + +### Open-Source-Modelle, mit denen Sie KI selbst hosten können + +Wenn Sie KI selber hosten möchten, bieten sich insbesondere **nicht-kommerzielle Open-Source-Modelle** mit unterschiedlichen Größen und Fähigkeiten an. Ein sehr beliebtes Modell ist **Llama 3.3**, das aktuell als Standard für eigene KI Server mit leistungsstarker Hardware gilt. Hier sehen Sie einen Vergleich von Llama 3.3 des US-Konzerns Meta mit einem **europäischen Modell von Mistral** und einer **chinesischen Alternative von Alibaba**. Alle Modelle sind quelloffen und nutzen Q4-Quantisierung, wodurch der Speicherbedarf im Vergleich zur vollen Präzision etwa geviertelt wird. + +| Name | Anbieter | Größe | Haupteinsatzgebiet | Benötigter VRAM | +| -------------------- | --------- | ------ | ------------------------------------ | --------------- | +| **Llama 3.3** | Meta | 70B | Allrounder mit komplexer Logik | 42 bis 45 GB | +| **Qwen 2.5 Coder** | Alibaba | 32B | Programmierung und Datenanalyse | 20 bis 24 GB | +| **Mistral Large 2** | Mistral | 123B | Businessanwendungen und Agenten | 75 bis 80 GB | + + +## KI lokal installieren und betreiben: Ollama, vLLM & Co. + +Wenn Sie eine KI lokal installieren möchten, müssen Sie heute keine komplexe Software-Architektur mehr entwickeln. Einige Tools können den Einstieg erheblich vereinfachen. + +### Ollama + +Ollama ist eine **Open-Source-Software**, die es Ihnen ermöglicht, KI lokal zu betreiben. Mithilfe von Ollama können Sie **frei verfügbare Sprachmodelle direkt auf Ihren Rechner herunterladen** und über eine standardisierte Schnittstelle für eine Vielzahl von Anwendungen verfügbar machen. Ein Nachteil ist, dass Ollama **keine grafische Benutzeroberfläche** für Linux besitzt, weshalb es technisches Vorwissen erfordert. + +### vLLM + +Ebenso wie Ollama ist vLLM eine **quelloffene Inferenz-Engine** für große Sprachmodelle (LLMs). Die Einrichtung und die Anwendungsfälle sind im Vergleich jedoch anspruchsvoller. vLLM ist auf **hohen Durchsatz und mehrere GPUs** ausgelegt und eignet sich insbesondere für eigene KI Server mit **vielen parallelen Anfragen**. Es zeichnet sich dadurch aus, den Betrieb von KI-Modellen auf eigener Hardware schneller, effizienter und skalierbarer zu machen. + +![Leistungsfähiger eigener KI Server](ki-selbst-hosten-infrastruktur.jpg) + +### LM Studio + +Dank einer einfach zu bedienenden **Desktop-App mit grafischer Benutzeroberfläche** punktet LM Studio als niedrigschwellige Alternative zu Ollama und vLLM. Dabei integriert LM Studio die Plattform **Hugging Face**, die Zugriff auf verschiedene KI-Modelle erlaubt. Sobald Sie ein geeignetes Modell heruntergeladen und installiert haben, können Sie sofort mit dem Chatbot interagieren. Dafür ist LM Studio aber auch ressourcenhungriger und **nicht quelloffen**. + +### Open Web UI + +Eine weitere interessante Komponente für den Fall, dass Sie KI selbst hosten möchten, ist Open Web UI. Mit dieser selbst gehosteten KI-Plattform können Sie **eine benutzerfreundliche Weboberfläche für KI-Modelle schaffen**, die Sie beispielsweise mit Ollama oder vLLM lokal betreiben. So wird aus einem zunächst unzugänglichen lokalen LLM eine Anwendung, die auch **Menschen ohne technisches Expertenwissen** nutzen können. + +![KI selbst hosten und mit Benutzeroberfläche als Chatbot nutzen](ki-selbst-hosten-chatbot.jpg) + +### Beispiel-Architektur, wie Sie KI selbst hosten können + +Eine typische Architektur könnte beispielsweise so aussehen: + +**Benutzer → Open Web UI → Ollama oder vLLM → lokales LLM** + +Auf diese Weise können Sie eine KI lokal installieren und Anwendungen über APIs anbinden. Wenn Sie KI lokal betreiben, sollten Sie außerdem **Monitoring, Authentifizierung, Berechtigungen, Backups und Updates** von Anfang an mitdenken. Ein LLM auf Ihrem eigenen KI Server zu starten ist technisch nur der erste Schritt auf dem Weg zu einem sicheren produktiven System. + +## No-Code AI und Workflows: KI smart integrieren + +Der größte Mehrwert entsteht häufig nicht durch die KI selbst, sondern durch ihre Einbindung in [Geschäftsprozesse]({{< relref "pages/landing-pages/industry-solutions/operations" >}}). Eine lokale künstliche Intelligenz kann beispielsweise neue Datensätze aus einer internen Datenbank analysieren, Texte klassifizieren oder eingehende Dokumente zusammenfassen. Über eine API-Schnittstelle lässt sich das Ergebnis anschließend zum Beispiel an ein [CRM-System]({{< relref "posts/no-code-crm" >}}) übergeben oder eine Automatisierung starten. + +Dank **No-Code AI** – beispielsweise mit einem No Code AI Workflow Builder – können Sie solche Abläufe größtenteils ohne klassische Programmierung modellieren. Das reduziert den Entwicklungsaufwand und macht KI-Funktionen für [Citizen Developer]({{< relref "posts/20250317-citizen-developer" >}}) im Unternehmen zugänglich. Wenn Sie sowohl den No Code AI Workflow Builder als auch die KI selbst hosten, findet die Datenverarbeitung ausschließlich innerhalb Ihrer eigenen Infrastruktur statt. + +### Die KI-Automatisierungen von SeaTable + +Bei **SeaTable** haben Sie die Wahl: Profitieren Sie von der Skalierbarkeit und dem Komfort der [Cloud]({{< relref "posts/cloud-computing" >}}) oder installieren Sie SeaTable On-Premises auf Ihrer eigenen Infrastruktur. Als [KI No-Code-Plattform]({{< relref "/" >}}) eröffnet Ihnen SeaTable interessante Möglichkeiten wie die Kombination von [No Code]({{< relref "posts/20250307-low-code" >}}), [relationalen Datenbanken]({{< relref "posts/relationale-datenbank" >}}) und [KI-Automatisierungen]({{< relref "pages/landing-pages/use-cases/ai-automations" >}}): Nutzen Sie leistungsstarke Funktionen wie **Summarize, OCR, Extract, Classify und Custom Prompts**. + +![KI-Automatisierungen von SeaTable](ki-automatisierung-seatable.jpg) + +[SeaTable Cloud]({{< relref "pages/product/seatable-cloud" >}}) verwendet als KI-Modell ein Gemma3 von Google mit 12 Milliarden Parametern. Für Cloud-Nutzer laufen KI-Automationen dabei über unseren eigenen KI-Server in Deutschland. Ihre Daten verlassen zu keinem Zeitpunkt diese Infrastruktur und fließen nicht an Google oder andere US-Anbieter. + +Für volle Kontrolle können Sie nicht nur [SeaTable Server]({{< relref "pages/product/seatable-server" >}}), sondern auch Ihre KI selbst hosten. So können Sie Workflows automatisieren, ohne sensible Informationen an eine externe Cloud-KI übertragen zu müssen. Die Komponente **SeaTable AI** basiert auf LiteLLM und unterstützt dadurch die Anbindung einer Vielzahl von Modellen – darunter alle LLM-Dienste mit einer OpenAI-kompatiblen API. In unserem Admin-Handbuch finden Sie die [Anleitung zum Deployment von SeaTable AI](https://admin.seatable.com/installation/components/seatable-ai/) und Beispielkonfigurationen für zahlreiche populäre LLMs. + +### KI-Agenten mit SeaTable verbinden + +Sie möchten einen Echtzeit-Dialog über Ihre Datenbank in SeaTable führen oder sie mit individuellen Prompts in natürlicher Sprache bearbeiten? Dann ist ein [KI-Agent]({{< relref "help/ai/ai-agents/what-are-ai-agents" >}}) genau die richtige Lösung! Hinter diesem Ansatz steckt der [SeaTable MCP Server]({{< relref "posts/mcp-server" >}}). MCP (Model Context Protocol) steht für einen offenen Standard, der es KI-Modellen ermöglicht, aktiv mit Datenquellen zu interagieren. So kann der Chatbot direkt auf Ihre Datenbank in SeaTable zugreifen und Fragen dazu beantworten – ohne Umwege oder Informationsverlust. + +Am besten funktioniert das mit leistungsstarken KI-Modellen (z. B. [Claude Desktop]({{< relref "help/ai/ai-agents/connect-claude-desktop" >}}) von Anthropic), die komplexe Fragen beantworten und mehrstufig mit Ihren Daten arbeiten können. Aus Datenschutzgründen ist es wichtig zu verstehen, dass Sie dem KI-Agenten Zugriff auf die Daten in Ihrer SeaTable Base gewähren. Die Berechtigungen des KI-Agenten steuern Sie dabei über den **API-Token**, den Sie in SeaTable erzeugen. Wenn Sie eine KI selbst hosten, können Sie sowohl SeaTable als auch den MCP Server auf Ihrer eigenen Infrastruktur installieren und mit der lokalen KI verbinden (zum Beispiel über Ollama oder LM Studio). So verlassen Ihre Daten zu keinem Zeitpunkt Ihr System. Mehr Informationen dazu finden Sie [hier]({{< relref "help/ai/ai-agents/data-security" >}}). + +## Fazit: KI selbst hosten verschafft digitale Unabhängigkeit + +Wenn Sie Ihre eigene KI hosten, entscheiden Sie selbst über das KI-Modell, betreiben Ihren eigenen KI-Server und behalten die volle Kontrolle über Ihre Daten. Das ist besonders für Unternehmen mit hohen Datenschutzanforderungen und den [öffentlichen Sektor]({{< relref "pages/landing-pages/industry-solutions/public-service" >}}) interessant. Wer KI selbst hosten möchte, sollte die Infrastruktur allerdings realistisch planen: GPU und VRAM bestimmen maßgeblich die mögliche Modellgröße, wobei Quantisierung die Geschwindigkeit optimieren kann. + +Mit der richtigen Architektur und Open-Source-Software wie Ollama oder vLLM lässt sich KI lokal betreiben und über APIs in bestehende Unternehmensprozesse integrieren. No-Code AI Tools wie SeaTable ermöglichen Ihnen indes, Ihre [Workflows]({{< relref "pages/landing-pages/industry-solutions/individual" >}}) effizient zu automatisieren sowie Ihre No-Code-Datenbanken mit KI-Agenten zu analysieren und zu bearbeiten, ohne sensible Geschäftsdaten an eine externe Cloud-KI übermitteln zu müssen. + +## FAQ: KI selbst hosten + +{{< faq "Was ist der größte Vorteil daran, eine eigene KI zu hosten?" >}} + +Der wichtigste Vorteil ist die Datenhoheit. Wenn Sie sowohl Ihr bisheriges System als auch die KI selber hosten, verlassen Ihre Daten nie Ihre eigene Infrastruktur. Das ermöglicht eine Architektur, die auf hohen Datenschutz und digitale Souveränität ausgerichtet ist. + +{{< /faq >}} + +{{< faq "Welche Hardware benötige ich für einen eigenen KI-Server?" >}} + +Das hängt hauptsächlich vom gewünschten KI-Modell ab. Kleine 7B-Modelle sind deutlich günstiger zu betreiben als 70B-Modelle. Entscheidend sind insbesondere GPU und VRAM. Zusätzlich benötigen Sie ausreichend SSD-Speicher und eine passende bauliche Infrastruktur (z. B. Kühlsysteme). Durch Quantisierung lassen sich die Hardware-Anforderungen vieler Modelle allerdings reduzieren. + +{{< /faq >}} + +{{< faq "Wie unterscheidet sich die Performance von lokaler KI und kommerzieller Cloud-KI?" >}} + +Prinzipiell können KI-Modelle auf Ihrem eigenen KI-Server die gleiche Leistung erzielen wie in der Cloud. Kommerzielle Cloud AI Services verfügen jedoch häufig über eigene Rechenzentren mit sehr großen GPU-Clustern und können deshalb unfassbar leistungsfähige Modelle bereitstellen und quasi beliebig skalieren. Lokale künstliche Intelligenz kann dagegen nicht flexibel skalieren und benötigt entsprechend leistungsfähige Hardware, um eine gute Geschwindigkeit bei hoher Auslastung zu erreichen. + +{{< /faq >}} + +{{< faq "Kann ich KI lokal mit No-Code-Tools und Automatisierungen verbinden?" >}} + +Ja. Über API-Schnittstellen können Sie ein lokal laufendes LLM mit No-Code AI Tools wie SeaTable verbinden, mit dem Sie ohne Programmierkenntnisse eigene Datenbanken, Anwendungen und Automatisierungen erstellen können. So können Sie beispielsweise Texte zusammenfassen, Datensätze klassifizieren oder Dokumente auslesen lassen und anschließend automatisch weitere Folgeaktionen auslösen. + +{{< /faq >}} + +{{< faq "Welche Open-Source-Modelle eignen sich, um eine KI lokal zu betreiben?" >}} + +Das hängt vom Anwendungsfall und der verfügbaren Hardware ab. Wie alle LLMs haben auch Open-Source-Modelle unterschiedliche Größen und Fähigkeiten. Llama 3.3 ist zum Beispiel ein bekanntes 70B-Modell von Meta, das für komplexe Standard-Aufgaben geeignet ist und etwa 42 bis 45 GB VRAM erfordert. Europäische Alternativen gibt es von Mistral. + +{{< /faq >}} diff --git a/src/content/posts/ki-selbst-hosten/index.en.md b/src/content/posts/ki-selbst-hosten/index.en.md new file mode 100644 index 000000000..f301e2cf3 --- /dev/null +++ b/src/content/posts/ki-selbst-hosten/index.en.md @@ -0,0 +1,206 @@ +--- +title: 'Self-Hosting AI: Maximum Control Over Your Data, Models and Costs' +description: 'Instead of sending requests to an external cloud AI, you can also run an AI locally on your own on-premises infrastructure. When you self-host your AI, you protect sensitive company data and make yourself independent of cloud providers. You decide on the running costs and the models you use. In this article, you will learn how to set up your own AI server, which hardware and software you need and what to look out for when choosing local AI models. You will also read about the benefits of installing an AI locally and integrating it seamlessly into no-code AI workflows and existing systems.' +seo: + title: 'Self-Host AI – Maximum Control with SeaTable' + description: 'Learn how to self-host an AI, protect sensitive data and become independent of cloud AI with your own AI server.' +date: 2026-09-14 +url: '/self-host-ai' +categories: + - 'best-practice' +tags: + - 'Digital Transformation' + - 'IT Security & Data Privacy' + - 'Integrations & Automations' +color: '#dfe8f8' +register: + show: true +--- + +## Why you should host your own AI + +Writing texts, summarizing emails, creating images: [generative AI]({{< relref "posts/kuenstliche-intelligenz" >}}) has long since arrived in everyday working life. More and more companies are putting artificial intelligence to productive use, **automating processes and unlocking new efficiency potential**. In the process, AI tools are increasingly evolving from an experimental toy into a business-critical technology. + +That is why concerns are growing in many places, as are the requirements regarding **data protection, data sovereignty, cost control and IT security**. Anyone who transmits sensitive company data, internal documents or source code to external cloud AI services should be clear about where that data ends up, to what extent it is protected and whether it is used to train the models. + +When you self-host an AI, on the other hand, you move data processing into your own [infrastructure]({{< relref "posts/it-infrastruktur" >}}). A local LLM (large language model) can run, for example, on an AI server in your company's data center. This is how you create the technical basis for [digital sovereignty]({{< relref "posts/digitale-souveraenitaet" >}}). + +## Self-hosting AI: the key benefits at a glance + +- **A high level of data protection**: Sensitive data stays within your own server infrastructure and is not transmitted to external AI services. +- **Digital sovereignty**: With an open source model, you can train your own AI and act independently of the major AI providers. +- **Full cost control**: With a local AI, there are no usage-based token costs, and you are spared price increases from external cloud AI. +- **More flexibility**: You decide for yourself which AI model to use, which data to train it with and when to install new versions. +- **Seamless integration**: Via API interfaces, the local AI can be connected with databases, applications and automations to form a comprehensive system. + +![Self-hosting AI](ki-selbst-hosten.jpg) + +## Local artificial intelligence vs. cloud AI + +Deciding whether to use cloud AI or to self-host AI is not an easy one. Both approaches have their advantages and disadvantages. Whether self-hosting or cloud AI is preferable depends above all on how much weight you give to certain criteria. So assess how high your requirements really are in terms of **digital sovereignty, data protection, compliance, scalability, model size and total costs**. + +- **Cloud AI services** often score with simple, usage-based scaling and a **quick setup without any hardware installation**. This means you do not have to procure and maintain GPU infrastructure, but use the provider's AI servers instead. For individual tasks, test phases or **highly fluctuating, barely predictable usage**, cloud AI can be particularly attractive. + +- **Local artificial intelligence** on your own AI server, by contrast, offers **full control over data processing**. You decide for yourself which models to use, which systems they are integrated with and which data they process. With **consistently high AI usage** and data of high (confidential) value, self-hosting also becomes economically interesting. + +| Criterion | Local AI | Cloud AI | +| ------------------------------- | ------------------------------- | ------------------------------- | +| **Hardware** | owned by you | rented as needed | +| **Data control** | very high | low, depends on the provider | +| **Scalability** | inflexible, depends on the hardware | very flexible and simple | +| **Maintenance effort** | high | low | +| **Costs** | high acquisition and operating costs | ongoing license costs, usually usage-based | +| **Offline operation** | possible | not possible | + +## Hardware & infrastructure: what does your own AI server need? + +If you want to self-host an AI, you should not only consider the capabilities of the models. What is decisive is the interplay of hardware, model size and specific business processes. The central question is therefore: **how much computing power do you need for your AI processes?** Above all, your own AI server needs a GPU, VRAM, SSD storage and cooling. With several parallel users, efficient GPU utilization and network bandwidth are also required. + +### GPU and VRAM + +Graphics processing units (GPUs) form the heart of AI servers today. For LLMs, the GPU's available VRAM (video random access memory) is particularly relevant. This refers to **the local memory of a graphics card**, which serves as fast intermediate storage for creating texts, graphics and images. + +![Self-hosting AI: graphics cards](ki-selbst-hosten-grafikkarten.jpg) + +You do not always have to dig deep into your pockets for graphics cards. Small AI models can in some cases already be run on powerful consumer hardware with up to 12 GB, while larger models require considerably more GPU memory (usually more than 24 GB). + +### Physical infrastructure + +Your own AI server can release a lot of waste heat and have enormous power consumption and throughput. In order to self-host AI, you therefore need not only the components already mentioned, but also special **cooling systems**, **cabling**, **networks**, **uninterruptible power supplies** and, of course, **server rooms** to house your own AI server. + +![Infrastructure for your own AI server](ki-server.jpg) + +## Suitable models for self-hosting AI + +Which AI models are best suited for using an AI locally? That depends mainly on the desired **model size**, the **use case** and the available **hardware**. + +### AI model sizes from 7B to 70B + +7B and 70B stand for the **number of parameters of an AI model in billions**, with 7 billion parameters corresponding to a small model and 70 billion parameters to a large one. Depending on the use case, a small, fast and inexpensive 7B model or a large, compute-intensive and costly 70B model may be the better choice when you want to self-host AI. The following overview serves as a rough guide: + +- **7B models** are ideal for straightforward tasks such as chats and simple automations. They can understand ordinary texts, write summaries or answer simple questions. With complicated logic puzzles or deep specialist knowledge, however, they make mistakes. In return, they need little electricity and computing power and can already run on an ordinary gaming PC. +- **70B models** can solve complex problems, take on more demanding business tasks and discuss difficult topics like an expert. But they take longer to compute and respond and have high VRAM requirements. As a result, they cost significantly more electricity to operate and require expensive professional graphics cards that are normally found in data centers. + +| Aspect | 7B models | 70B models | +| ---------------------------- | ---------------------------- | ---------------------------- | +| **Model size** | small | large | +| **Response speed** | very fast | noticeably slower | +| **Logic** | simple | complex | +| **Hardware requirements** | relatively low | very high | +| **Costs** | inexpensive | expensive | +| **Typical areas of use** | e.g. simple automation, chatbots | e.g. complex analyses and demanding tasks | + +![Self-hosting an AI model](ki-modell-selbst-hosten.jpg) + +### Quantization + +Beyond that, you should pay attention not only to the size of the model, but also to quantization. That is because quantized model variants need **considerably less VRAM** than full-precision models. Quantization refers to reducing the computational precision of AI models, for example from 32-bit floating-point numbers to 8-bit integers. This involves a **trade-off between the speed and the accuracy of the calculations**. + +{{< warning headline="Technical background" text="With **32-bit floating-point numbers (FP32)**, there is a set of around 4.3 billion possible values ranging from -3.4 ⋅ 10³⁸ to 3.4 ⋅ 10³⁸; with **8-bit integers (INT8)**, by contrast, there are only 256 possible values from -128 to 127. Since the latter is a much smaller range of values, matrix multiplication can be performed much faster." />}} + +Quantization reduces the computational effort and can make large models practicable for local AI systems by **increasing the response speed at the same hardware computing power**. A sensible strategy when self-hosting AI is to start with a quantized model first. This lets you test what response speed and quality your specific use case demands before you invest in a more powerful GPU infrastructure. + +![Self-hosting AI: circuit board](ki-selbst-hosten-platine.jpg) + +### Open source models you can use to self-host AI + +If you want to self-host AI, **non-commercial open source models** in various sizes and with various capabilities are particularly suitable. One very popular model is **Llama 3.3**, which currently counts as the standard for your own AI server with powerful hardware. Here you can see a comparison of Llama 3.3 from the US corporation Meta with a **European model from Mistral** and a **Chinese alternative from Alibaba**. All models are open source and use Q4 quantization, which reduces the memory requirement to roughly a quarter compared to full precision. + +| Name | Provider | Size | Main area of use | VRAM required | +| -------------------- | --------- | ------ | ------------------------------------ | --------------- | +| **Llama 3.3** | Meta | 70B | all-rounder with complex logic | 42 to 45 GB | +| **Qwen 2.5 Coder** | Alibaba | 32B | programming and data analysis | 20 to 24 GB | +| **Mistral Large 2** | Mistral | 123B | business applications and agents | 75 to 80 GB | + + +## Installing and running AI locally: Ollama, vLLM & co. + +If you want to install an AI locally, you no longer have to develop a complex software architecture today. A few tools can make getting started considerably easier. + +### Ollama + +Ollama is **open source software** that enables you to run AI locally. With Ollama, you can **download freely available language models directly onto your computer** and make them available to a wide range of applications via a standardized interface. One disadvantage is that Ollama does **not have a graphical user interface** for Linux, which is why it requires prior technical knowledge. + +### vLLM + +Just like Ollama, vLLM is an **open source inference engine** for large language models (LLMs). By comparison, however, the setup and the use cases are more demanding. vLLM is designed for **high throughput and multiple GPUs** and is particularly suitable for your own AI server with **many parallel requests**. It stands out for making the operation of AI models on your own hardware faster, more efficient and more scalable. + +![Powerful AI server of your own](ki-selbst-hosten-infrastruktur.jpg) + +### LM Studio + +Thanks to an easy-to-use **desktop app with a graphical user interface**, LM Studio scores as a low-threshold alternative to Ollama and vLLM. LM Studio integrates the **Hugging Face** platform, which provides access to a range of AI models. As soon as you have downloaded and installed a suitable model, you can interact with the chatbot right away. In return, however, LM Studio is also more resource-hungry and **not open source**. + +### Open Web UI + +Another interesting component in case you want to self-host AI is Open Web UI. With this self-hosted AI platform, you can **create a user-friendly web interface for AI models** that you run locally with Ollama or vLLM, for example. This turns an initially inaccessible local LLM into an application that **people without technical expertise** can use as well. + +![Self-hosting AI and using it as a chatbot with a user interface](ki-selbst-hosten-chatbot.jpg) + +### Example architecture for self-hosting AI + +A typical architecture could look like this, for example: + +**User → Open Web UI → Ollama or vLLM → local LLM** + +This way, you can install an AI locally and connect applications via APIs. If you run AI locally, you should also consider **monitoring, authentication, permissions, backups and updates** from the outset. Starting an LLM on your own AI server is technically only the first step on the way to a secure productive system. + +## No-code AI and workflows: integrating AI smartly + +The greatest added value often comes not from the AI itself, but from embedding it in [business processes]({{< relref "pages/landing-pages/industry-solutions/operations" >}}). A local artificial intelligence can, for example, analyze new records from an internal database, classify texts or summarize incoming documents. Via an API interface, the result can then be passed on to a [CRM system]({{< relref "posts/no-code-crm" >}}), for instance, or start an automation. + +Thanks to **no-code AI** – for example with a no-code AI workflow builder – you can model such processes largely without classic programming. This reduces the development effort and makes AI functions accessible to [citizen developers]({{< relref "posts/20250317-citizen-developer" >}}) in the company. If you self-host both the no-code AI workflow builder and the AI itself, data processing takes place exclusively within your own infrastructure. + +### SeaTable's AI automations + +At **SeaTable**, the choice is yours: benefit from the scalability and convenience of the [cloud]({{< relref "posts/cloud-computing" >}}) or install SeaTable on premises on your own infrastructure. As an [AI no-code platform]({{< relref "/" >}}), SeaTable opens up interesting possibilities for you, such as combining [no code]({{< relref "posts/20250307-low-code" >}}), [relational databases]({{< relref "posts/relationale-datenbank" >}}) and [AI automations]({{< relref "pages/landing-pages/use-cases/ai-automations" >}}): use powerful functions such as **Summarize, OCR, Extract, Classify and Custom Prompts**. + +![SeaTable's AI automations](ki-automatisierung-seatable.jpg) + +[SeaTable Cloud]({{< relref "pages/product/seatable-cloud" >}}) uses a Gemma3 from Google with 12 billion parameters as its AI model. For cloud users, AI automations run on our own AI server in Germany. Your data never leaves this infrastructure at any point and does not flow to Google or other US providers. + +For full control, you can self-host not only [SeaTable Server]({{< relref "pages/product/seatable-server" >}}), but your AI as well. This way, you can automate workflows without having to transmit sensitive information to an external cloud AI. The **SeaTable AI** component is based on LiteLLM and therefore supports the connection of a wide range of models – including all LLM services with an OpenAI-compatible API. In our admin manual, you will find the [instructions for deploying SeaTable AI](https://admin.seatable.com/installation/components/seatable-ai/) and example configurations for numerous popular LLMs. + +### Connecting AI agents with SeaTable + +Would you like to hold a real-time dialog about your database in SeaTable or edit it with individual prompts in natural language? Then an [AI agent]({{< relref "help/ai/ai-agents/what-are-ai-agents" >}}) is exactly the right solution! Behind this approach is the [SeaTable MCP server]({{< relref "posts/mcp-server" >}}). MCP (Model Context Protocol) is an open standard that enables AI models to interact actively with data sources. This allows the chatbot to access your database in SeaTable directly and answer questions about it – with no detours and no loss of information. + +This works best with powerful AI models (e.g. [Claude Desktop]({{< relref "help/ai/ai-agents/connect-claude-desktop" >}}) from Anthropic) that can answer complex questions and work with your data in multiple steps. For data protection reasons, it is important to understand that you are granting the AI agent access to the data in your SeaTable base. You control the AI agent's permissions via the **API token** that you generate in SeaTable. If you self-host an AI, you can install both SeaTable and the MCP server on your own infrastructure and connect them with the local AI (via Ollama or LM Studio, for example). That way, your data never leaves your system at any point. You can find more information on this [here]({{< relref "help/ai/ai-agents/data-security" >}}). + +## Conclusion: self-hosting AI gives you digital independence + +When you host your own AI, you decide on the AI model yourself, operate your own AI server and retain full control over your data. This is particularly interesting for companies with high data protection requirements and for the [public sector]({{< relref "pages/landing-pages/industry-solutions/public-service" >}}). However, anyone who wants to self-host AI should plan the infrastructure realistically: GPU and VRAM largely determine the possible model size, while quantization can optimize the speed. + +With the right architecture and open source software such as Ollama or vLLM, AI can be run locally and integrated into existing company processes via APIs. No-code AI tools like SeaTable, meanwhile, enable you to automate your [workflows]({{< relref "pages/landing-pages/industry-solutions/individual" >}}) efficiently and to analyze and edit your no-code databases with AI agents, without having to transmit sensitive business data to an external cloud AI. + +## FAQ: self-hosting AI + +{{< faq "What is the biggest advantage of hosting your own AI?" >}} + +The most important advantage is data sovereignty. If you self-host both your existing system and the AI, your data never leaves your own infrastructure. This enables an architecture geared towards a high level of data protection and digital sovereignty. + +{{< /faq >}} + +{{< faq "What hardware do I need for my own AI server?" >}} + +That depends mainly on the AI model you want. Small 7B models are significantly cheaper to operate than 70B models. The GPU and VRAM are particularly decisive. In addition, you need sufficient SSD storage and suitable physical infrastructure (e.g. cooling systems). Quantization can, however, reduce the hardware requirements of many models. + +{{< /faq >}} + +{{< faq "How does the performance of local AI differ from commercial cloud AI?" >}} + +In principle, AI models on your own AI server can achieve the same performance as in the cloud. Commercial cloud AI services, however, often have their own data centers with very large GPU clusters and can therefore provide incredibly powerful models and scale more or less at will. Local artificial intelligence, on the other hand, cannot scale flexibly and needs correspondingly powerful hardware to achieve good speed under heavy load. + +{{< /faq >}} + +{{< faq "Can I connect a local AI with no-code tools and automations?" >}} + +Yes. Via API interfaces, you can connect a locally running LLM with no-code AI tools such as SeaTable, which lets you create your own databases, applications and automations without any programming knowledge. This means you can, for example, have texts summarized, records classified or documents read out, and then automatically trigger further follow-up actions. + +{{< /faq >}} + +{{< faq "Which open source models are suitable for running an AI locally?" >}} + +That depends on the use case and the available hardware. Like all LLMs, open source models come in different sizes and with different capabilities. Llama 3.3, for example, is a well-known 70B model from Meta that is suitable for complex standard tasks and requires around 42 to 45 GB of VRAM. European alternatives are available from Mistral. + +{{< /faq >}} diff --git a/src/content/posts/ki-selbst-hosten/index.es.md b/src/content/posts/ki-selbst-hosten/index.es.md new file mode 100644 index 000000000..33a62a9d0 --- /dev/null +++ b/src/content/posts/ki-selbst-hosten/index.es.md @@ -0,0 +1,206 @@ +--- +title: 'Alojar la IA por su cuenta: máximo control sobre sus datos, modelos y costes' +description: 'En lugar de enviar las solicitudes a una IA en la nube externa, también puede ejecutar una IA de forma local en su propia infraestructura on-premises. Si aloja la IA por su cuenta, protege los datos sensibles de su empresa y se independiza de los proveedores de nube. Usted mismo decide los costes corrientes y los modelos que utiliza. En este artículo descubrirá cómo montar su propio servidor de IA, qué hardware y software necesita y en qué debe fijarse al elegir modelos de IA locales. Además, leerá qué ventajas ofrece instalar una IA de forma local e integrarla sin fisuras en flujos de trabajo de No-Code AI y en los sistemas existentes.' +seo: + title: 'Alojar la IA por su cuenta: máximo control con SeaTable' + description: 'Descubra cómo alojar una IA por su cuenta, proteger datos sensibles e independizarse de la IA en la nube con un servidor de IA propio.' +date: 2026-09-14 +url: '/es/alojar-ia-propia' +categories: + - 'best-practice' +tags: + - 'Transformación digital' + - 'Seguridad informática y privacidad de datos' + - 'Integraciones y automatizaciones' +color: '#dfe8f8' +register: + show: true +--- + +## Por qué debería alojar su propia IA + +Escribir textos, resumir correos electrónicos, crear imágenes: la [IA generativa]({{< relref "posts/kuenstliche-intelligenz" >}}) hace tiempo que forma parte del día a día laboral. Cada vez más empresas utilizan la inteligencia artificial de forma productiva, **automatizan procesos y aprovechan nuevos potenciales de eficiencia**. Con ello, las herramientas de IA pasan de ser un juego de experimentación a convertirse en una tecnología crítica para el negocio. + +Por eso, en muchos sitios crecen tanto las dudas como las exigencias en cuanto a **protección de datos, soberanía de los datos, control de costes y seguridad informática**. Quien transmite datos sensibles de la empresa, documentos internos o código fuente a servicios externos de Cloud AI debería tener claro dónde acaban esos datos, en qué medida están protegidos o si se emplean para entrenar los modelos. + +En cambio, si aloja una IA por su cuenta, traslada el tratamiento de los datos a su propia [infraestructura]({{< relref "posts/it-infrastruktur" >}}). Un LLM local (Large Language Model) puede ejecutarse, por ejemplo, en un servidor de IA situado en el centro de datos de su empresa. Así crea la base técnica para la [soberanía digital]({{< relref "posts/digitale-souveraenitaet" >}}). + +## Alojar la IA por su cuenta: las principales ventajas de un vistazo + +- **Máxima protección de datos**: los datos sensibles permanecen dentro de su propia infraestructura de servidores y no se transmiten a servicios de IA externos. +- **Soberanía digital**: con un modelo de código abierto puede entrenar su propia IA y actuar con independencia de los grandes proveedores de IA. +- **Control total de los costes**: con una IA local no se generan costes por tokens en función del uso y se libra de las subidas de precio de la IA en la nube externa. +- **Más flexibilidad**: usted decide qué modelo de IA emplea, con qué datos lo entrena y cuándo instala nuevas versiones. +- **Integración sin fisuras**: a través de interfaces API, la IA local puede conectarse con bases de datos, aplicaciones y automatizaciones para formar un sistema completo. + +![Alojar la IA por su cuenta](ki-selbst-hosten.jpg) + +## Inteligencia artificial local frente a IA en la nube + +La decisión de utilizar IA en la nube o alojar la IA por su cuenta no es sencilla. Ambos enfoques tienen sus ventajas e inconvenientes. La preferencia por el self-hosting o por la Cloud AI depende sobre todo del peso que otorgue a determinados criterios. Valore, por tanto, cuán altas son realmente sus exigencias en materia de **soberanía digital, protección de datos, cumplimiento normativo, escalabilidad, tamaño del modelo y costes totales**. + +- Los **Cloud AI Services** destacan a menudo por un escalado sencillo y en función del uso y por una **puesta en marcha rápida sin instalación de hardware**. Es decir, no tiene que adquirir ni mantener infraestructura de GPU, sino que utiliza los servidores de IA del proveedor. Para tareas puntuales, fases de prueba o un **uso muy fluctuante y difícil de prever**, la IA en la nube puede resultar especialmente atractiva. + +- Frente a ello, la **inteligencia artificial local** en su propio servidor de IA ofrece el **control total sobre el tratamiento de los datos**. Usted decide qué modelos emplea, con qué sistemas están integrados y qué datos procesan. Con un **uso de IA constantemente elevado** y datos (confidenciales) de gran valor, el self-hosting también resulta interesante desde el punto de vista económico. + +| Criterio | IA local | IA en la nube | +| ------------------------------- | ------------------------------- | ------------------------------- | +| **Hardware** | en propiedad | alquilado según necesidad | +| **Control de los datos** | muy alto | escaso, depende del proveedor | +| **Escalabilidad** | poco flexible, depende del hardware | muy flexible y sencilla | +| **Esfuerzo de mantenimiento** | alto | bajo | +| **Costes** | elevados costes de adquisición y explotación | costes de licencia corrientes, normalmente según el uso | +| **Funcionamiento sin conexión** | posible | no posible | + +## Hardware e infraestructura: ¿qué necesita un servidor de IA propio? + +Si desea alojar una IA por su cuenta, no debería fijarse únicamente en las capacidades de los modelos. Lo decisivo es la interacción entre hardware, tamaño del modelo y procesos de negocio concretos. Por eso la pregunta central es: **¿cuánta potencia de cálculo necesita para sus procesos de IA?** Su propio servidor de IA necesita ante todo GPU, VRAM, almacenamiento SSD y refrigeración. Si hay varios usuarios en paralelo, se añaden además un aprovechamiento eficiente de la GPU y ancho de banda de red. + +### GPU y VRAM + +Las unidades de procesamiento gráfico (Graphics Processing Units, GPU) constituyen hoy en día el corazón de los servidores de IA. Para los LLM resulta especialmente relevante la VRAM (Video Random Access Memory) disponible de la GPU. Se entiende por ello **la memoria local de una tarjeta gráfica**, que sirve de memoria intermedia rápida para crear textos, gráficos e imágenes. + +![Alojar la IA por su cuenta: tarjetas gráficas](ki-selbst-hosten-grafikkarten.jpg) + +No siempre tiene que rascarse el bolsillo para adquirir tarjetas gráficas. Los modelos de IA pequeños pueden ejecutarse en parte en hardware de consumo potente con hasta 12 GB, mientras que los modelos más grandes requieren bastante más memoria de GPU (por lo general, más de 24 GB). + +### Infraestructura física + +Un servidor de IA propio puede liberar mucho calor residual y tener un consumo eléctrico y un rendimiento enormes. Para poder alojar la IA por su cuenta necesita, además de los componentes ya mencionados, **sistemas de refrigeración**, **cableado**, **redes**, **suministro eléctrico ininterrumpido** y, por supuesto, **salas de servidores** específicas donde ubicar su propio servidor de IA. + +![Infraestructura para el servidor de IA propio](ki-server.jpg) + +## Modelos adecuados para alojar la IA por su cuenta + +¿Qué modelos de IA son los más adecuados para utilizar una IA de forma local? Eso depende principalmente del **tamaño del modelo** deseado, del **caso de uso** y del **hardware** disponible. + +### Tamaños de modelos de IA de 7B a 70B + +7B y 70B representan el **número de parámetros de un modelo de IA en miles de millones** (en inglés, «billion»), de modo que 7000 millones de parámetros corresponden a un modelo pequeño y 70 000 millones de parámetros a un modelo grande. Según el caso de uso, puede ser más adecuado un modelo 7B pequeño, rápido y económico o un modelo 70B grande, exigente en cálculo y costoso, si desea alojar la IA por su cuenta. El siguiente resumen sirve como orientación aproximada: + +- Los **modelos 7B** son ideales para tareas sencillas como chats y automatizaciones simples. Pueden entender textos corrientes, escribir resúmenes o responder preguntas sencillas. Sin embargo, cometen errores con acertijos lógicos complicados o con conocimientos especializados profundos. A cambio, necesitan poca electricidad y potencia de cálculo y pueden funcionar ya en un PC gaming convencional. +- Los **modelos 70B** pueden resolver problemas complejos, asumir tareas empresariales más exigentes y debatir sobre temas difíciles como un experto. Pero tardan más en calcular y responder y tienen altos requisitos de VRAM. Por ello consumen bastante más electricidad en funcionamiento y necesitan costosas tarjetas gráficas profesionales, que normalmente se encuentran en centros de datos. + +| Aspecto | Modelos 7B | Modelos 70B | +| ---------------------------- | ---------------------------- | ---------------------------- | +| **Tamaño del modelo** | pequeño | grande | +| **Velocidad de respuesta** | muy rápida | perceptiblemente más lenta | +| **Lógica** | sencilla | compleja | +| **Requisitos de hardware** | relativamente bajos | muy altos | +| **Costes** | económicos | elevados | +| **Ámbitos de uso típicos** | p. ej. automatización sencilla, chatbots | p. ej. análisis complejos y tareas exigentes | + +![Alojar un modelo de IA por su cuenta](ki-modell-selbst-hosten.jpg) + +### Cuantización + +Además, no solo debería fijarse en el tamaño del modelo, sino también en la cuantización. Y es que las variantes cuantizadas de los modelos necesitan **bastante menos VRAM** que los modelos con precisión completa. Por cuantización se entiende la reducción de la precisión de cálculo en los modelos de IA, por ejemplo de números en coma flotante de 32 bits a números enteros de 8 bits. Con ello se acepta un **compromiso entre la velocidad y la precisión de los cálculos**. + +{{< warning headline="Inciso técnico" text="En los **números en coma flotante de 32 bits (FP32)** existe un conjunto de unos 4300 millones de valores posibles, que van desde -3,4 ⋅ 10³⁸ hasta 3,4 ⋅ 10³⁸; en los **números enteros de 8 bits (INT8)**, en cambio, solo hay 256 valores posibles, de -128 a 127. Dado que estos últimos abarcan un rango de valores mucho menor, la multiplicación de matrices puede realizarse mucho más rápido." />}} + +La cuantización reduce el esfuerzo de cálculo y puede hacer que los modelos grandes resulten viables para sistemas de IA locales, ya que **aumenta la velocidad de respuesta manteniendo la misma potencia de cálculo del hardware**. Una estrategia sensata al alojar la IA por su cuenta es empezar primero con un modelo cuantizado. Así puede comprobar qué velocidad de respuesta y qué calidad exige su caso de uso concreto antes de invertir en una infraestructura de GPU más potente. + +![Alojar la IA por su cuenta: placa base](ki-selbst-hosten-platine.jpg) + +### Modelos de código abierto con los que puede alojar la IA por su cuenta + +Si desea alojar la IA por su cuenta, resultan especialmente indicados los **modelos de código abierto no comerciales** con distintos tamaños y capacidades. Un modelo muy popular es **Llama 3.3**, que actualmente se considera el estándar para servidores de IA propios con hardware potente. Aquí puede ver una comparación de Llama 3.3, del grupo estadounidense Meta, con un **modelo europeo de Mistral** y una **alternativa china de Alibaba**. Todos los modelos son de código abierto y utilizan cuantización Q4, con lo que las necesidades de memoria se reducen aproximadamente a una cuarta parte en comparación con la precisión completa. + +| Nombre | Proveedor | Tamaño | Ámbito de uso principal | VRAM necesaria | +| -------------------- | --------- | ------ | ------------------------------------ | --------------- | +| **Llama 3.3** | Meta | 70B | todoterreno con lógica compleja | 42 a 45 GB | +| **Qwen 2.5 Coder** | Alibaba | 32B | programación y análisis de datos | 20 a 24 GB | +| **Mistral Large 2** | Mistral | 123B | aplicaciones de negocio y agentes | 75 a 80 GB | + + +## Instalar y utilizar la IA de forma local: Ollama, vLLM y compañía + +Si desea instalar una IA de forma local, hoy ya no tiene que desarrollar una arquitectura de software compleja. Algunas herramientas pueden facilitar considerablemente los primeros pasos. + +### Ollama + +Ollama es un **software de código abierto** que le permite utilizar la IA de forma local. Con la ayuda de Ollama puede **descargar modelos de lenguaje de libre acceso directamente en su ordenador** y ponerlos a disposición de multitud de aplicaciones a través de una interfaz estandarizada. Un inconveniente es que Ollama **no dispone de interfaz gráfica de usuario** para Linux, por lo que exige conocimientos técnicos previos. + +### vLLM + +Al igual que Ollama, vLLM es un **motor de inferencia de código abierto** para grandes modelos de lenguaje (LLM). Sin embargo, la configuración y los casos de uso son, en comparación, más exigentes. vLLM está diseñado para **un alto rendimiento y varias GPU** y resulta especialmente adecuado para servidores de IA propios con **muchas solicitudes en paralelo**. Se caracteriza por hacer que el funcionamiento de los modelos de IA en hardware propio sea más rápido, más eficiente y más escalable. + +![Servidor de IA propio de alto rendimiento](ki-selbst-hosten-infrastruktur.jpg) + +### LM Studio + +Gracias a una **aplicación de escritorio con interfaz gráfica** fácil de manejar, LM Studio destaca como alternativa accesible a Ollama y vLLM. Además, LM Studio integra la plataforma **Hugging Face**, que permite acceder a distintos modelos de IA. En cuanto haya descargado e instalado un modelo adecuado, podrá interactuar de inmediato con el chatbot. A cambio, LM Studio también consume más recursos y **no es de código abierto**. + +### Open Web UI + +Otro componente interesante, en caso de que desee alojar la IA por su cuenta, es Open Web UI. Con esta plataforma de IA autoalojada puede **crear una interfaz web fácil de usar para modelos de IA** que ejecute localmente, por ejemplo, con Ollama o vLLM. Así, un LLM local inicialmente poco accesible se convierte en una aplicación que también pueden utilizar **personas sin conocimientos técnicos especializados**. + +![Alojar la IA por su cuenta y utilizarla como chatbot con interfaz de usuario](ki-selbst-hosten-chatbot.jpg) + +### Ejemplo de arquitectura para alojar la IA por su cuenta + +Una arquitectura típica podría tener este aspecto: + +**Usuario → Open Web UI → Ollama o vLLM → LLM local** + +De este modo puede instalar una IA de forma local y conectar aplicaciones mediante API. Si utiliza la IA localmente, debería tener en cuenta desde el principio también la **monitorización, la autenticación, los permisos, las copias de seguridad y las actualizaciones**. Poner en marcha un LLM en su propio servidor de IA es, técnicamente, solo el primer paso hacia un sistema productivo y seguro. + +## No-Code AI y flujos de trabajo: integrar la IA de forma inteligente + +El mayor valor añadido no suele surgir de la IA en sí, sino de su integración en los [procesos de negocio]({{< relref "pages/landing-pages/industry-solutions/operations" >}}). Una inteligencia artificial local puede, por ejemplo, analizar nuevos registros de una base de datos interna, clasificar textos o resumir documentos entrantes. A través de una interfaz API, el resultado puede transferirse después, por ejemplo, a un [sistema CRM]({{< relref "posts/no-code-crm" >}}) o iniciar una automatización. + +Gracias a la **No-Code AI** —por ejemplo, con un No Code AI Workflow Builder— puede modelar estos procesos en gran medida sin programación clásica. Esto reduce el esfuerzo de desarrollo y hace que las funciones de IA sean accesibles para los [citizen developers]({{< relref "posts/20250317-citizen-developer" >}}) de la empresa. Si aloja por su cuenta tanto el No Code AI Workflow Builder como la propia IA, el tratamiento de los datos tiene lugar exclusivamente dentro de su propia infraestructura. + +### Las automatizaciones de IA de SeaTable + +En **SeaTable** usted elige: aproveche la escalabilidad y la comodidad de la [nube]({{< relref "posts/cloud-computing" >}}) o instale SeaTable on-premises en su propia infraestructura. Como [plataforma No-Code con IA]({{< relref "/" >}}), SeaTable le abre posibilidades interesantes, como la combinación de [No Code]({{< relref "posts/20250307-low-code" >}}), [bases de datos relacionales]({{< relref "posts/relationale-datenbank" >}}) y [automatizaciones de IA]({{< relref "pages/landing-pages/use-cases/ai-automations" >}}): utilice funciones potentes como **Summarize, OCR, Extract, Classify y Custom Prompts**. + +![Automatizaciones de IA de SeaTable](ki-automatisierung-seatable.jpg) + +[SeaTable Cloud]({{< relref "pages/product/seatable-cloud" >}}) emplea como modelo de IA un Gemma3 de Google con 12 000 millones de parámetros. Para los usuarios de la nube, las automatizaciones de IA se ejecutan en nuestro propio servidor de IA en Alemania. Sus datos no abandonan esta infraestructura en ningún momento y no llegan a Google ni a otros proveedores estadounidenses. + +Para un control total puede alojar por su cuenta no solo [SeaTable Server]({{< relref "pages/product/seatable-server" >}}), sino también su IA. Así puede automatizar flujos de trabajo sin tener que transmitir información sensible a una IA en la nube externa. El componente **SeaTable AI** se basa en LiteLLM y admite, por tanto, la conexión de multitud de modelos, entre ellos todos los servicios LLM con una API compatible con OpenAI. En nuestro manual de administración encontrará las [instrucciones para el despliegue de SeaTable AI](https://admin.seatable.com/installation/components/seatable-ai/) y configuraciones de ejemplo para numerosos LLM populares. + +### Conectar agentes de IA con SeaTable + +¿Le gustaría mantener un diálogo en tiempo real sobre su base de datos en SeaTable o editarla con prompts individuales en lenguaje natural? Entonces un [agente de IA]({{< relref "help/ai/ai-agents/what-are-ai-agents" >}}) es justo la solución adecuada. Detrás de este enfoque está el [servidor MCP de SeaTable]({{< relref "posts/mcp-server" >}}). MCP (Model Context Protocol) es un estándar abierto que permite a los modelos de IA interactuar activamente con fuentes de datos. Así, el chatbot puede acceder directamente a su base de datos en SeaTable y responder preguntas sobre ella, sin rodeos ni pérdida de información. + +Esto funciona mejor con modelos de IA potentes (p. ej. [Claude Desktop]({{< relref "help/ai/ai-agents/connect-claude-desktop" >}}) de Anthropic), capaces de responder preguntas complejas y de trabajar con sus datos en varios pasos. Por motivos de protección de datos es importante entender que usted concede al agente de IA acceso a los datos de su base de SeaTable. Los permisos del agente de IA se controlan mediante el **token de API** que genera en SeaTable. Si aloja una IA por su cuenta, puede instalar tanto SeaTable como el servidor MCP en su propia infraestructura y conectarlos con la IA local (por ejemplo, mediante Ollama o LM Studio). De este modo, sus datos no abandonan su sistema en ningún momento. Encontrará más información al respecto [aquí]({{< relref "help/ai/ai-agents/data-security" >}}). + +## Conclusión: alojar la IA por su cuenta proporciona independencia digital + +Si aloja su propia IA, decide usted mismo sobre el modelo de IA, opera su propio servidor de IA y conserva el control total sobre sus datos. Esto resulta especialmente interesante para las empresas con altos requisitos de protección de datos y para el [sector público]({{< relref "pages/landing-pages/industry-solutions/public-service" >}}). Ahora bien, quien desee alojar la IA por su cuenta debería planificar la infraestructura de forma realista: la GPU y la VRAM determinan en gran medida el tamaño de modelo posible, mientras que la cuantización puede optimizar la velocidad. + +Con la arquitectura adecuada y software de código abierto como Ollama o vLLM, la IA puede utilizarse de forma local e integrarse mediante API en los procesos empresariales existentes. Las herramientas de No-Code AI como SeaTable le permiten, por su parte, automatizar sus [flujos de trabajo]({{< relref "pages/landing-pages/industry-solutions/individual" >}}) de forma eficiente, así como analizar y editar sus bases de datos No-Code con agentes de IA, sin tener que transmitir datos empresariales sensibles a una IA en la nube externa. + +## FAQ: alojar la IA por su cuenta + +{{< faq "¿Cuál es la mayor ventaja de alojar una IA propia?" >}} + +La ventaja más importante es la soberanía sobre los datos. Si aloja por su cuenta tanto su sistema actual como la IA, sus datos nunca abandonan su propia infraestructura. Eso permite una arquitectura orientada a un alto nivel de protección de datos y a la soberanía digital. + +{{< /faq >}} + +{{< faq "¿Qué hardware necesito para un servidor de IA propio?" >}} + +Eso depende sobre todo del modelo de IA deseado. Los modelos 7B pequeños son bastante más económicos de operar que los modelos 70B. Resultan especialmente decisivos la GPU y la VRAM. Además, necesita suficiente almacenamiento SSD y una infraestructura física adecuada (p. ej. sistemas de refrigeración). No obstante, mediante la cuantización es posible reducir los requisitos de hardware de muchos modelos. + +{{< /faq >}} + +{{< faq "¿En qué se diferencia el rendimiento de la IA local y el de la IA en la nube comercial?" >}} + +En principio, los modelos de IA en su propio servidor de IA pueden alcanzar el mismo rendimiento que en la nube. Sin embargo, los Cloud AI Services comerciales suelen disponer de centros de datos propios con clústeres de GPU muy grandes y, por ello, pueden ofrecer modelos increíblemente potentes y escalar prácticamente a voluntad. La inteligencia artificial local, en cambio, no puede escalar con flexibilidad y necesita hardware suficientemente potente para lograr una buena velocidad con una carga elevada. + +{{< /faq >}} + +{{< faq "¿Puedo conectar una IA local con herramientas No-Code y automatizaciones?" >}} + +Sí. A través de interfaces API puede conectar un LLM que se ejecute localmente con herramientas de No-Code AI como SeaTable, con las que puede crear sus propias bases de datos, aplicaciones y automatizaciones sin conocimientos de programación. Así puede, por ejemplo, hacer que se resuman textos, se clasifiquen registros o se extraiga información de documentos y, a continuación, desencadenar automáticamente otras acciones posteriores. + +{{< /faq >}} + +{{< faq "¿Qué modelos de código abierto son adecuados para utilizar una IA de forma local?" >}} + +Eso depende del caso de uso y del hardware disponible. Como todos los LLM, también los modelos de código abierto tienen distintos tamaños y capacidades. Llama 3.3, por ejemplo, es un conocido modelo 70B de Meta, adecuado para tareas estándar complejas y que requiere entre 42 y 45 GB de VRAM. Existen alternativas europeas de Mistral. + +{{< /faq >}} diff --git a/src/content/posts/ki-selbst-hosten/index.fr.md b/src/content/posts/ki-selbst-hosten/index.fr.md new file mode 100644 index 000000000..8f89cd604 --- /dev/null +++ b/src/content/posts/ki-selbst-hosten/index.fr.md @@ -0,0 +1,206 @@ +--- +title: 'Héberger son IA soi-même : un contrôle maximal sur vos données, vos modèles et vos coûts' +description: 'Plutôt que de transmettre vos requêtes à une IA dans le cloud externe, vous pouvez aussi faire tourner une IA en local sur votre propre infrastructure on-premises. En hébergeant votre IA vous-même, vous protégez les données sensibles de votre entreprise et vous vous affranchissez des fournisseurs de cloud. Vous décidez vous-même des coûts récurrents et des modèles utilisés. Dans cet article, vous découvrirez comment mettre en place votre propre serveur IA, quels matériels et logiciels vous sont nécessaires et à quoi veiller lors du choix de modèles d’IA locaux. Vous lirez également quels avantages il y a à installer une IA en local et à l’intégrer sans rupture dans des workflows No-Code AI et dans vos systèmes existants.' +seo: + title: 'Héberger son IA soi-même : contrôle maximal avec SeaTable' + description: 'Découvrez comment héberger une IA vous-même, protéger vos données sensibles et vous affranchir du cloud IA grâce à un serveur IA à vous.' +date: 2026-09-14 +url: '/fr/heberger-ia-soi-meme' +categories: + - 'best-practice' +tags: + - 'Transformation numérique' + - 'Sécurité informatique' + - 'Intégration & automatisation' +color: '#dfe8f8' +register: + show: true +--- + +## Pourquoi héberger votre propre IA + +Rédiger des textes, résumer des e-mails, créer des images : l’[IA générative]({{< relref "posts/kuenstliche-intelligenz" >}}) fait depuis longtemps partie du quotidien professionnel. De plus en plus d’entreprises utilisent l’intelligence artificielle de manière productive, **automatisent des processus et exploitent de nouveaux gisements d’efficacité**. Les outils d’IA passent ainsi progressivement du statut de boîte à expériences à celui de technologie critique pour l’activité. + +C’est pourquoi, en de nombreux endroits, les réserves grandissent autant que les exigences en matière de **protection des données, de souveraineté des données, de maîtrise des coûts et de sécurité informatique**. Quiconque transmet des données d’entreprise sensibles, des documents internes ou du code source à des Cloud AI Services externes devrait savoir clairement où ces données atterrissent, dans quelle mesure elles sont protégées ou si elles servent à l’entraînement des modèles. + +Si vous hébergez une IA vous-même, vous déplacez en revanche le traitement des données dans votre propre [infrastructure]({{< relref "posts/it-infrastruktur" >}}). Un LLM local (Large Language Model) peut par exemple tourner sur un serveur IA situé dans le centre de données de votre entreprise. Vous créez ainsi le socle technique de la [souveraineté numérique]({{< relref "posts/digitale-souveraenitaet" >}}). + +## Héberger son IA soi-même : les principaux avantages en un coup d’œil + +- **Une protection des données de haut niveau** : les données sensibles restent au sein de votre propre infrastructure de serveurs et ne sont pas transmises à des services d’IA externes. +- **Souveraineté numérique** : avec un modèle open source, vous pouvez entraîner votre propre IA et agir indépendamment des grands fournisseurs d’IA. +- **Maîtrise totale des coûts** : avec une IA locale, aucun coût de tokens lié à l’usage n’est facturé et vous êtes à l’abri des hausses de prix des cloud IA externes. +- **Plus de flexibilité** : vous décidez vous-même quel modèle d’IA utiliser, avec quelles données l’entraîner et quand installer de nouvelles versions. +- **Intégration sans rupture** : via des interfaces API, l’IA locale peut être reliée à des bases de données, des applications et des automatisations pour former un système complet. + +![Héberger son IA soi-même](ki-selbst-hosten.jpg) + +## Intelligence artificielle locale ou IA dans le cloud + +Choisir entre un cloud IA et une IA hébergée par vos soins n’est pas simple. Les deux approches ont leurs avantages et leurs inconvénients. La préférence pour le self-hosting ou pour le Cloud AI dépend avant tout du poids que vous accordez à certains critères. Évaluez donc le niveau réel de vos exigences en matière de **souveraineté numérique, de protection des données, de conformité, d’évolutivité, de taille de modèle et de coût global**. + +- Les **Cloud AI Services** séduisent souvent par une montée en charge simple, facturée à l’usage, et par une **mise en place rapide sans installation matérielle**. Autrement dit, vous n’avez pas à acquérir ni à entretenir une infrastructure GPU : vous utilisez les serveurs IA du fournisseur. Pour des tâches ponctuelles, des phases de test ou un **usage très fluctuant et difficilement prévisible**, le cloud IA peut être particulièrement attrayant. + +- À l’inverse, l’**intelligence artificielle locale** sur votre propre serveur IA offre le **contrôle total du traitement des données**. Vous décidez vous-même quels modèles utiliser, à quels systèmes ils sont intégrés et quelles données ils traitent. Avec une **utilisation de l’IA constamment élevée** et des données (confidentielles) de grande valeur, le self-hosting devient aussi intéressant sur le plan économique. + +| Critère | IA locale | IA dans le cloud | +| ------------------------------- | ------------------------------- | ------------------------------- | +| **Matériel** | en propriété | loué selon les besoins | +| **Contrôle des données** | très élevé | faible, dépend du fournisseur | +| **Évolutivité** | peu flexible, dépend du matériel | très flexible et simple | +| **Effort de maintenance** | élevé | faible | +| **Coûts** | coûts d’acquisition et d’exploitation élevés | coûts de licence récurrents, le plus souvent liés à l’usage | +| **Fonctionnement hors ligne** | possible | impossible | + +## Matériel et infrastructure : que faut-il pour un serveur IA à soi ? + +Si vous souhaitez héberger une IA vous-même, vous ne devriez pas vous en tenir aux seules capacités des modèles. Ce qui est déterminant, c’est l’interaction entre le matériel, la taille du modèle et vos processus métier concrets. La question centrale est donc la suivante : **de quelle puissance de calcul avez-vous besoin pour vos processus d’IA ?** Votre propre serveur IA a besoin avant tout d’un GPU, de VRAM, de stockage SSD et de refroidissement. En cas d’utilisateurs multiples en parallèle s’ajoutent une utilisation efficace du GPU et une bande passante réseau suffisante. + +### GPU et VRAM + +Les processeurs graphiques (Graphics Processing Units, GPU) constituent aujourd’hui le cœur des serveurs IA. Pour les LLM, c’est surtout la VRAM (Video Random Access Memory) disponible du GPU qui compte. On désigne ainsi **la mémoire vive locale d’une carte graphique**, qui sert de mémoire tampon rapide pour créer des textes, des graphiques et des images. + +![Héberger son IA soi-même : cartes graphiques](ki-selbst-hosten-grafikkarten.jpg) + +Vous n’avez pas toujours besoin de dépenser des fortunes en cartes graphiques. Les petits modèles d’IA peuvent en partie tourner sur du matériel grand public performant doté de 12 Go au maximum, tandis que les modèles plus grands exigent nettement plus de mémoire GPU (le plus souvent au-delà de 24 Go). + +### Infrastructure physique + +Un serveur IA à soi peut dégager beaucoup de chaleur résiduelle et présenter une consommation électrique et un débit considérables. Pour pouvoir héberger votre IA vous-même, vous avez donc besoin, outre les composants déjà cités, de **systèmes de refroidissement**, de **câblage**, de **réseaux**, d’une **alimentation électrique sans interruption** et, bien sûr, de **salles de serveurs** spécifiques pour accueillir votre propre serveur IA. + +![Infrastructure pour un serveur IA à soi](ki-server.jpg) + +## Les modèles adaptés pour héberger son IA soi-même + +Quels modèles d’IA conviennent le mieux pour utiliser une IA en local ? Cela dépend principalement de la **taille de modèle** souhaitée, du **cas d’usage** et du **matériel** disponible. + +### Tailles de modèles d’IA, de 7B à 70B + +7B et 70B désignent le **nombre de paramètres d’un modèle d’IA en milliards** (« billion » en anglais), 7 milliards de paramètres correspondant à un petit modèle et 70 milliards de paramètres à un grand modèle. Selon le cas d’usage, un petit modèle 7B rapide et économique ou un grand modèle 70B gourmand en calcul et coûteux peut être plus adapté lorsque vous souhaitez héberger votre IA vous-même. L’aperçu suivant sert de repère approximatif : + +- Les **modèles 7B** sont idéaux pour des tâches simples comme les chats et les automatisations élémentaires. Ils savent comprendre des textes ordinaires, rédiger des résumés ou répondre à des questions simples. En revanche, ils se trompent sur des énigmes logiques compliquées ou sur des connaissances spécialisées pointues. En contrepartie, ils consomment peu d’électricité et de puissance de calcul et peuvent déjà tourner sur un PC gaming du commerce. +- Les **modèles 70B** savent résoudre des problèmes complexes, prendre en charge des tâches d’entreprise plus exigeantes et discuter de sujets difficiles comme un expert. Mais ils mettent plus de temps à calculer et à répondre et présentent des besoins élevés en VRAM. Ils coûtent donc nettement plus cher en électricité à l’usage et nécessitent des cartes graphiques professionnelles onéreuses, que l’on trouve habituellement dans les centres de données. + +| Aspect | Modèles 7B | Modèles 70B | +| ---------------------------- | ---------------------------- | ---------------------------- | +| **Taille du modèle** | petite | grande | +| **Vitesse de réponse** | très rapide | sensiblement plus lente | +| **Logique** | simple | complexe | +| **Exigences matérielles** | relativement faibles | très élevées | +| **Coûts** | avantageux | élevés | +| **Domaines d’usage typiques** | p. ex. automatisation simple, chatbots | p. ex. analyses complexes et tâches exigeantes | + +![Héberger un modèle d’IA soi-même](ki-modell-selbst-hosten.jpg) + +### Quantification + +Par ailleurs, vous ne devriez pas vous intéresser uniquement à la taille du modèle, mais aussi à la quantification. En effet, les variantes quantifiées des modèles ont besoin de **nettement moins de VRAM** que les modèles en pleine précision. La quantification consiste à réduire la précision de calcul des modèles d’IA, par exemple en passant de nombres à virgule flottante 32 bits à des nombres entiers 8 bits. On accepte alors un **compromis entre la vitesse et la précision des calculs**. + +{{< warning headline="Aparté technique" text="Avec les **nombres à virgule flottante 32 bits (FP32)**, il existe un ensemble d’environ 4,3 milliards de valeurs possibles, allant de -3,4 ⋅ 10³⁸ à 3,4 ⋅ 10³⁸ ; avec les **nombres entiers 8 bits (INT8)**, en revanche, seulement 256 valeurs possibles, de -128 à 127. Comme ces derniers couvrent une plage de valeurs bien plus restreinte, la multiplication matricielle peut s’effectuer beaucoup plus rapidement." />}} + +La quantification réduit la charge de calcul et peut rendre de grands modèles praticables pour des systèmes d’IA locaux, en **augmentant la vitesse de réponse à puissance de calcul matérielle constante**. Une stratégie judicieuse lorsque l’on héberge son IA soi-même consiste à démarrer d’abord avec un modèle quantifié. Vous pouvez ainsi tester quelle vitesse de réponse et quelle qualité votre cas d’usage concret exige, avant d’investir dans une infrastructure GPU plus performante. + +![Héberger son IA soi-même : carte électronique](ki-selbst-hosten-platine.jpg) + +### Les modèles open source avec lesquels héberger son IA soi-même + +Si vous souhaitez héberger votre IA vous-même, les **modèles open source non commerciaux**, de tailles et de capacités variées, sont particulièrement indiqués. Un modèle très apprécié est **Llama 3.3**, considéré aujourd’hui comme le standard pour un serveur IA à soi doté d’un matériel performant. Voici une comparaison de Llama 3.3, du groupe américain Meta, avec un **modèle européen de Mistral** et une **alternative chinoise d’Alibaba**. Tous ces modèles sont open source et utilisent une quantification Q4, ce qui divise les besoins en mémoire par environ quatre par rapport à la pleine précision. + +| Nom | Fournisseur | Taille | Domaine d’usage principal | VRAM nécessaire | +| -------------------- | ----------- | ------ | ---------------------------------- | --------------- | +| **Llama 3.3** | Meta | 70B | polyvalent, logique complexe | 42 à 45 Go | +| **Qwen 2.5 Coder** | Alibaba | 32B | programmation et analyse de données | 20 à 24 Go | +| **Mistral Large 2** | Mistral | 123B | applications métier et agents | 75 à 80 Go | + + +## Installer et exploiter une IA en local : Ollama, vLLM & Cie + +Si vous souhaitez installer une IA en local, vous n’avez plus besoin aujourd’hui de développer une architecture logicielle complexe. Quelques outils peuvent considérablement faciliter vos débuts. + +### Ollama + +Ollama est un **logiciel open source** qui vous permet d’exploiter une IA en local. Grâce à Ollama, vous pouvez **télécharger des modèles de langage librement disponibles directement sur votre machine** et les mettre à disposition d’une multitude d’applications via une interface standardisée. Un inconvénient : Ollama **ne dispose pas d’interface graphique** pour Linux, ce qui suppose des connaissances techniques préalables. + +### vLLM + +Tout comme Ollama, vLLM est un **moteur d’inférence open source** pour grands modèles de langage (LLM). Sa mise en place et ses cas d’usage sont toutefois plus exigeants en comparaison. vLLM est conçu pour un **débit élevé et plusieurs GPU** et convient tout particulièrement à un serveur IA à soi traitant **de nombreuses requêtes en parallèle**. Il se distingue en rendant l’exploitation de modèles d’IA sur du matériel personnel plus rapide, plus efficace et plus évolutive. + +![Serveur IA à soi hautement performant](ki-selbst-hosten-infrastruktur.jpg) + +### LM Studio + +Grâce à une **application de bureau à interface graphique** simple d’utilisation, LM Studio s’impose comme une alternative accessible à Ollama et vLLM. LM Studio intègre en outre la plateforme **Hugging Face**, qui donne accès à différents modèles d’IA. Dès que vous avez téléchargé et installé un modèle adapté, vous pouvez immédiatement interagir avec le chatbot. En contrepartie, LM Studio est aussi plus gourmand en ressources et **n’est pas open source**. + +### Open Web UI + +Autre composant intéressant si vous souhaitez héberger votre IA vous-même : Open Web UI. Avec cette plateforme d’IA auto-hébergée, vous pouvez **créer une interface web conviviale pour des modèles d’IA** que vous exploitez en local, par exemple avec Ollama ou vLLM. Un LLM local d’abord peu accessible devient ainsi une application utilisable également par des **personnes sans expertise technique**. + +![Héberger son IA soi-même et l’utiliser comme chatbot avec une interface](ki-selbst-hosten-chatbot.jpg) + +### Exemple d’architecture pour héberger son IA soi-même + +Une architecture typique pourrait par exemple se présenter ainsi : + +**Utilisateur → Open Web UI → Ollama ou vLLM → LLM local** + +Vous pouvez ainsi installer une IA en local et y raccorder des applications via des API. Si vous exploitez une IA en local, vous devriez en outre penser dès le départ à la **supervision, à l’authentification, aux autorisations, aux sauvegardes et aux mises à jour**. Démarrer un LLM sur votre propre serveur IA n’est techniquement que la première étape vers un système de production sécurisé. + +## No-Code AI et workflows : intégrer l’IA intelligemment + +La plus forte valeur ajoutée ne vient souvent pas de l’IA elle-même, mais de son intégration dans vos [processus métier]({{< relref "pages/landing-pages/industry-solutions/operations" >}}). Une intelligence artificielle locale peut par exemple analyser de nouveaux enregistrements issus d’une base de données interne, classer des textes ou résumer des documents entrants. Via une interface API, le résultat peut ensuite être transmis par exemple à un [système CRM]({{< relref "posts/no-code-crm" >}}) ou déclencher une automatisation. + +Grâce au **No-Code AI** – par exemple avec un No Code AI Workflow Builder – vous pouvez modéliser de tels enchaînements en grande partie sans programmation classique. Cela réduit l’effort de développement et rend les fonctions d’IA accessibles aux [citizen developers]({{< relref "posts/20250317-citizen-developer" >}}) de l’entreprise. Si vous hébergez vous-même à la fois le No Code AI Workflow Builder et l’IA, le traitement des données a lieu exclusivement au sein de votre propre infrastructure. + +### Les automatisations IA de SeaTable + +Chez **SeaTable**, vous avez le choix : profitez de l’évolutivité et du confort du [cloud]({{< relref "posts/cloud-computing" >}}) ou installez SeaTable on-premises sur votre propre infrastructure. En tant que [plateforme No-Code dotée d’IA]({{< relref "/" >}}), SeaTable vous ouvre des possibilités intéressantes, comme la combinaison du [No Code]({{< relref "posts/20250307-low-code" >}}), des [bases de données relationnelles]({{< relref "posts/relationale-datenbank" >}}) et des [automatisations IA]({{< relref "pages/landing-pages/use-cases/ai-automations" >}}) : utilisez des fonctions puissantes telles que **Summarize, OCR, Extract, Classify et Custom Prompts**. + +![Automatisations IA de SeaTable](ki-automatisierung-seatable.jpg) + +[SeaTable Cloud]({{< relref "pages/product/seatable-cloud" >}}) utilise comme modèle d’IA un Gemma3 de Google doté de 12 milliards de paramètres. Pour les utilisateurs du cloud, les automatisations IA passent par notre propre serveur IA en Allemagne. Vos données ne quittent à aucun moment cette infrastructure et ne sont transmises ni à Google ni à d’autres fournisseurs américains. + +Pour un contrôle total, vous pouvez héberger vous-même non seulement [SeaTable Server]({{< relref "pages/product/seatable-server" >}}), mais aussi votre IA. Vous pouvez ainsi automatiser vos workflows sans avoir à transmettre d’informations sensibles à un cloud IA externe. Le composant **SeaTable AI** repose sur LiteLLM et prend donc en charge le raccordement d’une multitude de modèles – dont tous les services LLM disposant d’une API compatible OpenAI. Dans notre manuel d’administration, vous trouverez le [guide de déploiement de SeaTable AI](https://admin.seatable.com/installation/components/seatable-ai/) ainsi que des exemples de configuration pour de nombreux LLM populaires. + +### Connecter des agents IA à SeaTable + +Vous souhaitez dialoguer en temps réel avec votre base de données dans SeaTable ou la modifier à l’aide de prompts personnalisés en langage naturel ? Un [agent IA]({{< relref "help/ai/ai-agents/what-are-ai-agents" >}}) est alors exactement la bonne solution ! Derrière cette approche se cache le [serveur MCP de SeaTable]({{< relref "posts/mcp-server" >}}). MCP (Model Context Protocol) désigne un standard ouvert qui permet aux modèles d’IA d’interagir activement avec des sources de données. Le chatbot peut ainsi accéder directement à votre base de données dans SeaTable et répondre à des questions à son sujet – sans détour ni perte d’information. + +Cela fonctionne au mieux avec des modèles d’IA performants (p. ex. [Claude Desktop]({{< relref "help/ai/ai-agents/connect-claude-desktop" >}}) d’Anthropic), capables de répondre à des questions complexes et de travailler avec vos données en plusieurs étapes. Pour des raisons de protection des données, il est important de comprendre que vous accordez à l’agent IA l’accès aux données de votre base SeaTable. Vous pilotez les autorisations de l’agent IA via le **jeton d’API** que vous générez dans SeaTable. Si vous hébergez une IA vous-même, vous pouvez installer SeaTable et le serveur MCP sur votre propre infrastructure et les relier à l’IA locale (par exemple via Ollama ou LM Studio). Vos données ne quittent ainsi à aucun moment votre système. Vous trouverez davantage d’informations à ce sujet [ici]({{< relref "help/ai/ai-agents/data-security" >}}). + +## Conclusion : héberger son IA soi-même procure une indépendance numérique + +Lorsque vous hébergez votre propre IA, vous décidez vous-même du modèle d’IA, exploitez votre propre serveur IA et conservez le contrôle total de vos données. C’est particulièrement intéressant pour les entreprises aux exigences élevées en matière de protection des données ainsi que pour le [secteur public]({{< relref "pages/landing-pages/industry-solutions/public-service" >}}). Qui souhaite héberger son IA soi-même doit toutefois planifier son infrastructure de façon réaliste : le GPU et la VRAM déterminent pour l’essentiel la taille de modèle possible, la quantification pouvant optimiser la vitesse. + +Avec la bonne architecture et des logiciels open source comme Ollama ou vLLM, il est possible d’exploiter une IA en local et de l’intégrer via des API aux processus existants de l’entreprise. Les outils No-Code AI tels que SeaTable vous permettent quant à eux d’automatiser efficacement vos [workflows]({{< relref "pages/landing-pages/industry-solutions/individual" >}}) et d’analyser et modifier vos bases de données No-Code avec des agents IA, sans devoir transmettre de données commerciales sensibles à un cloud IA externe. + +## FAQ : héberger son IA soi-même + +{{< faq "Quel est le principal avantage d’héberger sa propre IA ?" >}} + +L’avantage le plus important est la souveraineté sur les données. Si vous hébergez vous-même à la fois votre système actuel et l’IA, vos données ne quittent jamais votre propre infrastructure. Cela permet une architecture orientée vers une protection des données élevée et la souveraineté numérique. + +{{< /faq >}} + +{{< faq "De quel matériel ai-je besoin pour un serveur IA à moi ?" >}} + +Cela dépend principalement du modèle d’IA souhaité. Les petits modèles 7B sont nettement moins coûteux à exploiter que les modèles 70B. Le GPU et la VRAM sont particulièrement déterminants. Il vous faut en outre un stockage SSD suffisant et une infrastructure physique adaptée (p. ex. des systèmes de refroidissement). La quantification permet toutefois de réduire les exigences matérielles de nombreux modèles. + +{{< /faq >}} + +{{< faq "En quoi les performances d’une IA locale diffèrent-elles de celles d’un cloud IA commercial ?" >}} + +En principe, des modèles d’IA sur votre propre serveur IA peuvent atteindre les mêmes performances que dans le cloud. Les Cloud AI Services commerciaux disposent toutefois souvent de leurs propres centres de données avec de très grands clusters de GPU et peuvent donc proposer des modèles d’une puissance inouïe et monter en charge presque à volonté. L’intelligence artificielle locale, en revanche, ne peut pas évoluer de façon flexible et nécessite un matériel suffisamment performant pour atteindre une bonne vitesse à forte charge. + +{{< /faq >}} + +{{< faq "Puis-je relier une IA locale à des outils No-Code et à des automatisations ?" >}} + +Oui. Via des interfaces API, vous pouvez relier un LLM exécuté en local à des outils No-Code AI comme SeaTable, avec lesquels vous créez vos propres bases de données, applications et automatisations sans connaissances en programmation. Vous pouvez ainsi, par exemple, faire résumer des textes, classer des enregistrements ou extraire le contenu de documents, puis déclencher automatiquement d’autres actions consécutives. + +{{< /faq >}} + +{{< faq "Quels modèles open source conviennent pour exploiter une IA en local ?" >}} + +Cela dépend du cas d’usage et du matériel disponible. Comme tous les LLM, les modèles open source existent en différentes tailles et avec des capacités variées. Llama 3.3 est par exemple un modèle 70B réputé de Meta, adapté à des tâches standard complexes et nécessitant environ 42 à 45 Go de VRAM. Des alternatives européennes existent chez Mistral. + +{{< /faq >}} diff --git a/src/content/posts/ki-selbst-hosten/index.pt.md b/src/content/posts/ki-selbst-hosten/index.pt.md new file mode 100644 index 000000000..cdf9a5ca8 --- /dev/null +++ b/src/content/posts/ki-selbst-hosten/index.pt.md @@ -0,0 +1,206 @@ +--- +title: 'Alojar a IA por conta própria: controlo máximo sobre os seus dados, modelos e custos' +description: 'Em vez de transmitir pedidos a uma IA na cloud externa, também pode executar uma IA localmente na sua própria infraestrutura on-premises. Se alojar a IA por conta própria, protege dados sensíveis da empresa e torna-se independente dos fornecedores de cloud. Os custos correntes e os modelos utilizados são decididos por si. Neste artigo, saiba como montar um servidor de IA próprio, de que hardware e software precisa e a que deve atender na escolha de modelos de IA locais. Além disso, fica a saber que vantagens traz instalar uma IA localmente e integrá-la sem falhas em workflows de No-Code AI e nos sistemas existentes.' +seo: + title: 'Alojar a IA por conta própria: controlo máximo com SeaTable' + description: 'Saiba como alojar uma IA por conta própria, proteger dados sensíveis e tornar-se independente da IA na cloud com um servidor de IA próprio.' +date: 2026-09-14 +url: '/pt/alojar-ia-propria' +categories: + - 'best-practice' +tags: + - 'Transformação digital' + - 'Segurança informática e privacidade dos dados' + - 'Integrações e automatizações' +color: '#dfe8f8' +register: + show: true +--- + +## Por que motivo deve alojar a sua própria IA + +Escrever textos, resumir e-mails, criar imagens: a [IA generativa]({{< relref "posts/kuenstliche-intelligenz" >}}) chegou há muito ao dia a dia de trabalho. Cada vez mais empresas utilizam a inteligência artificial de forma produtiva, **automatizam processos e exploram novos potenciais de eficiência**. Com isso, as ferramentas de IA deixam progressivamente de ser uma caixa de experiências para se tornarem uma tecnologia crítica para o negócio. + +Por isso, em muitos lados crescem tanto as reservas como as exigências em matéria de **proteção de dados, soberania dos dados, controlo de custos e segurança informática**. Quem transmite dados sensíveis da empresa, documentos internos ou código-fonte a Cloud AI Services externos deve ter presente onde esses dados vão parar, em que medida estão protegidos ou se são utilizados no treino dos modelos. + +Se alojar uma IA por conta própria, transfere, pelo contrário, o tratamento dos dados para a sua própria [infraestrutura]({{< relref "posts/it-infrastruktur" >}}). Um LLM local (Large Language Model) pode, por exemplo, ser executado num servidor de IA no centro de dados da sua empresa. Cria assim a base técnica para a [soberania digital]({{< relref "posts/digitale-souveraenitaet" >}}). + +## Alojar a IA por conta própria: as principais vantagens num relance + +- **Elevado nível de proteção de dados**: os dados sensíveis permanecem dentro da sua própria infraestrutura de servidores e não são transmitidos a serviços de IA externos. +- **Soberania digital**: com um modelo de código aberto pode treinar uma IA própria e atuar de forma independente dos grandes fornecedores de IA. +- **Controlo total dos custos**: com uma IA local não surgem custos de tokens em função da utilização e fica a salvo dos aumentos de preço da cloud IA externa. +- **Mais flexibilidade**: é você que decide que modelo de IA utiliza, com que dados o treina e quando instala novas versões. +- **Integração sem falhas**: através de interfaces API, a IA local pode ser ligada a bases de dados, aplicações e automatizações, formando um sistema abrangente. + +![Alojar a IA por conta própria](ki-selbst-hosten.jpg) + +## Inteligência artificial local vs. IA na cloud + +A decisão entre utilizar IA na cloud ou alojar a IA por conta própria não é fácil. Ambas as abordagens têm vantagens e desvantagens. A preferência pelo self-hosting ou pela Cloud AI depende sobretudo do peso que atribui a determinados critérios. Avalie, por isso, quão elevadas são realmente as suas exigências em termos de **soberania digital, proteção de dados, conformidade, escalabilidade, dimensão do modelo e custos totais**. + +- Os **Cloud AI Services** destacam-se frequentemente por uma escalabilidade simples e associada à utilização e por uma **instalação rápida sem montagem de hardware**. Ou seja, não tem de adquirir nem manter infraestrutura de GPU, utilizando antes os servidores de IA do fornecedor. Para tarefas pontuais, fases de teste ou uma **utilização muito variável e dificilmente previsível**, a IA na cloud pode ser particularmente atrativa. + +- Em contrapartida, a **inteligência artificial local** no seu próprio servidor de IA oferece o **controlo total sobre o tratamento dos dados**. É você que decide que modelos utiliza, com que sistemas estão integrados e que dados processam. Com uma **utilização de IA constantemente elevada** e dados (confidenciais) de grande valor, o self-hosting torna-se também economicamente interessante. + +| Critério | IA local | IA na cloud | +| ------------------------------- | ------------------------------- | ------------------------------- | +| **Hardware** | em propriedade | alugado conforme necessário | +| **Controlo dos dados** | muito elevado | reduzido, depende do fornecedor | +| **Escalabilidade** | pouco flexível, depende do hardware | muito flexível e simples | +| **Esforço de manutenção** | elevado | reduzido | +| **Custos** | custos elevados de aquisição e de exploração | custos de licença correntes, normalmente em função da utilização | +| **Funcionamento offline** | possível | não possível | + +## Hardware e infraestrutura: do que precisa um servidor de IA próprio? + +Se pretende alojar uma IA por conta própria, não deve olhar apenas para as capacidades dos modelos. Decisiva é a interação entre hardware, dimensão do modelo e processos de negócio concretos. A questão central é, por isso: **de quanta capacidade de cálculo precisa para os seus processos de IA?** O seu próprio servidor de IA precisa sobretudo de GPU, VRAM, armazenamento SSD e refrigeração. Com vários utilizadores em paralelo acrescem ainda uma utilização eficiente da GPU e largura de banda de rede. + +### GPU e VRAM + +As unidades de processamento gráfico (Graphics Processing Units, GPU) constituem hoje o coração dos servidores de IA. Para os LLM é especialmente relevante a VRAM (Video Random Access Memory) disponível na GPU. Entende-se por isso **a memória local de uma placa gráfica**, que funciona como memória intermédia rápida para criar textos, gráficos e imagens. + +![Alojar a IA por conta própria: placas gráficas](ki-selbst-hosten-grafikkarten.jpg) + +Nem sempre tem de gastar uma fortuna em placas gráficas. Modelos de IA pequenos podem, em parte, ser executados em hardware de consumo potente com até 12 GB, ao passo que modelos maiores exigem bastante mais memória de GPU (na maioria dos casos, acima de 24 GB). + +### Infraestrutura física + +Um servidor de IA próprio pode libertar muito calor residual e ter um consumo elétrico e um débito enormes. Para poder alojar a IA por conta própria, precisa por isso, além dos componentes já referidos, de **sistemas de refrigeração**, **cablagem**, **redes**, **alimentação elétrica ininterrupta** e, naturalmente, de **salas de servidores** onde instalar o seu próprio servidor de IA. + +![Infraestrutura para o servidor de IA próprio](ki-server.jpg) + +## Modelos adequados para alojar a IA por conta própria + +Que modelos de IA são os mais adequados para utilizar uma IA localmente? Isso depende principalmente da **dimensão do modelo** pretendida, do **caso de utilização** e do **hardware** disponível. + +### Dimensões de modelos de IA, de 7B a 70B + +7B e 70B representam o **número de parâmetros de um modelo de IA em milhares de milhões** (em inglês, «billion»), correspondendo 7 mil milhões de parâmetros a um modelo pequeno e 70 mil milhões de parâmetros a um modelo grande. Consoante o caso de utilização, pode ser mais adequado um modelo 7B pequeno, rápido e económico ou um modelo 70B grande, exigente em cálculo e dispendioso, se pretender alojar a IA por conta própria. O resumo seguinte serve de orientação aproximada: + +- Os **modelos 7B** são ideais para tarefas descomplicadas, como chats e automatizações simples. Conseguem compreender textos correntes, escrever resumos ou responder a perguntas simples. Em enigmas lógicos complicados ou perante conhecimentos especializados profundos, porém, cometem erros. Em compensação, precisam de pouca eletricidade e capacidade de cálculo e podem já funcionar num PC gaming comum. +- Os **modelos 70B** conseguem resolver problemas complexos, assumir tarefas empresariais mais exigentes e discutir temas difíceis como um especialista. Mas demoram mais tempo a calcular e a responder e têm requisitos elevados de VRAM. Por isso, consomem bastante mais eletricidade em funcionamento e requerem placas gráficas profissionais dispendiosas, habitualmente encontradas em centros de dados. + +| Aspeto | Modelos 7B | Modelos 70B | +| ---------------------------- | ---------------------------- | ---------------------------- | +| **Dimensão do modelo** | pequena | grande | +| **Velocidade de resposta** | muito rápida | visivelmente mais lenta | +| **Lógica** | simples | complexa | +| **Requisitos de hardware** | relativamente baixos | muito elevados | +| **Custos** | económicos | dispendiosos | +| **Áreas de utilização típicas** | p. ex. automatização simples, chatbots | p. ex. análises complexas e tarefas exigentes | + +![Alojar um modelo de IA por conta própria](ki-modell-selbst-hosten.jpg) + +### Quantização + +Além disso, não deve atender apenas à dimensão do modelo, mas também à quantização. É que as variantes quantizadas dos modelos necessitam de **bastante menos VRAM** do que os modelos com precisão total. Por quantização entende-se a redução da precisão de cálculo nos modelos de IA, por exemplo de números de vírgula flutuante de 32 bits para números inteiros de 8 bits. Aceita-se assim um **compromisso entre a velocidade e a exatidão dos cálculos**. + +{{< warning headline="Nota técnica" text="Nos **números de vírgula flutuante de 32 bits (FP32)** existe um conjunto de cerca de 4,3 mil milhões de valores possíveis, que vão de -3,4 ⋅ 10³⁸ até 3,4 ⋅ 10³⁸; nos **números inteiros de 8 bits (INT8)**, pelo contrário, apenas 256 valores possíveis, de -128 a 127. Como estes últimos abrangem um intervalo de valores muito menor, a multiplicação de matrizes pode ser efetuada muito mais depressa." />}} + +A quantização reduz o esforço de cálculo e pode tornar modelos grandes praticáveis para sistemas de IA locais, ao **aumentar a velocidade de resposta mantendo a mesma capacidade de cálculo do hardware**. Uma estratégia sensata ao alojar a IA por conta própria é começar primeiro com um modelo quantizado. Assim pode testar que velocidade de resposta e que qualidade o seu caso de utilização concreto exige, antes de investir numa infraestrutura de GPU mais potente. + +![Alojar a IA por conta própria: placa eletrónica](ki-selbst-hosten-platine.jpg) + +### Modelos de código aberto com os quais pode alojar a IA por conta própria + +Se pretende alojar a IA por conta própria, são especialmente indicados os **modelos de código aberto não comerciais**, com diferentes dimensões e capacidades. Um modelo muito popular é o **Llama 3.3**, atualmente considerado o padrão para servidores de IA próprios com hardware potente. Aqui encontra uma comparação do Llama 3.3, do grupo norte-americano Meta, com um **modelo europeu da Mistral** e uma **alternativa chinesa da Alibaba**. Todos os modelos são de código aberto e utilizam quantização Q4, o que reduz as necessidades de memória para cerca de um quarto face à precisão total. + +| Nome | Fornecedor | Dimensão | Área de utilização principal | VRAM necessária | +| -------------------- | ---------- | -------- | ---------------------------------- | --------------- | +| **Llama 3.3** | Meta | 70B | polivalente com lógica complexa | 42 a 45 GB | +| **Qwen 2.5 Coder** | Alibaba | 32B | programação e análise de dados | 20 a 24 GB | +| **Mistral Large 2** | Mistral | 123B | aplicações de negócio e agentes | 75 a 80 GB | + + +## Instalar e utilizar a IA localmente: Ollama, vLLM e companhia + +Se pretende instalar uma IA localmente, hoje já não tem de desenvolver uma arquitetura de software complexa. Algumas ferramentas podem facilitar consideravelmente os primeiros passos. + +### Ollama + +O Ollama é um **software de código aberto** que lhe permite utilizar a IA localmente. Com a ajuda do Ollama pode **descarregar modelos de linguagem de acesso livre diretamente para o seu computador** e disponibilizá-los a uma grande variedade de aplicações através de uma interface padronizada. Uma desvantagem é que o Ollama **não possui interface gráfica** para Linux, pelo que exige conhecimentos técnicos prévios. + +### vLLM + +Tal como o Ollama, o vLLM é um **motor de inferência de código aberto** para grandes modelos de linguagem (LLM). A configuração e os casos de utilização são, porém, comparativamente mais exigentes. O vLLM foi concebido para **elevado débito e várias GPU** e adequa-se em especial a servidores de IA próprios com **muitos pedidos em paralelo**. Distingue-se por tornar o funcionamento de modelos de IA em hardware próprio mais rápido, mais eficiente e mais escalável. + +![Servidor de IA próprio de elevado desempenho](ki-selbst-hosten-infrastruktur.jpg) + +### LM Studio + +Graças a uma **aplicação de ambiente de trabalho com interface gráfica** fácil de utilizar, o LM Studio afirma-se como alternativa acessível ao Ollama e ao vLLM. O LM Studio integra ainda a plataforma **Hugging Face**, que permite aceder a diversos modelos de IA. Assim que tiver descarregado e instalado um modelo adequado, pode interagir de imediato com o chatbot. Em contrapartida, o LM Studio consome mais recursos e **não é de código aberto**. + +### Open Web UI + +Outro componente interessante, caso pretenda alojar a IA por conta própria, é o Open Web UI. Com esta plataforma de IA auto-alojada pode **criar uma interface web fácil de utilizar para modelos de IA** que execute localmente, por exemplo com o Ollama ou o vLLM. Assim, um LLM local inicialmente pouco acessível transforma-se numa aplicação que também **pessoas sem conhecimentos técnicos especializados** conseguem utilizar. + +![Alojar a IA por conta própria e utilizá-la como chatbot com interface](ki-selbst-hosten-chatbot.jpg) + +### Exemplo de arquitetura para alojar a IA por conta própria + +Uma arquitetura típica poderia ter, por exemplo, este aspeto: + +**Utilizador → Open Web UI → Ollama ou vLLM → LLM local** + +Deste modo, pode instalar uma IA localmente e ligar aplicações através de API. Se utilizar a IA localmente, deve ainda pensar desde o início na **monitorização, autenticação, permissões, cópias de segurança e atualizações**. Iniciar um LLM no seu próprio servidor de IA é, tecnicamente, apenas o primeiro passo no caminho para um sistema produtivo e seguro. + +## No-Code AI e workflows: integrar a IA de forma inteligente + +O maior valor acrescentado surge frequentemente não da IA em si, mas da sua integração nos [processos de negócio]({{< relref "pages/landing-pages/industry-solutions/operations" >}}). Uma inteligência artificial local pode, por exemplo, analisar novos registos de uma base de dados interna, classificar textos ou resumir documentos recebidos. Através de uma interface API, o resultado pode depois ser transmitido, por exemplo, a um [sistema CRM]({{< relref "posts/no-code-crm" >}}) ou iniciar uma automatização. + +Graças ao **No-Code AI** – por exemplo com um No Code AI Workflow Builder – pode modelar estes fluxos em grande medida sem programação clássica. Isso reduz o esforço de desenvolvimento e torna as funções de IA acessíveis aos [citizen developers]({{< relref "posts/20250317-citizen-developer" >}}) da empresa. Se alojar por conta própria tanto o No Code AI Workflow Builder como a própria IA, o tratamento dos dados ocorre exclusivamente dentro da sua própria infraestrutura. + +### As automatizações de IA do SeaTable + +No **SeaTable**, a escolha é sua: beneficie da escalabilidade e do conforto da [cloud]({{< relref "posts/cloud-computing" >}}) ou instale o SeaTable on-premises na sua própria infraestrutura. Enquanto [plataforma No-Code com IA]({{< relref "/" >}}), o SeaTable abre-lhe possibilidades interessantes, como a combinação de [No Code]({{< relref "posts/20250307-low-code" >}}), [bases de dados relacionais]({{< relref "posts/relationale-datenbank" >}}) e [automatizações de IA]({{< relref "pages/landing-pages/use-cases/ai-automations" >}}): utilize funções poderosas como **Summarize, OCR, Extract, Classify e Custom Prompts**. + +![Automatizações de IA do SeaTable](ki-automatisierung-seatable.jpg) + +O [SeaTable Cloud]({{< relref "pages/product/seatable-cloud" >}}) utiliza como modelo de IA um Gemma3 da Google com 12 mil milhões de parâmetros. Para os utilizadores da cloud, as automatizações de IA são executadas no nosso próprio servidor de IA na Alemanha. Os seus dados não abandonam esta infraestrutura em momento algum e não são encaminhados para a Google nem para outros fornecedores norte-americanos. + +Para um controlo total, pode alojar por conta própria não só o [SeaTable Server]({{< relref "pages/product/seatable-server" >}}), mas também a sua IA. Assim pode automatizar workflows sem ter de transmitir informações sensíveis a uma IA na cloud externa. O componente **SeaTable AI** baseia-se no LiteLLM e suporta, por isso, a ligação de uma grande variedade de modelos – incluindo todos os serviços LLM com uma API compatível com a OpenAI. No nosso manual de administração encontra as [instruções para o deployment do SeaTable AI](https://admin.seatable.com/installation/components/seatable-ai/) e exemplos de configuração para numerosos LLM populares. + +### Ligar agentes de IA ao SeaTable + +Gostaria de manter um diálogo em tempo real sobre a sua base de dados no SeaTable ou editá-la com prompts personalizados em linguagem natural? Então um [agente de IA]({{< relref "help/ai/ai-agents/what-are-ai-agents" >}}) é exatamente a solução certa! Por trás desta abordagem está o [servidor MCP do SeaTable]({{< relref "posts/mcp-server" >}}). MCP (Model Context Protocol) designa um padrão aberto que permite aos modelos de IA interagir ativamente com fontes de dados. Assim, o chatbot pode aceder diretamente à sua base de dados no SeaTable e responder a perguntas sobre ela – sem desvios nem perda de informação. + +Isto funciona melhor com modelos de IA potentes (p. ex. [Claude Desktop]({{< relref "help/ai/ai-agents/connect-claude-desktop" >}}) da Anthropic), capazes de responder a perguntas complexas e de trabalhar com os seus dados em várias etapas. Por razões de proteção de dados, é importante compreender que está a conceder ao agente de IA acesso aos dados da sua base SeaTable. As permissões do agente de IA são controladas através do **token de API** que gera no SeaTable. Se alojar uma IA por conta própria, pode instalar tanto o SeaTable como o servidor MCP na sua própria infraestrutura e ligá-los à IA local (por exemplo, através do Ollama ou do LM Studio). Deste modo, os seus dados não abandonam o seu sistema em momento algum. Encontra mais informações sobre este tema [aqui]({{< relref "help/ai/ai-agents/data-security" >}}). + +## Conclusão: alojar a IA por conta própria garante independência digital + +Se alojar a sua própria IA, decide por si sobre o modelo de IA, opera o seu próprio servidor de IA e mantém o controlo total sobre os seus dados. Isso é particularmente interessante para empresas com elevadas exigências de proteção de dados e para o [setor público]({{< relref "pages/landing-pages/industry-solutions/public-service" >}}). Quem pretende alojar a IA por conta própria deve, contudo, planear a infraestrutura de forma realista: a GPU e a VRAM determinam em grande medida a dimensão de modelo possível, podendo a quantização otimizar a velocidade. + +Com a arquitetura certa e software de código aberto como o Ollama ou o vLLM, é possível utilizar a IA localmente e integrá-la através de API nos processos empresariais existentes. As ferramentas de No-Code AI como o SeaTable permitem-lhe, por seu lado, automatizar os seus [workflows]({{< relref "pages/landing-pages/industry-solutions/individual" >}}) de forma eficiente, bem como analisar e editar as suas bases de dados No-Code com agentes de IA, sem ter de transmitir dados empresariais sensíveis a uma IA na cloud externa. + +## FAQ: alojar a IA por conta própria + +{{< faq "Qual é a maior vantagem de alojar uma IA própria?" >}} + +A vantagem mais importante é a soberania sobre os dados. Se alojar por conta própria tanto o seu sistema atual como a IA, os seus dados nunca abandonam a sua própria infraestrutura. Isso permite uma arquitetura orientada para um elevado nível de proteção de dados e para a soberania digital. + +{{< /faq >}} + +{{< faq "De que hardware preciso para um servidor de IA próprio?" >}} + +Isso depende principalmente do modelo de IA pretendido. Os modelos 7B pequenos são bastante mais económicos de operar do que os modelos 70B. São especialmente decisivas a GPU e a VRAM. Além disso, precisa de armazenamento SSD suficiente e de uma infraestrutura física adequada (p. ex. sistemas de refrigeração). Através da quantização é possível, no entanto, reduzir os requisitos de hardware de muitos modelos. + +{{< /faq >}} + +{{< faq "Em que difere o desempenho da IA local face ao da IA comercial na cloud?" >}} + +Em princípio, os modelos de IA no seu próprio servidor de IA podem alcançar o mesmo desempenho que na cloud. Contudo, os Cloud AI Services comerciais dispõem frequentemente de centros de dados próprios com clusters de GPU muito grandes e podem, por isso, disponibilizar modelos incrivelmente potentes e escalar praticamente à vontade. A inteligência artificial local, pelo contrário, não escala com flexibilidade e precisa de hardware suficientemente potente para atingir uma boa velocidade com carga elevada. + +{{< /faq >}} + +{{< faq "Posso ligar uma IA local a ferramentas No-Code e a automatizações?" >}} + +Sim. Através de interfaces API pode ligar um LLM em execução local a ferramentas de No-Code AI como o SeaTable, com as quais consegue criar bases de dados, aplicações e automatizações próprias sem conhecimentos de programação. Assim pode, por exemplo, mandar resumir textos, classificar registos ou extrair informação de documentos e, em seguida, desencadear automaticamente outras ações subsequentes. + +{{< /faq >}} + +{{< faq "Que modelos de código aberto são adequados para utilizar uma IA localmente?" >}} + +Isso depende do caso de utilização e do hardware disponível. Tal como todos os LLM, também os modelos de código aberto têm dimensões e capacidades diferentes. O Llama 3.3, por exemplo, é um conhecido modelo 70B da Meta, adequado a tarefas-padrão complexas e que exige cerca de 42 a 45 GB de VRAM. Existem alternativas europeias da Mistral. + +{{< /faq >}} diff --git a/src/content/posts/ki-selbst-hosten/index.ru.md b/src/content/posts/ki-selbst-hosten/index.ru.md new file mode 100644 index 000000000..bb589d358 --- /dev/null +++ b/src/content/posts/ki-selbst-hosten/index.ru.md @@ -0,0 +1,206 @@ +--- +title: 'Собственный хостинг ИИ: максимальный контроль над данными, моделями и расходами' +description: 'Вместо того чтобы отправлять запросы во внешний облачный ИИ, вы можете запустить ИИ локально на собственной on-premises-инфраструктуре. Размещая ИИ самостоятельно, вы защищаете конфиденциальные данные компании и становитесь независимыми от облачных провайдеров. Текущие расходы и используемые модели вы определяете сами. Из этой статьи вы узнаете, как развернуть собственный ИИ-сервер, какое оборудование и программное обеспечение вам понадобится и на что обращать внимание при выборе локальных моделей ИИ. Кроме того, вы прочитаете, какие преимущества даёт локальная установка ИИ и его бесшовная интеграция в No-Code AI Workflows и существующие системы.' +seo: + title: 'Собственный хостинг ИИ — максимальный контроль с SeaTable' + description: 'Узнайте, как разместить ИИ самостоятельно, защитить конфиденциальные данные и стать независимыми от облачного ИИ благодаря собственному ИИ-серверу.' +date: 2026-09-14 +url: '/ru/sobstvennyy-khosting-ii' +categories: + - 'best-practice' +tags: + - 'Цифровая трансформация' + - 'ИТ-безопасность и конфиденциальность данных' + - 'Интеграции и автоматизация' +color: '#dfe8f8' +register: + show: true +--- + +## Почему стоит размещать собственный ИИ + +Писать тексты, резюмировать электронные письма, создавать изображения: [генеративный ИИ]({{< relref "posts/kuenstliche-intelligenz" >}}) давно вошёл в повседневную работу. Всё больше компаний используют искусственный интеллект продуктивно, **автоматизируют процессы и открывают новые резервы эффективности**. При этом ИИ-инструменты всё чаще превращаются из экспериментального набора в критически важную для бизнеса технологию. + +Поэтому во многих местах растут как сомнения, так и требования в отношении **защиты данных, суверенитета данных, контроля расходов и ИТ-безопасности**. Тот, кто передаёт конфиденциальные данные компании, внутренние документы или исходный код внешним Cloud AI Services, должен ясно понимать, где эти данные окажутся, насколько они защищены и используются ли они при обучении моделей. + +Если же вы размещаете ИИ самостоятельно, то переносите обработку данных в собственную [инфраструктуру]({{< relref "posts/it-infrastruktur" >}}). Локальная LLM (Large Language Model) может работать, например, на ИИ-сервере в центре обработки данных вашей компании. Так вы создаёте техническую основу для [цифрового суверенитета]({{< relref "posts/digitale-souveraenitaet" >}}). + +## Собственный хостинг ИИ: важнейшие преимущества с первого взгляда + +- **Высочайший уровень защиты данных**: конфиденциальные данные находятся внутри вашей собственной серверной инфраструктуры и не передаются внешним ИИ-сервисам. +- **Цифровой суверенитет**: с моделью с открытым исходным кодом вы можете обучать собственный ИИ и действовать независимо от крупных поставщиков ИИ. +- **Полный контроль расходов**: при локальном ИИ не возникает платы за токены в зависимости от использования, и вас не затрагивает рост цен на внешний облачный ИИ. +- **Больше гибкости**: вы сами решаете, какую модель ИИ использовать, на каких данных её обучать и когда устанавливать новые версии. +- **Бесшовная интеграция**: через API-интерфейсы локальный ИИ можно объединить с базами данных, приложениями и автоматизациями в единую комплексную систему. + +![Собственный хостинг ИИ](ki-selbst-hosten.jpg) + +## Локальный искусственный интеллект против облачного ИИ + +Решение о том, использовать облачный ИИ или размещать ИИ самостоятельно, даётся непросто. У обоих подходов есть свои плюсы и минусы. Предпочтение self-hosting или Cloud AI зависит прежде всего от того, какой вес вы придаёте тем или иным критериям. Поэтому оцените, насколько высоки в действительности ваши требования к **цифровому суверенитету, защите данных, комплаенсу, масштабируемости, размеру модели и совокупной стоимости**. + +- **Cloud AI Services** часто выигрывают за счёт простого масштабирования по мере использования и **быстрого запуска без установки оборудования**. Это значит, что вам не нужно закупать и обслуживать GPU-инфраструктуру — вы пользуетесь ИИ-серверами провайдера. Для отдельных задач, тестовых этапов или **сильно колеблющейся, плохо прогнозируемой нагрузки** облачный ИИ может быть особенно привлекательным. + +- В противоположность этому **локальный искусственный интеллект** на вашем собственном ИИ-сервере даёт **полный контроль над обработкой данных**. Вы сами решаете, какие модели использовать, с какими системами они интегрированы и какие данные обрабатывают. При **стабильно высокой нагрузке на ИИ** и высокой ценности (конфиденциальных) данных self-hosting становится интересным и с экономической точки зрения. + +| Критерий | Локальный ИИ | Облачный ИИ | +| ------------------------------- | ------------------------------- | ------------------------------- | +| **Оборудование** | в собственности | арендуется по мере необходимости | +| **Контроль над данными** | очень высокий | низкий, зависит от провайдера | +| **Масштабируемость** | негибкая, зависит от оборудования | очень гибкая и простая | +| **Затраты на обслуживание** | высокие | низкие | +| **Расходы** | высокие затраты на приобретение и эксплуатацию | текущие лицензионные расходы, чаще всего по факту использования | +| **Работа офлайн** | возможна | невозможна | + +## Оборудование и инфраструктура: что нужно собственному ИИ-серверу? + +Если вы хотите размещать ИИ самостоятельно, учитывать следует не только возможности моделей. Решающим является сочетание оборудования, размера модели и конкретных бизнес-процессов. Поэтому центральный вопрос звучит так: **сколько вычислительной мощности вам нужно для ваших ИИ-процессов?** Собственному ИИ-серверу прежде всего требуются GPU, VRAM, SSD-накопители и охлаждение. При нескольких параллельных пользователях добавляются ещё эффективная загрузка GPU и пропускная способность сети. + +### GPU и VRAM + +Графические процессоры (Graphics Processing Units, GPU) сегодня образуют сердце ИИ-серверов. Для LLM особенно важен доступный объём VRAM (Video Random Access Memory) графического процессора. Под этим понимают **локальную оперативную память видеокарты**, которая служит быстрым промежуточным хранилищем при создании текстов, графики и изображений. + +![Собственный хостинг ИИ: видеокарты](ki-selbst-hosten-grafikkarten.jpg) + +Не всегда приходится тратить на видеокарты крупные суммы. Небольшие модели ИИ отчасти можно запускать уже на производительном потребительском оборудовании с объёмом памяти до 12 ГБ, тогда как более крупные модели требуют заметно больше памяти GPU (обычно свыше 24 ГБ). + +### Инженерная инфраструктура + +Собственный ИИ-сервер может выделять много тепла, а также иметь огромное энергопотребление и пропускную способность. Поэтому для самостоятельного размещения ИИ вам, помимо уже упомянутых компонентов, понадобятся специальные **системы охлаждения**, **кабельная проводка**, **сети**, **источники бесперебойного питания** и, конечно, **серверные помещения**, в которых будет стоять ваш собственный ИИ-сервер. + +![Инфраструктура для собственного ИИ-сервера](ki-server.jpg) + +## Подходящие модели для самостоятельного хостинга ИИ + +Какие модели ИИ лучше всего подходят для локального использования? Это зависит главным образом от желаемого **размера модели**, **сценария применения** и доступного **оборудования**. + +### Размеры моделей ИИ от 7B до 70B + +7B и 70B обозначают **количество параметров модели ИИ в миллиардах** (по-английски «billion»), причём 7 миллиардов параметров соответствуют небольшой модели, а 70 миллиардов параметров — крупной. В зависимости от сценария применения при самостоятельном хостинге ИИ лучше подойдёт либо маленькая, быстрая и недорогая модель 7B, либо большая, ресурсоёмкая и затратная модель 70B. В качестве грубого ориентира может служить следующий обзор: + +- **Модели 7B** идеальны для несложных задач вроде чатов и простых автоматизаций. Они понимают обычные тексты, пишут резюме или отвечают на простые вопросы. Однако в сложных логических задачах или при глубоких специальных знаниях они ошибаются. Зато им нужно мало электроэнергии и вычислительной мощности, и они могут работать уже на обычном игровом ПК. +- **Модели 70B** способны решать комплексные задачи, брать на себя более требовательные корпоративные задания и обсуждать сложные темы на уровне эксперта. Но им требуется больше времени на вычисления и ответ, а также высокий объём VRAM. Из-за этого они потребляют заметно больше электроэнергии в эксплуатации и требуют дорогих профессиональных видеокарт, которые обычно встречаются в центрах обработки данных. + +| Аспект | Модели 7B | Модели 70B | +| ---------------------------- | ---------------------------- | ---------------------------- | +| **Размер модели** | небольшой | большой | +| **Скорость ответа** | очень высокая | ощутимо ниже | +| **Логика** | простая | сложная | +| **Требования к оборудованию** | относительно низкие | очень высокие | +| **Расходы** | невысокие | высокие | +| **Типичные области применения** | напр. простая автоматизация, чат-боты | напр. сложная аналитика и требовательные задачи | + +![Самостоятельный хостинг модели ИИ](ki-modell-selbst-hosten.jpg) + +### Квантизация + +Кроме того, обращать внимание следует не только на размер модели, но и на квантизацию. Ведь квантизованные варианты моделей требуют **существенно меньше VRAM**, чем модели с полной точностью. Под квантизацией понимают снижение точности вычислений в моделях ИИ, например с 32-битных чисел с плавающей запятой до 8-битных целых чисел. При этом принимается **компромисс между скоростью и точностью вычислений**. + +{{< warning headline="Техническое отступление" text="У **32-битных чисел с плавающей запятой (FP32)** имеется множество примерно из 4,3 миллиарда возможных значений в диапазоне от -3,4 ⋅ 10³⁸ до 3,4 ⋅ 10³⁸; у **8-битных целых чисел (INT8)**, напротив, лишь 256 возможных значений — от -128 до 127. Поскольку у последних диапазон значений существенно меньше, умножение матриц может выполняться намного быстрее." />}} + +Квантизация снижает вычислительные затраты и может сделать крупные модели практичными для локальных систем ИИ, **повышая скорость ответа при неизменной вычислительной мощности оборудования**. Разумная стратегия при самостоятельном хостинге ИИ — начать сначала с квантизованной модели. Так вы сможете проверить, какой скорости ответа и какого качества требует ваш конкретный сценарий, прежде чем инвестировать в более производительную GPU-инфраструктуру. + +![Собственный хостинг ИИ: плата](ki-selbst-hosten-platine.jpg) + +### Модели с открытым исходным кодом для самостоятельного хостинга ИИ + +Если вы хотите размещать ИИ самостоятельно, особенно хорошо подходят **некоммерческие модели с открытым исходным кодом** разных размеров и возможностей. Очень популярная модель — **Llama 3.3**, которая сегодня считается стандартом для собственных ИИ-серверов с мощным оборудованием. Здесь вы видите сравнение Llama 3.3 американской корпорации Meta с **европейской моделью от Mistral** и **китайской альтернативой от Alibaba**. Все модели имеют открытый исходный код и используют Q4-квантизацию, благодаря чему потребность в памяти сокращается примерно вчетверо по сравнению с полной точностью. + +| Название | Поставщик | Размер | Основная область применения | Требуемый VRAM | +| -------------------- | --------- | ------ | ------------------------------------ | --------------- | +| **Llama 3.3** | Meta | 70B | универсал со сложной логикой | 42–45 ГБ | +| **Qwen 2.5 Coder** | Alibaba | 32B | программирование и анализ данных | 20–24 ГБ | +| **Mistral Large 2** | Mistral | 123B | бизнес-приложения и агенты | 75–80 ГБ | + + +## Локальная установка и эксплуатация ИИ: Ollama, vLLM и другие + +Если вы хотите установить ИИ локально, сегодня вам больше не нужно разрабатывать сложную программную архитектуру. Некоторые инструменты способны существенно упростить старт. + +### Ollama + +Ollama — это **программное обеспечение с открытым исходным кодом**, которое позволяет вам эксплуатировать ИИ локально. С помощью Ollama вы можете **загружать свободно доступные языковые модели прямо на свой компьютер** и делать их доступными для множества приложений через стандартизированный интерфейс. Недостаток в том, что у Ollama **нет графического пользовательского интерфейса** для Linux, поэтому требуются технические знания. + +### vLLM + +Как и Ollama, vLLM представляет собой **инференс-движок с открытым исходным кодом** для больших языковых моделей (LLM). Однако его настройка и сценарии применения в сравнении более требовательны. vLLM рассчитан на **высокую пропускную способность и несколько GPU** и особенно подходит для собственных ИИ-серверов с **большим числом параллельных запросов**. Он отличается тем, что делает работу моделей ИИ на собственном оборудовании быстрее, эффективнее и масштабируемее. + +![Производительный собственный ИИ-сервер](ki-selbst-hosten-infrastruktur.jpg) + +### LM Studio + +Благодаря простому в обращении **десктопному приложению с графическим интерфейсом** LM Studio выигрывает как доступная альтернатива Ollama и vLLM. При этом LM Studio интегрирует платформу **Hugging Face**, которая открывает доступ к различным моделям ИИ. Как только вы загрузите и установите подходящую модель, вы сможете сразу же начать общение с чат-ботом. Зато LM Studio и более требователен к ресурсам, а его исходный код **закрыт**. + +### Open Web UI + +Ещё один интересный компонент на случай, если вы хотите размещать ИИ самостоятельно, — Open Web UI. С помощью этой self-hosted-платформы ИИ вы можете **создать удобный веб-интерфейс для моделей ИИ**, которые вы эксплуатируете локально, например через Ollama или vLLM. Так изначально малодоступная локальная LLM превращается в приложение, которым могут пользоваться и **люди без технических специальных знаний**. + +![Самостоятельный хостинг ИИ и его использование как чат-бота с интерфейсом](ki-selbst-hosten-chatbot.jpg) + +### Пример архитектуры для самостоятельного хостинга ИИ + +Типичная архитектура могла бы выглядеть, например, так: + +**Пользователь → Open Web UI → Ollama или vLLM → локальная LLM** + +Таким образом вы можете установить ИИ локально и подключать приложения через API. При локальной эксплуатации ИИ вам следует с самого начала продумать также **мониторинг, аутентификацию, права доступа, резервные копии и обновления**. Запустить LLM на собственном ИИ-сервере — технически лишь первый шаг на пути к безопасной продуктивной системе. + +## No-Code AI и рабочие процессы: умная интеграция ИИ + +Наибольшая польза нередко возникает не от самого ИИ, а от его встраивания в [бизнес-процессы]({{< relref "pages/landing-pages/industry-solutions/operations" >}}). Локальный искусственный интеллект может, например, анализировать новые записи из внутренней базы данных, классифицировать тексты или резюмировать входящие документы. Через API-интерфейс результат можно затем передать, например, в [CRM-систему]({{< relref "posts/no-code-crm" >}}) или запустить автоматизацию. + +Благодаря **No-Code AI** — например, с помощью No Code AI Workflow Builder — такие процессы можно в значительной мере смоделировать без классического программирования. Это снижает затраты на разработку и делает функции ИИ доступными для [citizen developer]({{< relref "posts/20250317-citizen-developer" >}}) в компании. Если вы самостоятельно размещаете и No Code AI Workflow Builder, и сам ИИ, обработка данных происходит исключительно внутри вашей собственной инфраструктуры. + +### ИИ-автоматизации SeaTable + +В **SeaTable** выбор за вами: воспользуйтесь масштабируемостью и удобством [облака]({{< relref "posts/cloud-computing" >}}) или установите SeaTable on-premises на собственной инфраструктуре. Как [No-Code-платформа с ИИ]({{< relref "/" >}}) SeaTable открывает перед вами интересные возможности, например сочетание [No Code]({{< relref "posts/20250307-low-code" >}}), [реляционных баз данных]({{< relref "posts/relationale-datenbank" >}}) и [ИИ-автоматизаций]({{< relref "pages/landing-pages/use-cases/ai-automations" >}}): используйте мощные функции, такие как **Summarize, OCR, Extract, Classify и Custom Prompts**. + +![ИИ-автоматизации SeaTable](ki-automatisierung-seatable.jpg) + +[SeaTable Cloud]({{< relref "pages/product/seatable-cloud" >}}) использует в качестве модели ИИ Gemma3 от Google с 12 миллиардами параметров. Для облачных пользователей ИИ-автоматизации выполняются на нашем собственном ИИ-сервере в Германии. Ваши данные ни в какой момент не покидают эту инфраструктуру и не передаются ни Google, ни другим американским поставщикам. + +Ради полного контроля вы можете самостоятельно разместить не только [SeaTable Server]({{< relref "pages/product/seatable-server" >}}), но и свой ИИ. Так вы сможете автоматизировать рабочие процессы, не передавая конфиденциальную информацию внешнему облачному ИИ. Компонент **SeaTable AI** основан на LiteLLM и благодаря этому поддерживает подключение множества моделей — включая все LLM-сервисы с OpenAI-совместимым API. В нашем руководстве администратора вы найдёте [инструкцию по развёртыванию SeaTable AI](https://admin.seatable.com/installation/components/seatable-ai/) и примеры конфигураций для многочисленных популярных LLM. + +### Подключение ИИ-агентов к SeaTable + +Хотите вести диалог со своей базой данных в SeaTable в режиме реального времени или изменять её с помощью индивидуальных промптов на естественном языке? Тогда [ИИ-агент]({{< relref "help/ai/ai-agents/what-are-ai-agents" >}}) — именно то решение, которое вам нужно! За этим подходом стоит [MCP-сервер SeaTable]({{< relref "posts/mcp-server" >}}). MCP (Model Context Protocol) — это открытый стандарт, который позволяет моделям ИИ активно взаимодействовать с источниками данных. Так чат-бот может напрямую обращаться к вашей базе данных в SeaTable и отвечать на вопросы о ней — без обходных путей и потери информации. + +Лучше всего это работает с производительными моделями ИИ (напр. [Claude Desktop]({{< relref "help/ai/ai-agents/connect-claude-desktop" >}}) от Anthropic), которые способны отвечать на сложные вопросы и работать с вашими данными в несколько этапов. По соображениям защиты данных важно понимать, что вы предоставляете ИИ-агенту доступ к данным в вашей базе SeaTable. Правами ИИ-агента вы управляете через **API-токен**, который создаёте в SeaTable. Если вы размещаете ИИ самостоятельно, то можете установить на собственной инфраструктуре как SeaTable, так и MCP-сервер и связать их с локальным ИИ (например, через Ollama или LM Studio). Тогда ваши данные ни в какой момент не покинут вашу систему. Больше информации об этом вы найдёте [здесь]({{< relref "help/ai/ai-agents/data-security" >}}). + +## Итог: самостоятельный хостинг ИИ обеспечивает цифровую независимость + +Размещая собственный ИИ, вы сами решаете, какую модель использовать, эксплуатируете собственный ИИ-сервер и сохраняете полный контроль над своими данными. Это особенно интересно компаниям с высокими требованиями к защите данных и [государственному сектору]({{< relref "pages/landing-pages/industry-solutions/public-service" >}}). Однако тот, кто хочет размещать ИИ самостоятельно, должен реалистично планировать инфраструктуру: GPU и VRAM во многом определяют возможный размер модели, а квантизация способна оптимизировать скорость. + +С правильной архитектурой и открытым программным обеспечением вроде Ollama или vLLM ИИ можно эксплуатировать локально и интегрировать через API в существующие бизнес-процессы. Инструменты No-Code AI, такие как SeaTable, в свою очередь позволяют эффективно автоматизировать ваши [рабочие процессы]({{< relref "pages/landing-pages/industry-solutions/individual" >}}), а также анализировать и редактировать ваши No-Code-базы данных с помощью ИИ-агентов, не передавая конфиденциальные деловые данные внешнему облачному ИИ. + +## FAQ: самостоятельный хостинг ИИ + +{{< faq "В чём главное преимущество размещения собственного ИИ?" >}} + +Важнейшее преимущество — суверенитет над данными. Если вы самостоятельно размещаете и свою прежнюю систему, и ИИ, ваши данные никогда не покидают вашу собственную инфраструктуру. Это позволяет выстроить архитектуру, ориентированную на высокий уровень защиты данных и цифровой суверенитет. + +{{< /faq >}} + +{{< faq "Какое оборудование мне нужно для собственного ИИ-сервера?" >}} + +Это зависит главным образом от желаемой модели ИИ. Небольшие модели 7B заметно дешевле в эксплуатации, чем модели 70B. Особенно важны GPU и VRAM. Дополнительно вам потребуются достаточный объём SSD-накопителей и подходящая инженерная инфраструктура (напр. системы охлаждения). Впрочем, за счёт квантизации требования к оборудованию для многих моделей можно снизить. + +{{< /faq >}} + +{{< faq "Чем производительность локального ИИ отличается от коммерческого облачного ИИ?" >}} + +В принципе модели ИИ на вашем собственном ИИ-сервере могут достигать той же производительности, что и в облаке. Однако коммерческие Cloud AI Services часто располагают собственными центрами обработки данных с очень крупными GPU-кластерами и поэтому могут предоставлять невероятно мощные модели и масштабироваться практически произвольно. Локальный искусственный интеллект, напротив, не может гибко масштабироваться и требует соответствующе производительного оборудования, чтобы обеспечивать хорошую скорость при высокой нагрузке. + +{{< /faq >}} + +{{< faq "Можно ли связать локальный ИИ с No-Code-инструментами и автоматизациями?" >}} + +Да. Через API-интерфейсы вы можете связать локально работающую LLM с инструментами No-Code AI, такими как SeaTable, с помощью которых можно создавать собственные базы данных, приложения и автоматизации без навыков программирования. Так вы можете, например, резюмировать тексты, классифицировать записи или считывать документы, а затем автоматически запускать дальнейшие действия. + +{{< /faq >}} + +{{< faq "Какие модели с открытым исходным кодом подходят для локальной эксплуатации ИИ?" >}} + +Это зависит от сценария применения и доступного оборудования. Как и все LLM, модели с открытым исходным кодом различаются по размеру и возможностям. Llama 3.3, например, — известная модель 70B от Meta, которая подходит для сложных стандартных задач и требует примерно 42–45 ГБ VRAM. Европейские альтернативы предлагает Mistral. + +{{< /faq >}} diff --git a/src/content/posts/ki-selbst-hosten/ki-automatisierung-seatable.jpg b/src/content/posts/ki-selbst-hosten/ki-automatisierung-seatable.jpg new file mode 100644 index 000000000..248cf96b7 Binary files /dev/null and b/src/content/posts/ki-selbst-hosten/ki-automatisierung-seatable.jpg differ diff --git a/src/content/posts/ki-selbst-hosten/ki-modell-selbst-hosten.jpg b/src/content/posts/ki-selbst-hosten/ki-modell-selbst-hosten.jpg new file mode 100644 index 000000000..92bd9062a Binary files /dev/null and b/src/content/posts/ki-selbst-hosten/ki-modell-selbst-hosten.jpg differ diff --git a/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-chatbot.jpg b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-chatbot.jpg new file mode 100644 index 000000000..34854791a Binary files /dev/null and b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-chatbot.jpg differ diff --git a/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-grafikkarten.jpg b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-grafikkarten.jpg new file mode 100644 index 000000000..1fc99942f Binary files /dev/null and b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-grafikkarten.jpg differ diff --git a/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-infrastruktur.jpg b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-infrastruktur.jpg new file mode 100644 index 000000000..c71e6016c Binary files /dev/null and b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-infrastruktur.jpg differ diff --git a/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-platine.jpg b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-platine.jpg new file mode 100644 index 000000000..e0f53531a Binary files /dev/null and b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten-platine.jpg differ diff --git a/src/content/posts/ki-selbst-hosten/ki-selbst-hosten.jpg b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten.jpg new file mode 100644 index 000000000..57d449025 Binary files /dev/null and b/src/content/posts/ki-selbst-hosten/ki-selbst-hosten.jpg differ diff --git a/src/content/posts/ki-selbst-hosten/ki-server.jpg b/src/content/posts/ki-selbst-hosten/ki-server.jpg new file mode 100644 index 000000000..e44e841fc Binary files /dev/null and b/src/content/posts/ki-selbst-hosten/ki-server.jpg differ