Sowohl in unserem Projekt KI4Edu als auch im Projekt DigiTeamsBau sind die aktuellen und zukünftigen Entwicklungen in der digitalen Welt ein zentraler Punkt. Ein besonderes Anliegen ist dabei die Erfassung und stetige Verfolgung von technologischen Fortschritten (Technologieradar) wie z.B. in der Welt der künstlichen Intelligenz. Obgleich unser Blick aktuell durch die Fußball-Europameisterschaft (EM) eher auf den Kontinent Europa gerichtet ist und heute für die Mannschaften der Slowakei, Ukraine, Polen oder Österreich mitgefiebert wird, richtet sich mein Augenmerk gerade auf Asien. Denn dort hat es kürzlich einen bedeutenden Durchbruch gegeben: DeepSeek Coder ist das erste Open-Source Modell, das OpenAIs GPT-4 Turbo, Claude 3 Opus and Gemini 1.5 Pro übertrifft. Nach eigenen Angaben von DeepSeek sei dies das erste Mal, dass ein offenes Modell diese Leistung erreicht habe, und dass es damit dem Llama 3-70B und anderen Modellen dieser Kategorie weit voraus sei. Dieser Fortschritt markiert einen wichtigen Meilenstein in der Entwicklung von KI-Modellen und stellt eine bemerkenswerte Leistung in der Open-Source Entwicklung dar.

Was ist DeekSeek Coder?

DeepSeek Coder ist ein leistungsfähiges Codiermodell, das dazu entwickelt wurde, verschiedene Aufgaben im Bereich der Softwareentwicklung und Code-Generierung zu unterstützen und zu optimieren. DeepSeek-Coder-V2 unterstützt 338 Programmiersprachen und kann Kontexte von bis zu 128.000 Tokens verarbeiten. Das Modell wurde mit insgesamt 10,2 Billionen Tokens trainiert, davon 60 % Quellcode, 10 % mathematische Daten und 30 % natürliche Sprache. DeepSeek Coder unterstützt 338 Programmiersprachen, die auf 87 % Code und 13 % natürlicher Sprache in Englisch und Chinesisch trainiert wurden.

Was macht DeepSeek Coder so besonders?

1. Leistungsstärke und Vielseitigkeit

DeepSeek Coder, Teil der DeepSeek LLM-Familie, verfügt über 67 Milliarden Parameter. Diese große Anzahl ermöglicht es dem Modell, Aufgaben in verschiedenen Bereichen wie Programmierung, Mathematik und Sprachverständnis effizient zu bewältigen. Das Modell wurde umfassend auf einem umfangreichen Datensatz von 2 Billionen Tokens in Englisch und Chinesisch trainiert, was seine Vielseitigkeit und Leistung weiter verbessert.

2. Präzise Programmierleistung

Ein weiteres Merkmal des DeepSeek Coder ist seine Fähigkeit, Programmieraufgaben mit hoher Präzision zu lösen. Das Modell erzielte solide 73,78 % in der HumanEval-Bewertung, einem Benchmark, der speziell für die Bewertung der Fähigkeiten von KI-Modellen in der Programmierung entwickelt wurde. Diese Leistung ist beachtlich und zeigt die Effizienz von DeepSeek im Vergleich zu anderen Modellen ähnlicher Größe.

3. Stark in Mathematik und Sprachverständnis

Neben der Programmierung zeigt DeepSeek Coder auch in mathematischen Aufgaben starke Leistungen. Es erreichte beachtliche Werte im GSM8K Benchmark und in der One-Shot Bewertung. Zudem zeigte das Modell in Tests zur chinesischen Sprachkompetenz bessere Ergebnisse als andere hochentwickelte Modelle, was seine Fähigkeit zeigt, komplexe Sprachverarbeitungsaufgaben zu bewältigen.

Und nun?

DeepSeek Coder setzt neue Maßstäbe in der Welt der Open-Source-KI-Modelle. Mit seiner sehr guten Leistung in Programmierung, Mathematik und Sprachverständnis zeigt das Modell, dass Open-Source-Entwicklungen mit den führenden proprietären Modellen konkurrieren können. Das hilft vor allem bei der breiteren Nutzung und Weiterentwicklung von KI-Technologien.

Was aus meiner Sicht ganz besonders ist, ist die Entscheidung der Entwickler, DeepSeek Coder als Open-Source verfügbar zu machen. Das gilt sowohl für die 7-Milliarden- als auch die 67-Milliarden-Parameter-Versionen des Modells. Ein solcher Schritt fördert nicht nur die Anwendung in der Praxis und den öffentlichen Diskurs sondern auch die Zusammenarbeit in der Forschung und ermöglicht damit auch vielfältige Anwendungsmöglichkeiten. Inwiefern wir das in unseren Projekten einbinden werden, steht noch aus. Naja, eine grundlegende Idee haben wir schon, aber dazu später mehr 🙂 .

Schlagwörter:  Künstliche Intelligenz, Open-Source, DeepSeek Coder, GPT, Maschinelles Lernen, Programmierung, Sprachverarbeitung, Technologieradar

Diesen Beitrag zitieren: Karl, C. [Christian K. Karl]. (2024). DeepSeek Coder: Ein neuer Meilenstein in der Open-Source KI [Blog-Beitrag]. 21.06.2024. BauVolution, ISSN 2942-9145. online verfügbar