ggml-org/llama.cpp

ggml-org /

llama.cpp

☆ 133k · C++ · Ayrı uygulama

Açıklama

Yerel LLM çalıştırma motoru: GGUF modellerini CPU'da ve çeşitli GPU'larda çalıştırır, OpenAI uyumlu sunucu açar; Jan'ın altında da bu motor çalışır.

Kurulum

Uygulamayı kur

Bilgisayarına veya sunucuna ayrı bir program olarak kurulur. Prompt’u kodlama ajanına yapıştır.

Şu uygulamayı kurmak istiyorum: https://github.com/ggml-org/llama.cpp
README'sini oku; bu bilgisayara mı (masaüstü uygulaması ya da komut satırı aracı) yoksa bir sunucuya mı (Docker ile çalışan servis) kurulduğunu söyle. İşletim sistemimde çalışıp çalışmadığını ve gereksinimlerini (ekran kartı, Docker, API anahtarı, disk alanı) kontrol et. Kurulum adımlarını göster; onaylarsam kur ve nasıl kullanılacağını kısaca göster.

Kaynak

replace.soInstagram

Benzer repolar

Alt kategori: Yerel model ve yönlendirme

ollama /ollama

ollamaollama

Açık modelleri (Gemma, Qwen, DeepSeek...) kendi bilgisayarında çalıştırır ve REST API sunar; ollama launch ile Claude Code, Codex, OpenCode ve Hermes gibi ajanları yerel modelle başlatır.

Go☆ 185k

Ayrı uygulamaNot var

open-webui /open-webui

open-webuiopen-webui

Kendi sunucunda çalışan ChatGPT benzeri AI sohbet arayüzü: Ollama'daki yerel modellere ve OpenAI uyumlu API'lere bağlanır; belgeyle sohbet (RAG), web araması, eklentiler, kullanıcı yönetimi, LDAP ve SSO desteği var.

Svelte☆ 157k

Ayrı uygulamaNot var

diegosouzapw /OmniRoute

OmniRoutediegosouzapw

Yerel, OpenAI uyumlu AI ağ geçidi. İstekleri 350'den fazla sağlayıcıya dağıtır, kota bitince başkasına geçer.

TypeScript☆ 84,5k

Ayrı uygulamaNot var