LLMfit 0.5.7

LLMfit — приложение-утилита подскажет, какие ИИ-модели можно запустить на вашем компьютере исходя из его характеристик. Оно автоматически определяет параметры системы (RAM, CPU, GPU/VRAM), сравнивает их с большой базой моделей и провайдеров и показывает, какие модели и в какой квантовке будут нормально запускаться именно на вашей машине.

Особенности

• Авто-детект железа и оценка “подойдёт/не подойдёт” по памяти и производительности.
• Скоринг моделей по нескольким измерениям (например, качество/скорость/fit/контекст) и выдача рекомендаций, что запускать в приоритете.
• Интерактивный TUI (по умолчанию) и классический CLI-режим.
• Поддержка multi-GPU, MoE, выбора квантовки, прикидка скорости (tok/s) и интеграции с локальными рантаймами вроде Ollama, llama.cpp, MLX.