Установка Ollama на AlmaLinux 8

[baltun]

Самый простой способ — выполнить команду в терминале:

curl -fsSL https://ollama.com/install.sh | sh

Чтобы Ollama запускалась автоматически при старте системы, настройте её как службу systemd (/etc/systemd/system/ollama.service)

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

Активация и запуск службы, проверка статуса:

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama

llama3.1:8b или mistral:7b - хороший баланс скорости и качества для 8Гб RAM.

# Скачать модель
ollama pull llama3.1:8b

# Запустить и проверить работу
ollama run llama3.1:8b

# Удаление старой модели
ollama rm llama3.1:8b

Установка и запуск новой модели для 16Гб RAM:

ollama run gpt-oss:20b

Отключить режим мышления:

# Отключить режим мышления
/set nothink

# Включить режим мышления
/set think

Смотреть список моделей.

ollama list

Установка Open WebUI.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Запуск Open WebUI, если модели локальные.

docker run -d --network=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  -e PORT=3000 \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Проверка работы.

sudo netstat -tulpn | grep 3000
docker logs open-webui

Установить Python 3.9 и использовать его.

sudo dnf install python39 python39-pip -y
pip3.9 --version
pip3.9 install 'ollama>=0.6.0'