Как подключить AFFiNE к Ollama?28.03.2025 12:16

899b1b64c6105811c3629dd36776e390.jpg

Когда я пытался подключить AFFiNE к Ollama или к DeepSeek, я сразу столкнулся с большой проблемой: AFFiNE попросту не умеет работать с моделями, отличными от GPT. Вопрос: почему? Да потому что ребята просто захардкодили названия моделей в коде. 

Честности ради, ребята все еще в бете, так что причину отлично понимаю

Покопавшись в коде, я понял, что там попросту никак нельзя конфигурировать что-либо, КРОМЕ URL и API-ключа от OpenAI, так как названия моделей буквально захардкожены.

Используют под разные модели под разные задачи в рамках AFFiNE
Используют под разные модели под разные задачи в рамках AFFiNE

В итоге я вспомнил, что в LocalAI есть механизм, позволяющий «ренеймить» модели, которые ты установил на свою машину.

name: phi-2
context_size: 2048
f16: true
threads: 11
gpu_layers: 90
mmap: true
parameters:
  # Reference any HF model or a local file here
  model: huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
  temperature: 0.2
  top_k: 40
  top_p: 0.95
template:

  chat: &template |
    Instruct: {{.Input}}
    Output:
  # Modify the prompt template here ^^^ as per your requirements
  completion: *template

Указав название, можно переименовать модель, что могло бы упростить работу.

Однако LocalAI мне лично совсем не нравится (он попросту сложнее), хотя я не исключаю варианта, что со временем буду переезжать на него вместо Ollama из-за возможностей работать не только с LLM, а с множеством разных видов нейронов.

Так что я пошел копаться в сторону похожего функционала в Ollama, однако там ничего подобного не оказалось. Но я увидел механизм copy.

Я решил:, а вдруг подойдут? Но, конечно, боялся дублировать модели по 30 гигабайт на диске. Но что поделать, попробовал сделать дубликат модели DeepSeek-r1:32b и назвать его gpt-4o.

docker exec -it service-ollama-backend ollama cp deepseek-r1:32b gpt-4o

ИИИИ — да, это сработало.

Проблема только одна: AFFiNE всё еще не умеет работать с «мыслящими» моделями, поэтому он попросту вставлял мысли модели посреди текста : D.

d222e4c35318d6a0e0f490cedc59eec6.png

P.S. У меня, кстати, в Telegram-канале сейчас идет розыгрыш моего старого Intel NUC на 32 ГБ памяти, на котором я раньше запускал первые домашние модели через Ollama, так что буду рад подписке:-)

© Habrahabr.ru