ConfigurazioneUtilizzare un LLM self-hosted
Utilizzare un LLM self-hosted
Puoi utilizzare un LLM self-hosted (per es.: tramite Ollama) per tradurre i contenuti.
Vai alla pagina delle Impostazioni in Service Configuration > Self-hosted LLM e configura i valori.
| Impostazione | Descrizione |
|---|---|
| Endpoint URL | URL dell'endpoint HTTP per il tuo modello LLM self-hosted. Vedi gli esempi qui sotto. |
| Compatible with API endpoint from | Con quale provider di servizi di IA è compatibile il tuo endpoint personalizzato: ChatGPT o Claude. |
| Model | Nome del modello LLM self-hosted da utilizzare per tradurre i contenuti. |
| Max tokens | Numero massimo di token che il modello può generare nella risposta. Lascia vuoto per non avere alcun limite (ChatGPT) o utilizza il valore predefinito per Claude. |
Esempi di Endpoint URL:
| URL | Descrizione |
|---|---|
http://localhost:11434/v1/chat/completions | Formato ChatGPT, Ollama sul tuo server |
http://localhost:11434/v1/messages | Formato Claude, Ollama sul tuo server |
https://ollama.com/v1/chat/completions | Formato ChatGPT, Ollama Cloud |
https://ollama.com/v1/messages | Formato Claude, Ollama Cloud |
Se ospiti il LLM sul tuo server, non avrai bisogno della chiave API.
Se utilizzi il tuo LLM self-hosted nel cloud (per es.: utilizzando Ollama Cloud), potresti dover fornire una chiave API, tramite la scheda API Keys > Self-hosted LLM sulla pagina delle Impostazioni.
