De mon expérience tout dépend de ce que tu veux faire, voici quelques solutions :
faire du fine tuning avec l’API (d’OpenAI, Mistral et cie…) ou sur une plateforme style Microsoft, ALEIA etc…, mais ça va te couter relativement cher
OU
prendre un modèle open et le fine tuner de ton coté, mais il faut des gros serveurs et donc ça coûte aussi cher
OU
utiliser une architecture un peu comme un chatbot, en mode RAG et un bon prompt et quelques règles métier en amont
Tout dépend du cas d’usage, mais j’ai l’impression que la dernière option en couvre un bon nombre…