Hello,
Je sais que c’est possible, mais j’ai pas encore trop creusé le sujet, mais ce serait cool d’essayer de fine tuner GTP avec le dataset du forum (≈100K réponses).
Quelqu’un ici maitrise un peu le fine-tuning sur GPT ?
Hello,
Je sais que c’est possible, mais j’ai pas encore trop creusé le sujet, mais ce serait cool d’essayer de fine tuner GTP avec le dataset du forum (≈100K réponses).
Quelqu’un ici maitrise un peu le fine-tuning sur GPT ?
Super idée ! J’aurais bien voulu aider, mais je suis trop débordé en ce moment
. Voici un tuto hyper détaillé qui explique pas à pas comment faire : https://norahsakal.com/blog/fine-tune-gpt3-model. Ce n’est pas si compliqué, en plus c’est en Python
.
J’y ai pensé hier aussi, les grands esprits se rencontrent
Je voulais faire ce test avec Auto-GPT que j’ai poncé tout le week-end.
Il est capable d’une suite de tâche autonome, de naviguer sur internet et de créer des agents GPT-3 qu’il appelle pour faire des résumés, etc. Ils avaient commencé à inclure Pinecone pour la mémoire et là ils ont ajoutés Redis.
Voici le projet (merci Hugo il se reconnaîtra s’il passe par là)
Il y a aussi ce projet qui est très intéressant :
PS : J’ai un de mes test qui était vraiment incroyable, je suis resté plusieurs heures à regarder ce qu’il faisait, ça semblait très cohérent !
PS 2 : Je tente de compresser le texte et ses idées pour créer un protocol de langage lorsqu’il se parle à lui même car je pense que ça peut réduire les coûts de call API, sans certitude dans ce que je fais
Il y a ce tweet que j’avais enregistré et qui parle de la compression de prompt pour justement réduire les coûts de l’API 😄: https://twitter.com/victortaelin/status/1642664054912155648?s=46&t=McsCotwG8-tRGjEW9JLOAg
Voici le gist pour pouvoir reproduire l’exemple du tweet: https://gist.github.com/VictorTaelin/d293328f75291b23e203e9d9db9bd136
trop cool ton tuto !
Merci.
Je t’en prie
Hyper intéressant, merci !