Fine-tuning de GPT avec le dataset du forum

Hello,

Je sais que c’est possible, mais j’ai pas encore trop creusé le sujet, mais ce serait cool d’essayer de fine tuner GTP avec le dataset du forum (≈100K réponses).

Quelqu’un ici maitrise un peu le fine-tuning sur GPT ?

4 « J'aime »

Super idée :smiley: ! J’aurais bien voulu aider, mais je suis trop débordé en ce moment :sweat_smile:. Voici un tuto hyper détaillé qui explique pas à pas comment faire : https://norahsakal.com/blog/fine-tune-gpt3-model. Ce n’est pas si compliqué, en plus c’est en Python :heart_eyes:.

7 « J'aime »

J’y ai pensé hier aussi, les grands esprits se rencontrent :joy:

Je voulais faire ce test avec Auto-GPT que j’ai poncé tout le week-end.

Il est capable d’une suite de tâche autonome, de naviguer sur internet et de créer des agents GPT-3 qu’il appelle pour faire des résumés, etc. Ils avaient commencé à inclure Pinecone pour la mémoire et là ils ont ajoutés Redis.

Voici le projet (merci Hugo il se reconnaîtra s’il passe par là)

Il y a aussi ce projet qui est très intéressant :

PS : J’ai un de mes test qui était vraiment incroyable, je suis resté plusieurs heures à regarder ce qu’il faisait, ça semblait très cohérent !

PS 2 : Je tente de compresser le texte et ses idées pour créer un protocol de langage lorsqu’il se parle à lui même car je pense que ça peut réduire les coûts de call API, sans certitude dans ce que je fais

Captures d'écran



5 « J'aime »

Il y a ce tweet que j’avais enregistré et qui parle de la compression de prompt pour justement réduire les coûts de l’API ‪😄‬: https://twitter.com/victortaelin/status/1642664054912155648?s=46&t=McsCotwG8-tRGjEW9JLOAg

Voici le gist pour pouvoir reproduire l’exemple du tweet: https://gist.github.com/VictorTaelin/d293328f75291b23e203e9d9db9bd136

4 « J'aime »

trop cool ton tuto !
Merci.

1 « J'aime »

Je t’en prie :raised_hands:

Je viens de tomber la dessus : https://www.databerry.ai/

3 « J'aime »

Hyper intéressant, merci !

1 « J'aime »