Hello, pour ça tu peux utiliser langchain avec soit les agents => Agents | 🦜️🔗 Langchain en ajoutant un tool dessus de scraping (cheerio ou puppeteer) => Web Loaders | 🦜️🔗 Langchain, et renvoyer ça sur un endpoint.
Tu peux aussi faire ça de manière juste contraint en faisant le workflow directement (les agents c’est un peu comme laisser un gosse avec ta CB à jouéclub), scraper puis push à openai les tokens correspondant à la page, ça te permettra de faire un premier clean du raw html qui prend du poids (et donc des tokens et donc de la thune)
Réponse un peu dérivé vu que tu demandais un truc clé en main, mais au cas où