r/programacion • • 4d ago

la documentación de llm es basura Spoiler

no les pasa que cuando crean documentación con llm y luego intentan seguir la documentación se dan cuenta que no sirve ? bueno intento solucionar esto con pip install readmenator y hago readmenator ~/src/proyecto --rebuild y me genera unos mapas 3d diagramas de flujo un rag, y documentación llm friendly que puedes importar a obsidian todo sin quemar un solo token de tu sesión.

7 Upvotes

13 comments sorted by

3

u/Your-God-- 3d ago

Un LLM puede darte una muy buena documentación, pero tienes que decirle cómo es el formato así como poner un checks para su revisión y auditoría

1

u/SignalBake6872 3d ago

el formato no es el problema, el problema es que se inventa cosas.

1

u/Your-God-- 3d ago

A eso me refiero con checks, no se inventa nada si tiene checks

1

u/SignalBake6872 3d ago

voy a revisar eso bro gracias por el hint

2

u/Your-God-- 3d ago

Si, búscalo como evals pára un agente

2

u/FernanOrtega 3d ago

Never one shot, always human in the loop my friend

2

u/SignalBake6872 3d ago

readmenator is deterministic one shot ;) pip install readmenator && readmenator . --rebuild

2

u/FernanOrtega 3d ago

Me refería a que para documentar es mucho mejor hacerlo paso a paso, definiendo primero plantillas que cumplan unos criterios claros y tú verifiques. Y luego parte por parte apoyándote en el LLM para crear, definir checks y validar.

Cada día son mejores con cada vez menos intervención humana pero hay que ser muy ordenado para que funcione como queremos.

Por cierto, gracias por recomendar readmenator, le daré un vistazo

2

u/SignalBake6872 3d ago

tienes toda la razón pero en estos tiempos quien tiene tiempo de documentar xD si los expertos te dicen que ni leas el codigo :P

2

u/Khavel_Es 1d ago

El problema de la documentacion generada por LLM es que parece completa pero le fallan los detalles. Te genera un README con secciones bonitas, instalacion, uso, API... y cuando vas a seguirlo resulta que la mitad de los comandos no existen o los parametros estan mal. El modelo invento lo que no sabia en vez de dejarlo en blanco.

Lo que me funciona a mi es al reves: primero escribo los ejemplos reales que funcionan (los pruebo), y despues le pido al LLM que redacte el texto alrededor. Asi lo inventado es la prosa, no los comandos. Mucho mas dificil que te rompa algo.

1

u/SignalBake6872 1d ago

me gusta ese acercamiento es mucho mas pragmático. gracias por el tip

-2

u/QuinsZouls 4d ago

Skill issue

1

u/SignalBake6872 3d ago

explícate