Toujours développé?

[xuv]

Bonjour

Je découvre cette version de Respawn. J'aimerais faire un petit projet d'archivage du web et j'hésite entre Respawn et wallabag. Respawn a l'air plus simple et moins gourmand à mettre en place (pas de db) et conserve semble-t-il la mise en page originale des documents sauvés.

Pensez-vous que l'utilisation de Respawn est encore à envisager. Et si oui, comment pourrait-on ajouter une sauvegarde automatique à partir d'un flux RSS.

Merci.

J

[broncowdd]

Bonjour,

Je n'ai pas mis le nez dans Respawn depuis un bon moment, même si je l'utilise encore pour dupliquer du contenu (pour un effet streisand par exemple)
Il est en effet bien moins lourd que wallabag mais il reste quand même moins performant (les deux n'ont pas le même objectif, puisque wallabag est un read-it-later qui dépouille la page pour ne laisser que le contenu pertinent.)

En ce qui concerne la sauvegarde via le flux rss, je pense que le projet autoblog est parfait, puisque c'est précisément son objectif. https://github.com/mitsukarenai/Projet-Autoblog

La sauvegarde en automatique est peu recommandée car Respawn tente de sauver la page en l'état, avec tout ce qu'elle contient: gare à l'inflation du dossier de sauvegarde ^^

[xuv]

Hello Merci pour la réponse.
J'étais passé sur le projet d'Autoblog pendant 2 secondes. Je ne sais plus trop pourquoi je n'avais pas retenu cette idée. De nouveau, peut-être cette histoire de DB. J'aime bien l'idée de Respawn de garder la page dans son état. Et d'être facilement transportable. Mais effectivement, je n'ai pas trop calculé la place que ça pourrait prendre. Aurais-tu une idée sur base de ton expérience de la quantité d'espace nécessaire pour sauver 1000 pages avec Respawn.

Merci pour les conseils et infos.

[broncowdd]

Je t'en prie, pas de quoi ^^
La taille de chaque dossier contenant la page respawnée peut varier énormément en fonction des dépendances de ladite page: de quelques ko pour du texte seul à plusieurs mégas pour une page chargée (images de fond, fontes etc)
1000 pages, ça peut faire rapidement beaucoup ^^

[xuv]

Mmmh. Dilemme. Dilemme. Est-ce que les pages que je compte sauvegarder sont principalement du texte (et donc on s'en fout un peu de la mise en page) ou est-ce que les pages sont graphiquement élaborées et composées (et donc, ça peut être important de sauver le tout)?
J'hésite.
C'est vrai que me retrouver avec 1000 versions de jquery, bootstrap et autres librairies que tout le monde utilise, c'est peut-être pas nécessaire. :)
Je me demande si ça pourrait se résoudre facilement en vérifiant l'utilisation de CDN pour certains contenus.

[broncowdd]

Mmmmm... résoudre le problème de la duplication de fichiers par un genre de cache, par exemple ?
si un fichier ressource (js par exemple) existe et fait le même poids, on ne le récupère pas et on remplace le chemin local par le chemin du cache...
ça limitera pour les jquery et autres libs...

Pour les images, par contre...

[broncowdd]

un exemple avec une page sur mon serveur (au hasard):
images : 563 ko
js : 181 ko
css : 82 ko
fonte : 70 ko
indeh.html: 70 ko
total: presqu'un Mo (le cache permettrait d'économiser le js... soit 181 ko)

[xuv]

Mmmh. Merci pour ces données. Effectivement. Économiser le Js, c'est pas l'truc le plus énorme.
1000 pages, on arrive à 1Go. Ça va, c'est gérable. Avec Autoblog, je gagnerais ~340ko par page, dans cet exemple (Js, css et font). Ça fait une différence de 30%. C'est énorme et pas en même temps.

[broncowdd]

Effectivement, 1go ce n'est pas énorme, tout dépend de ton hébergement ;-)
Ensuite, il faudrait voir dans quel but tu utiliserais respawn: si c'est pour un simple archivage, on peut toujours zipper les dossiers...
(solution inenvisageable pour des copies devant être consultables, btw)

[xuv]

Ce qui m'intéresse ici, c'est de "reproduire" un processus d'archivage à la Archive.org, mais décentralisé, personnalisé et sans suivre l'évolution des pages. Ça prend une "photo" à un moment donné (au moment où j'ai envie de la conserver) et basta. Je peux oublier. Mais dans 3 ans, si jeviens dessus, la page est "telle qu'elle". C'est un peu ça qui m'intéresse. Ce serait couplé à un Shaarli par exemple.

[broncowdd]

Ça avait été une discussion autour des améliorations de shaarli.
Une idée comme ça: quid de la génération d'un pdf à partir de la page ? (voire un autre format, epub ou autre)

[broncowdd]

Sinon, tel quel, ça peut le faire: pour ma part, je me suis mis un lien "respawn link" dans SonaRSS pour respawner d'un clic une page trouvée via les RSS...

[xuv]

Avec REspawn, ce qui me plaît, c'est qu'on reste dans le même format. (Je ne suis pas convaincu par epub, pdf ou autre. Ça fige trop, il me semble.)
J'avais lu que ça faisait partie des améliorations possible de Shaarli. Pas envie d'attendre que ce soit développé. Un REspaw + automatisation via RSS me semblait faire l'affaire. Faut que je trouve comment automatiser ce truc via RSS.

[xuv]

J'ai lu que t'avais une fonction Array2RSS qui vient d'ailleurs d'un autre script qui fait l'inverse RSS2Array. Me demande si je devais aller chercher de côté là.

[broncowdd]

Ce que tu voudrais faire, c'est détecter un post sur un site via son flux RSS puis, en cas de post, le respawner automatiquement, c'est ça ?

[broncowdd]

Oui, j'avais fait deux fonctions permettant de gérer simplement les flux RSS