Mon wiki - informatique:rss

anatomie_des_flux_de_reddit

anonymous@undisclosed.example.com (Anonymous) — Sun, 24 Nov 2024 11:58:44 +0000

Anatomie des flux de Reddit

Ici, on ne va pas parler du format du flux car il est standard mais du contenu de la balise content de chaque entrée du flux. Le contenu de cette balise est normalisé mais il existe plusieurs variantes. Certains éléments sont communs à toutes ces variantes. Il s'agit des méta-données (lien vers la page de l'auteur du message, lien vers le message original et lien vers les commentaires du message original) et du contenu du message (texte et/ou image).

Description des variantes

Cas n°1 : texte uniquement

<!-- SC_OFF --><div class="md"><p>I am relatively new to quilting, but have always been a Journaler. I was wondering how others go about documenting / journaling their quilts? I have had a look on Pinterest for some inspirational and am off to a good start but just thought i&#39;d ask here to see if anyone has a unique / interesting way of doing so? What sort of things do you record? How do you do so? Do you have a &#39;swatch library&#39;. Any input is highly appreciated!</p> </div><!-- SC_ON --> &#32; submitted by &#32; <a href="https://www.reddit.com/user/Sweetfruit19"> /u/Sweetfruit19 </a> <br/> <span><a href="https://www.reddit.com/r/quilting/comments/x7nuus/does_anyone_keep_a_journal_of_their_quilts/">[link]</a></span> &#32; <span><a href="https://www.reddit.com/r/quilting/comments/x7nuus/does_anyone_keep_a_journal_of_their_quilts/">[comments]</a></span>

Ici, on remarque que :

Le contenu textuel se situe dans une balise div ayant md comme classe CSS.
L'absence de balise table ainsi que de ses enfants naturels.
La présence des commentaires SC_OFF et SC_ON autour du contenu textuel. ¹⁾

Cas n°2 : image uniquement

<table> <tr><td> <a href="https://www.reddit.com/r/quilting/comments/x7r8nw/1st_attempt_dont_love_this_layout_but_these_are/"> <img src="https://preview.redd.it/sagxygwc5cm91.jpg?width=640&amp;crop=smart&amp;auto=webp&amp;s=3967965a78f33225f206ae9429a1eb0de53eb1be" alt="1st attempt! don't love this layout but these are my colors so far" title="1st attempt! don't love this layout but these are my colors so far" /> </a> </td><td> &#32; submitted by &#32; <a href="https://www.reddit.com/user/MarvellouslyChaotic"> /u/MarvellouslyChaotic </a> <br/> <span><a href="https://i.redd.it/sagxygwc5cm91.jpg">[link]</a></span> &#32; <span><a href="https://www.reddit.com/r/quilting/comments/x7r8nw/1st_attempt_dont_love_this_layout_but_these_are/">[comments]</a></span> </td></tr></table>

Ici, on remarque que :

L'ensemble du contenu se situe dans une balise table.
La première cellule du tableau contient une image miniature.
La seconde cellule du tableau contient les méta-données.

Cas n°3 : texte et image

<table> <tr><td> <a href="https://www.reddit.com/r/quilting/comments/x7qree/update_on_bernina_20quilting_setup/"> <img src="https://preview.redd.it/lb9p8olb1cm91.jpg?width=640&amp;crop=smart&amp;auto=webp&amp;s=81d82f1dc4c5062b97073d9f4ad8c33e75705c07" alt="Update on Bernina 20/Quilting Set-up!" title="Update on Bernina 20/Quilting Set-up!" /> </a> </td><td> <!-- SC_OFF --><div class="md"><p>Hello and a very big thank you to those who responded to my previous plea/post asking for help. (I was struggling with the weight of my sandwich pulling and distorting my stitching lines while quilting.) Some recommended a suspension system which was a real lightbulb moment for me. </p> <p>Took 2 weeks, more effort than it likely should have, and cost 3x as much as any commercial product (😂), but here it is. </p> <p>Is it perfect? No way. But I’m tickled pink. Thx again for all the help and support!!!</p> </div><!-- SC_ON --> &#32; submitted by &#32; <a href="https://www.reddit.com/user/linnaksea"> /u/linnaksea </a> <br/> <span><a href="https://i.redd.it/lb9p8olb1cm91.jpg">[link]</a></span> &#32; <span><a href="https://www.reddit.com/r/quilting/comments/x7qree/update_on_bernina_20quilting_setup/">[comments]</a></span> </td></tr></table>

Ici, on remarque que :

Le contenu textuel se situe dans une balise div ayant md comme classe CSS.
La présence des commentaires SC_OFF et SC_ON autour du contenu textuel. ²⁾
L'ensemble du contenu se situe dans une balise table.
La première cellule du tableau contient une image miniature ainsi que le contenu textuel.
La seconde cellule du tableau contient les méta-données.

Extraction des informations

Contenu textuel – Contenu du div ayant md pour classe CSS.
Lien vers la page de l'auteur – Premier lien suivant le mot submitted.
Lien vers le message – Second lien suivant le mot submitted, sa valeur affichée est [link].
Lien vers les commentaires associés au message – Troisième lien suivant le mot submitted, sa valeur affichée est [comments].

¹⁾ , ²⁾

SC ou Spaces Compression

simulation_de_flux

anonymous@undisclosed.example.com (Anonymous) — Sun, 24 Nov 2024 11:58:00 +0000

Simulation de flux RSS pour FreshRSS

FreshRSS est un agrégateur de flux RSS. Il permet de regrouper au même endroit les articles proposés en scannant périodiquement les données mises à disposition par les sites. C'est très pratique car cela évite de devoir faire cela manuellement. Mais lors du développement de la solution ou lors de tests, cette fonctionnalité devient génante car les données changent. C'est pourquoi simuler les flux RSS dans ces conditions devient nécessaire.

Pour cela, nous allons utiliser un serveur de « mocks » qui nous servira des contenus prédéfinis. Ici, nous allons utiliser WireMock mais il existe d'autres solutions disponibles.

Mise en place de l'arborescence

Dans le répertoire de travail de WireMock, il faut créer les répertoires __files et mappings avec la commande suivante :

mkdir __files mappings

Le répertoire __files contiendra les fichiers de données des flux RSS tandis que le répertoire mappings contiendra les fichiers de correspondance entre les requêtes reçues et les réponses retournées.

Ces répertoires doivent être créés avec les permissions utilisées par le conteneur de Wiremock. Si ce n'est pas le cas, les fichiers pourraient ne pas être accessibles depuis le réseau interne. Pour éviter cela, il suffit de démarrer le conteneur de Wiremock. Celui-ci se chargera de créer les répertoires manquants.

Récupération des données des flux RSS

Il existe plusieurs méthodes pour récupérer les données d'un flux RSS. Ici, nous allons utiliser wget avec la commande suivante :

# Version courte
wget https://reddit.com/r/breadit/new/.rss -O breadit.rss
 
# Version longue
wget https://reddit.com/r/breadit/new/.rss --output-document breadit.rss

-O ou --output-document permet de nommer le fichier téléchargé.

Pour que cela fonctionne correctement, il faudra soit directement télécharger le fichier dans le répertoire __files soit l'y déplacer une fois téléchargé.

Configuration statique

Maintenant que nous avons nos données, il faut dire à WireMock comment les restituer. Pour cela, nous allons créer un fichier de configuration dans le répertoire mappings. Son nom n'a pas d'importance mais il doit posséder l'extension json et contenir du JSON valide. Nous allons créer le fichier breadit.json avec le contenu suivant :

{
	"request": {
		"method": "GET",
		"url": "/breadit.rss"
	},
	"response": {
		"status": 200,
		"bodyFileName": "breadit.rss",
		"headers": {
			"Content-Type": "application/rss+xml"
		}
	}
}

Ce fichier indique à WireMock de retourner le contenu du fichier précédemment téléchargé lors d'un appel GET sur l'URL définie.

Il faudra créer un fichier de configuration pour chaque fichier de données téléchargé. Pour 1 ou 2 fichiers, la tâche n'est pas trop importante mais nous allons vite nous rendre compte que ce n'est pas soutenable si le nombre de fichiers augmente sérieusement. C'est pour cela qu'il vaut mieux utiliser une configuration dynamique comme décrite plus bas.

Configuration dynamique

Pour traiter de nombreux messages, il vaut mieux opter pour une configuration dynamique. Nous allons donc créer le fichier feed.json dans le répertoire mapping avec le contenu suivant :

{
	"request": {
		"method": "GET",
		"urlPathPattern": "/.*"
	},
	"response": {
		"status": 200,
		"bodyFileName": "{{request.pathSegments.[0]}}",
		"transformers": ["response-template"],
		"headers": {
			"Content-Type": "application/rss+xml"
		}
	}
}

Voici ce qui change par rapport à la précédente configuration :

WireMock ne surveille pas une URL en particulier mais toutes les URLs qui ont le même format que celui décrit ¹⁾.
Le nom du fichier à retourner est directement extrait de la requête. Il est ajouté dans le modèle de réponse.
L'utilisation d'un système de modèle de réponse ²⁾.

Le système de modèle de réponse ne fait pas partie intégrante de WireMock, c'est une extension. Il faudra donc la charger lors du démarrage pour pouvoir en profiter.

Lancement de WireMock

# Version courte pour configuration statique
docker run -it --rm -p 9090:8080 --name wiremock --network freshrss-network -v $PWD:/home/wiremock wiremock/wiremock:latest-alpine
 
# Version longue pour configuration statique
docker run --interactive --tty --rm --publish 9090:8080 --name wiremock --network freshrss-network --volume $PWD:/home/wiremock wiremock/wiremock:latest-alpine
 
# Version courte pour configuration dynamique
docker run -it --rm -p 9090:8080 --name wiremock --network freshrss-network -v $PWD:/home/wiremock wiremock/wiremock:latest-alpine --local-response-templating
 
# Version longue pour configuration dynamique
docker run --interactive --tty --rm --publish 9090:8080 --name wiremock --network freshrss-network --volume $PWD:/home/wiremock wiremock/wiremock:latest-alpine --local-response-templating

-i ou --interactive permet de garder l'entrée standard ouverte.
-t ou --tty permet l'allocation d'un pseudo-TTY.
--rm supprime automatiquement le conteneur lors de sa fermeture.
-p ou --publish permet de lier les ports du conteneur avec ceux de l'hôte.
--name nomme le conteneur.
--network permet de lier le conteneur à un réseau existant.
-v ou --volume permet de monter un répertoire local dans le conteneur.
--local-response-templating permet d'utiliser localement l'extension ResponseTemplateTransformer qui met en forme la réponse envoyée grace à un système de modèles. ³⁾ ⁴⁾

Lors de l'utilisation avec configuration dynamique, il est important de charger l'extension appropriée. Si ce n'est pas le cas, cela ne fonctionnera pas.

Utilisation des données

Maintenant que notre conteneur est lancé, il est possible d'accéder aux données :

soit depuis un autre conteneur connecté au même réseau avec l'URL http://wiremock:8080/breadit.rss ⁵⁾,
soit depuis l'hôte avec l'URL http://localhost:9090/breadit.rss ⁶⁾.

Mise à jour des configurations

Pour mettre à jour les configurations, il faut :

soit redémarrer le conteneur,
soit envoyer une requête POST à l'URL __admin/mappings/reset.

Liens

¹⁾

Ici, toutes les URLs sont traitées

²⁾

Sans ce transformateur, la configuration de bodyFileName est inutile car elle ne sera pas interprétée comme un modèle de réponse

³⁾

Utile uniquement lors de l'utilisation de configurations dynamiques

⁴⁾

Ce n'est pas une option de docker, c'est un argument de la commande utilisée dans le conteneur.

⁵⁾

Utilisé quand le système de développement est dans un autre conteneur

⁶⁾

Utilisé quand le système de développement est sur le système hôte

trouver_les_flux_rss

anonymous@undisclosed.example.com (Anonymous) — Sun, 24 Nov 2024 11:58:58 +0000

Trouver les flux de données RSS

Certains sites n'offrent malheureusement pas de flux de données RSS, ce qui est bien dommage.

Pour ceux qui offrent ce moyen de partage, il y a ceux qui le montrent avec le signe approprié et ceux qui ne les affichent pas publiquement. Pour ces derniers, ils sont plus ou moins compliqués à trouver. Je vais mettre ici comment les retrouver sur les sites que je visite.

Flickr

Dans la barre d'adresse, il faut ajouter ?details=1 pour atteindre une page contenant plus d'informations. En bas de cette page, il y a l'adresse du RSS de la page.

Github

/* Repo releases */
https://github.com/<user>/<repo>/releases.atom

/* Repo commits */
https://github.com/<user>/<repo>/commits.atom

/* Private feed (You can find Subscribe to your news feed in dashboard page after login) */
https://github.com/:user.private.atom?token=:secret

/* Repo tags */
https://github.com/<user>/<repo>/tags.atom

/* User activity */
https://github.com/<user>.atom

Mastodon

Chaque compte Mastodon possède un flux RSS qui peut être trouvé en allant sur la page de l'utilisateur et en ajoutant .rss à l'URL de cette page. Par exemple, le flux RSS de Bonaventure Software se trouve à cette adresse :

https://mastodon.online/@bonaventuresoft.rss

/* New on a particular subreddit */
https://www.reddit.com/r/<SUBREDDIT_NAME>/new/.rss?sort=new

/* All comments on a subreddit */
https://www.reddit.com/r/<SUBREDDIT_NAME>/comments/.rss

/* Comments on a certain post */
https://www.reddit.com/r/<SUBREDDIT_NAME>/comments/<POST_ID>/.rss

/* Redditor bot/friend stalking */
https://www.reddit.com/user/<REDDITOR>/.rss
https://www.reddit.com/user/<REDDITOR>/comments/.rss -- Uniquement les commentaires
https://www.reddit.com/user/<REDDITOR>/submitted/.rss -- Uniquement le contenu posté

/* Search Page results */
http://www.reddit.com/search.rss?q=<query>

L'ensemble des informations a été extraite de ce guide. Il contient d'autres informations qui peuvent s'avérer utile mais je ne les intègrerai pas ici car je ne pense pas que ce soit pertinent pour l'instant. Ce guide contient également quelques informations intéressantes.

Tumblr

Il faut ajouter /rss à l'url du blog. Par exemple, pour le blog situé à l'adresse http://example.tumblr.com, l'adresse du flux sera http://example.tumblr.com/rss.