Fou à lier
Nuage de tags
Mur d'images
Quotidien
Flux RSS
  • Flux RSS
  • ATOM Feed
  • Daily Feed
Liens par page
  • 20 links
  • 50 links
  • 100 links
page 1 / 10
185 results tagged informatique  ✕
GitHub - leandromoreira/digital_video_introduction: A hands-on introduction to video technology: image, video, codec (av1, vp9, h265) and more (ffmpeg encoding).
07/07/2021 23:39:35 archive.org
QRCode
cluster icon
  • Japanese Projector Displays Smooth Video On A Wriggling, Dancing Surface | Popular Science : Un projecteur et une caméra si rapides qu'ils arrivent à mapper en temps réel une vidéo sur des objets gigotants. C'est incroyable. On ne perçoit mêm...
  • La machine à inventer des mots [Vidéo] | Science étonnante : Excellent ! Une machine à inventer des mots qui sonnent bien en français. On pourrait aller bien plus loin que ce qu'il a fait, mais au bout d'un mom...
  • La théorie des jeux | Science étonnante : Encore une fois une vidéo de science passionnante, avec de superbes explications. Très bonne chaîne Youtube que je recommande. Cette fois c'est sur l...
  • Le fonctionnement de la compression Gzip - Alsacreations : Pas mal du tout cette vidéo : explications et détails de la compression gzip. Vraiment super ces représentations. via : http://sebsauvage.net/link...
  • Snappers Facial Rig - YouTube : C'est juste totalement impressionnant. J'ai connu des thésards qui bossaient sur ce genre de truc (salut Ludo) mais là, j'avais jamais vu. Tout est r...

Introduction aux techniques de compression vidéo.

via : https://sebsauvage.net/links/?eqqsEQ

compression informatique science vidéo
https://github.com/leandromoreira/digital_video_introduction
btrfs [Wiki de sebsauvage.net]
06/11/2019 11:11:44 archive.org
QRCode
cluster icon
  • GitHub - p-e-w/maybe: :rabbit2: See what a program does before deciding whether you really want it to happen. : À garder sous le coude : un utilitaire (sous Python) qui décortique des programmes sous Linux, via l'interception des appels systèmes. Ça ne marche pa...
  • Home | Linux Journey : Pas mal : un site avec toutes les bases des OS Linux, avec des exercices. Génial. via : http://sebsauvage.net/links/?xJLq8Q
  • Comparison of JavaScript charting frameworks - Wikipedia, the free encyclopedia : Décidément, je fais bien de vider les Shaarli du patron (Seb) que j'avais mis de côté (certains datent de deux ans !) Ici, le tableau Wikipedia des f...
  • Using Azure ML to Build Clickthrough Prediction Models - Machine Learning - Site Home - TechNet Blogs : « Using Azure ML to Build Clickthrough Prediction Models » Franchement, ils m'impressionnent chez Microsoft. Je les croyais mourants, inertes, plus...
  • ddrescue, dd_rescue, myrescue : récupérer ses données après un crash disque - LinuxFr.org : Super utile ! Méthode et outils pour sauver un disque mourant. À garder définitivement sous le coude. via : http://sebsauvage.net/links/?YqhZOA

Super page de SebSauvage sur btrfs. C'est super d'avoir de bons pointeurs en français.
Ne pas oublier non plus le wiki officiel.

btrfs informatique Linux pratique TODO
https://sebsauvage.net/wiki/doku.php?id=btrfs
xkcd : Complexité du mot de passe, in : Persévérons
30/09/2019 17:18:53 archive.org
QRCode
cluster icon
  • Secret Question | CommitStrip - Blog relating the daily life of web agencies developers : Excellent. Une façon comme une autre de renforcer à l'avenir les mots de passe.
  • CiMKd4AXEAAx2vu.jpg (Image JPEG, 361 × 300 pixels) : Ahah, très drôle. Une reprise du célèbre dessin de xkcd (sudo make me a sandwich) avec le 49-3. via : https://twitter.com/bluetouff/status/73073840...
  • Comment savoir si votre entreprise est DevOps | CommitStrip - Blog relating the daily life of web agencies developers : Différence entre DevOps et pas-DevOps Drôle :)
  • Connexion sécurisé base de donnée sans mot de passe depuis compte linux : Intéressant : connexion mysql sécurisée sans mot de passe. J'avais besoin de faire ça depuis longtemps ! Malheureusement, je n'ai pas réussi à utilis...
  • Des spécifications très complètes et très précises : Bien vu, c'est tout à fait ça :) ![spécifications versus code](http://www.commitstrip.com/wp-content/uploads/2016/08/Strip-Les-specs-cest-du-code-650...

C'est bien vu ça. Un calcul d'entropie peut vite nous montrer qu'on se trompe lorsque l'on cherche à créer un mot de passe compliqué de tête.
Mot de passe

C'est pour ça qu'il faut utiliser un générateur / gestionnaire.

BD dessin informatique mots-de-passe sécurité xkcd
http://xkcd.lapin.org/index.php?number=936
GitHub - gto76/python-cheatsheet: Comprehensive Python Cheatsheet
06/02/2019 09:25:23 archive.org
QRCode
cluster icon
  • Administration et optimisation générales Mysql : Une bonne page pour l'optimisation générale de MySQL (dont InnoDB). Ça liste un peu toutes les variables importantes et ce qu'il faut faire.
  • BashPitfalls - Greg's Wiki : Plein, plein, plein d'erreurs courantes en shell (que ce soit bash, zsh, sh, ksh, POSIX, etc.). Et aussi un site merveilleux où on peut trouver plein...
  • Choosing R or Python for data analysis? An infographic | Diego Marinho de Oliveira | LinkedIn : Une comparaison de R et Python pour l'analyse de données. Ça me laisse un peu pantois : on sait déjà tous un peu ça, et les faits ne facilitent pas le...
  • Comparison of JavaScript charting frameworks - Wikipedia, the free encyclopedia : Décidément, je fais bien de vider les Shaarli du patron (Seb) que j'avais mis de côté (certains datent de deux ans !) Ici, le tableau Wikipedia des f...
  • GitHub - p-e-w/maybe: :rabbit2: See what a program does before deciding whether you really want it to happen. : À garder sous le coude : un utilitaire (sous Python) qui décortique des programmes sous Linux, via l'interception des appels systèmes. Ça ne marche pa...

Pratique. Un cheat sheet Python très complet.

via : https://sebsauvage.net/links/?-_e6UA

informatique langage pratique Python W
https://github.com/gto76/python-cheatsheet
Appcanary - Everything you need to know about HTTP security headers
20/12/2018 12:00:21 archive.org
QRCode
cluster icon
  • Hygiène numérique pour l’administrateur système : Très intéressant : le minimum de sécurité sur un système Linux avec éventuellement de l'hébergement). J'aime bien ce genre de liste, même si c'est par...
  • 1314332 – Web of TrusT (WOT) Addon is malicious according to news reports : Oh non, quelle tristesse. WOT c'est vraiment une super extension, je suis vraiment dégouté de lire ça. Et donc de la dégager… Snifff. > (Note: I'm ...
  • HOPE, rencontres du onzième type – Techn0polis : Très bon compte-rendu de la conférence HOPE (que je ne connaissais pas, mais qui donne envie du coup). À lire. via : https://twitter.com/Zythom/sta...
  • IP/DNS Detect - What is your IP, what is your DNS, what informations you send to websites. : J'suis totalement clean. Super ce test. C'est toujours fou de voir tout ce qu'on peut récolter rien qu'en se connectant sur un site. Je pense d'ail...
  • Information on BCP 195 » RFC Editor : Le RFC des bonnes pratiques TLS. Indispensable & pratique ! via : https://www.bortzmeyer.org/8143.html

Un petit condensé des en-tête de sécurité sur HTTP(S) : raison, fonctionnement, mise en place.

HTTPS informatique pratique privacy sécurité
https://blog.appcanary.com/2017/http-security-headers.html#csp
Download - Get Blackbird
18/12/2018 10:57:27 archive.org
QRCode
cluster icon
  • Alex - Catch insensitive, inconsiderate writing : Mais WHAT ? Un programme qui propose des corrections dans vos textes, afin de les rendre neutres par rapport au genre, race, religion, etc. (EN only...
  • Comparison of JavaScript charting frameworks - Wikipedia, the free encyclopedia : Décidément, je fais bien de vider les Shaarli du patron (Seb) que j'avais mis de côté (certains datent de deux ans !) Ici, le tableau Wikipedia des f...
  • Cozy Cloud: be the master, not the product! : J'ai testé CozyCloud. Pour l'instant, c'est loin de me convenir (j'ai déjà plus ou moins tous les services, et j'exploite au maximum mon Synology D...
  • Gestionnaire de compte inactif - Paramètres de compte : Tiens, je découvre cet "outil" des comptes Google. Vous pouvez gérer un compte devenu inactif à cause d'une trop longue période d'inutilisation. L...
  • GitHub - p-e-w/maybe: :rabbit2: See what a program does before deciding whether you really want it to happen. : À garder sous le coude : un utilitaire (sous Python) qui décortique des programmes sous Linux, via l'interception des appels systèmes. Ça ne marche pa...

Un outil pour débarrasser Windows 10 de pas mal de merdes. À garder sous le coude.

informatique outil pratique privacy Windows10
https://www.getblackbird.net/download/
Passage de ce blog à Let's Encrypt
28/11/2018 16:08:07 archive.org
QRCode
cluster icon
  • Let's Encrypt Stats - Let's Encrypt - Free SSL/TLS Certificates : Wow, Let's Encrypt est un véritable succès. Il est actuellement sur une croissance quadratique avec un fort taux de pénétration. Résultat : d'après F...
  • Blog Stéphane Bortzmeyer: RFC 6844: DNS Certification Authority Authorization (CAA) Resource Record : Explications claires du nouveau champ DNS CAA, sa mise en place et son utilité. En même temps, ça vient de Bortzmeyer.
  • Blog Stéphane Bortzmeyer: Le mystère DNS Free rebondit : Raaa. Effectivement, j'ai eu ce problème avec les résolveurs de Free. Résultat : j'ai du mettre un nom sur un champ A plutôt que sur un CNAME. Mais au...
  • Blog Stéphane Bortzmeyer: RFC 6186: Use of SRV Records for Locating Email Submission/Access services : Trop super ! Je cherchais à implémenter l'autoconfiguration POP/IMAP pour mon courrier depuis les DNS (et depuis au moins un an). J'avais fini par la...
  • Blog Stéphane Bortzmeyer: Utiliser un résolveur DNS public ? : Intéressant : suite aux nombreux problèmes des DNS chez les FAI français (je soupçonne des mesures de censure en cours de déploiement) beaucoup on rec...

C'est intéressant ce genre de retour d'expérience. Bortzmeyer a passé son blog sur Let's Encrypt, avec deux difficultés techniques :

  • il y a trois machines pour le servir, donc il faut obtenir le même certificat partout, sans accès au root des deux machines esclaves ;
  • il faut que DANE fonctionne (DANE-EE) donc la clé privée ne doit pas changer dans le temps.

Il y a aussi la possibilité de mettre à jour le DNS pour la clé DANE mais cela obligerait à scripter d'avantage. La solution ici est assez élégante, faute de mieux.

Bortzmeyer DANE DNS informatique Lets-Encrypt sécurité TLS
https://www.bortzmeyer.org/passage-blog-lets-encrypt.html
Synology SRM 1.2 - Threat Prevention - Cachem
01/11/2018 10:55:15 archive.org
QRCode
cluster icon
  • Attaque par démarrage à froid ou : Impressionnant : qu'est-ce qu'une attaque informatique « à froid ». Où on apprend que la RAM peut conserver ses données plusieurs minutes après extinc...
  • Développer un contrat/programme sur Ethereum - pses2016-contrats-ethereum-SHOW.pdf : La conf de Bortzmeyer sur Ethereum (et le carnage TheDAO) en quelques slides (bimer). C'est super, c'est la première fois que je trouve un document u...
  • Let's Encrypt Stats - Let's Encrypt - Free SSL/TLS Certificates : Wow, Let's Encrypt est un véritable succès. Il est actuellement sur une croissance quadratique avec un fort taux de pénétration. Résultat : d'après F...
  • WordPress Security Plugin | Wordfence : Je recommande chaudement ce plugin Wordpress : Wordfence. Il gère les aspects sécurité de l'installation, et ils sont nombreux : - defacing (payant) ...
  • Hygiène numérique pour l’administrateur système : Très intéressant : le minimum de sécurité sur un système Linux avec éventuellement de l'hébergement). J'aime bien ce genre de liste, même si c'est par...

Super outil de sécurité profonde (avec du DPI) mis à disposition par Synology sur ses routeurs. C'est réellement très efficace, même si la prise en main et l'adaptation aux menaces est un peu long.

Il s'agit surtout au départ d'ajouter au fur et à mesure des règles d'exceptions aux signatures ET. Par exemple :

  • l'outil signalait un trojan potentiel sur une machine (paquet HTTP avec un faux user-agent Mozilla, à destination d'un réseau à faible réputation). Il s'agissait en réalité d'un ping de vérification de mise-à-jour pour MediaCoder ;
  • des requêtes DNS émises étaient signalées pour des .tk ou .pw qui sont considérés comme des nids à pirates. Du coup, j'ai adapté la stratégie pour ne plus être alerté (sinon c'est la fin du monde) ;
  • etc.

Bref, un outil puissant, dont je suis curieux de voir l'avenir. C'est encore frais, ça ajoute pas mal d'overload pour l'instant (trop, vu ma connexion) mais ça reste très utile. D'ailleurs mon serveur derrière a vu ses attaques (notam. sur SMTP, HTTP(S) et SSH) diminuer drastiquement (presque totalement en fait).

DPI firewall imba informatique parefeu routeur Synology sécurité
https://www.cachem.fr/synology-srm-1-2-threat-prevention/
Pourquoi tous les développeurs sont ils barbus ? - Speaker Deck
20/09/2018 17:02:36 archive.org
QRCode
cluster icon
  • Claire Meunier sur Twitter : "Il suffit parfois de changer d'échelle pour rendre une information audible #Feminisme #women https://t.co/MylvypGGni" : Ça fait mal : il y a plus d'hommes prénommés John à la tête de grosses compagnies que … de femmes. En. Tout. Et bim. via : https://twitter.com/Mar...
  • Girls Who Code : Une série de vidéos drôles (ironiquement drôles) sur « pourquoi les femmes ne codent-elles pas ? » via : https://twitter.com/HTeuMeuLeu/status/7328...
  • La faute à Ève | Juste après dresseuse d'ours : Super texte de Jaddo encore. Mais cette fois, sur un autre thème : le racisme / sexisme / etc. Ou comment on peut découvrir assez tard tout le bourra...
  • La publicité a-t-elle enfin compris quelque chose au féminisme? | Slate.fr : Article super intéressant (et surtout la pub en vidéo) Il faut réussir à déconstruire le schéma "faire X comme une gonzesse" = "le faire n'importe co...
  • La théorie du genre (djendeure). - Insolente veggie : Ahah, pas mal du tout cette BD. Quelques dessins bien sentis pour parler de la « théorie du genre ». C'est drôle en plus. On dirait un peu les dessins...

Pourquoi y a-t-il autant d'hommes dans l'informatique ? Raisons historiques, sociales, éducatives ?

Génial, à faire tourner.

entreprise féminisme imba informatique sexisme slides
https://speakerdeck.com/goulvench/pourquoi-tous-les-developpeurs-sont-ils-barbus?slide=30
x264 : mes presets
18/05/2018 23:35:34 archive.org
QRCode
cluster icon
  • Comparison of JavaScript charting frameworks - Wikipedia, the free encyclopedia : Décidément, je fais bien de vider les Shaarli du patron (Seb) que j'avais mis de côté (certains datent de deux ans !) Ici, le tableau Wikipedia des f...
  • GitHub - p-e-w/maybe: :rabbit2: See what a program does before deciding whether you really want it to happen. : À garder sous le coude : un utilitaire (sous Python) qui décortique des programmes sous Linux, via l'interception des appels systèmes. Ça ne marche pa...
  • Home | Linux Journey : Pas mal : un site avec toutes les bases des OS Linux, avec des exercices. Génial. via : http://sebsauvage.net/links/?xJLq8Q
  • Using Azure ML to Build Clickthrough Prediction Models - Machine Learning - Site Home - TechNet Blogs : « Using Azure ML to Build Clickthrough Prediction Models » Franchement, ils m'impressionnent chez Microsoft. Je les croyais mourants, inertes, plus...
  • [Tuto] Encodage x264 - réglage optimal - idéal pour HDRip léger - Forums du Repaire : Génial. Des paramètres très fins et bien expliqués pour la compression vidéo en x264. J'y comprenais rien à ces réglages. La vidéo c'est dur putain...

Tiens, ça peut servir : quelques preset x264 pour ffmpeg.

  • 360p
    ffmpeg -y -i "mon fichier source" -vf "scale=-2:360" -pix_fmt yuv420p -c:v libx264 -preset slower -profile:v baseline -level 3.0 -b:v 440k -maxrate 460k -bufsize 800k -movflags faststart -pass 1 -c:a aac -b:a 64k -f mp4 /dev/null && \
    ffmpeg    -i "mon fichier source" -vf "scale=-2:360" -pix_fmt yuv420p -c:v libx264 -preset slower -profile:v baseline -level 3.0 -b:v 440k -maxrate 460k -bufsize 800k -movflags faststart -pass 2 -c:a aac -b:a 64k "ma-video-compressee.mp4"
  • 480p
    ffmpeg -y -i "mon fichier source" -vf "scale=-2:480" -pix_fmt yuv420p -c:v libx264 -preset slower -profile:v main -level 3.1 -b:v 880k -maxrate 1030k -bufsize 1180k -movflags faststart -pass 1 -c:a aac -b:a 96k -f mp4 /dev/null && \
    ffmpeg    -i "mon fichier source" -vf "scale=-2:480" -pix_fmt yuv420p -c:v libx264 -preset slower -profile:v main -level 3.1 -b:v 880k -maxrate 1030k -bufsize 1180k -movflags faststart -pass 2 -c:a aac -b:a 96k "ma-video-compressee.mp4"
  • 720p
    ffmpeg -y -i "mon fichier source" -vf "scale=-2:720" -pix_fmt yuv420p -c:v libx264 -preset slow -profile:v main -level 3.1 -b:v 1800k -maxrate 2050k -bufsize 5590k -movflags faststart -pass 1 -c:a aac -b:a 96k -f mp4 /dev/null && \
    ffmpeg    -i "mon fichier source" -vf "scale=-2:720" -pix_fmt yuv420p -c:v libx264 -preset slow -profile:v main -level 3.1 -b:v 1800k -maxrate 2050k -bufsize 5590k -movflags faststart -pass 2 -c:a aac -b:a 96k "ma-video-compressee.mp4"
  • 1080p
    ffmpeg -y -i "mon fichier source" -vf "scale=-2:1080" -pix_fmt yuv420p -c:v libx264 -preset slow -profile:v high -level 4.1 -b:v 3400k -maxrate 3900k -bufsize 10630k -movflags faststart -pass 1 -c:a aac -b:a 128k -f mp4 /dev/null && \
    ffmpeg    -i "mon fichier source" -vf "scale=-2:1080" -pix_fmt yuv420p -c:v libx264 -preset slow -profile:v high -level 4.1 -b:v 3400k -maxrate 3900k -bufsize 10630k -movflags faststart -pass 2 -c:a aac -b:a 128k "ma-video-compressee.mp4"

EDIT : page man de ffmpeg

via : http://sebsauvage.net/links/?brwtbw

codecs compression ffmpeg informatique pratique TODO vidéo x264
http://humanize.me/x264/
Am I unique?
09/01/2018 18:58:33 archive.org
QRCode
cluster icon
  • 1314332 – Web of TrusT (WOT) Addon is malicious according to news reports : Oh non, quelle tristesse. WOT c'est vraiment une super extension, je suis vraiment dégouté de lire ça. Et donc de la dégager… Snifff. > (Note: I'm ...
  • Biométrie : une nouvelle technologie Qualcomm pourrait changer la donne - JDN Web & Tech : « Elle devrait aussi être plus fiable, et reconnaitre plus facilement les empreintes, et être plus difficile à tromper. » Bon, bah dépêchez-vous, sin...
  • Foxit PDF Download Center | Foxit Software : > ConnectedPDF Technology, The Better Way to PDF Rien que cette phrase est un condensé de la pire merde de toute la merde actuelle (d'ailleurs, je ...
  • HOPE, rencontres du onzième type – Techn0polis : Très bon compte-rendu de la conférence HOPE (que je ne connaissais pas, mais qui donne envie du coup). À lire. via : https://twitter.com/Zythom/sta...
  • L'amour au temps du chiffrement : Beau. L'amour au temps du numérique, de l'espionnage massif, de la pérennité de la moindre donnée. Une histoire d'amour et de hackers. Je n'ai pas lu ...

Un service qui permet de voir si son empreinte de navigateur est unique, juste avec les informations qu'il envoie.
Donc, même sans cookie, j'ai une empreinte unique. Bim.

Chier.

via : https://twitter.com/bortzmeyer/status/932255493476831232

informatique navigateur privacy
https://amiunique.org/
Blog Stéphane Bortzmeyer: RFC 6844: DNS Certification Authority Authorization (CAA) Resource Record
13/10/2017 19:18:15 archive.org
QRCode
cluster icon
  • Blog Stéphane Bortzmeyer: Utiliser un résolveur DNS public ? : Intéressant : suite aux nombreux problèmes des DNS chez les FAI français (je soupçonne des mesures de censure en cours de déploiement) beaucoup on rec...
  • Let's Encrypt is Trusted : Hmmmm, moi qui doit renouveler mes certificats très prochainement, je vais me pencher sur Let's Encrypt. Mais à l'heure actuelle, je ne sais pas si c'...
  • Passage de ce blog à Let's Encrypt : C'est intéressant ce genre de retour d'expérience. Bortzmeyer a passé son blog sur Let's Encrypt, avec deux difficultés techniques : - il y a trois m...
  • CryptCheck, vérifiez vos implémentations de TLS : Excellent article sur la sécurité de TLS (via OpenSSL). Ça m'a permis de changer le chiffrement d'un outil que je développe (non critique, bien heure...
  • Crypto : le webdoc’ | Agence nationale de la sécurité des systèmes d'information : Pour plus tard : l'ANSSI vient de réaliser un webdoc sur la cryptologie en abordant pas mal de facettes différentes. À voir certainement. via : htt...

Explications claires du nouveau champ DNS CAA, sa mise en place et son utilité.
En même temps, ça vient de Bortzmeyer.

CAA DNS informatique sécurité TLS TODO
https://www.bortzmeyer.org/6844.html
Sed - An Introduction and Tutorial
30/08/2017 02:24:29 archive.org
QRCode
cluster icon
  • Blog Stéphane Bortzmeyer: Mon glossaire en informatique pour ce blog : Encore un article très intéressant de Bortzmeyer. Cette fois il parle de terminologie en informatique, avec la volonté assez marquée de préférer le fr...
  • Crocker's Rules : Bonjour, Ahah, pas mal : Bortzmeyer suit les règles de Crocker ; c'est écrit dans sa signature. J'aime bien le concept, Bien cordialement.
  • GitHub - p-e-w/maybe: :rabbit2: See what a program does before deciding whether you really want it to happen. : À garder sous le coude : un utilitaire (sous Python) qui décortique des programmes sous Linux, via l'interception des appels systèmes. Ça ne marche pa...
  • HobbesWorld - Calculatrice IP : Ahhh, enfin un calculateur de masques IP vraiment pratique. Il fait tout, y compris calcul de masque à partir d'une plage, et donne toutes les notatio...
  • Home | Linux Journey : Pas mal : un site avec toutes les bases des OS Linux, avec des exercices. Génial. via : http://sebsauvage.net/links/?xJLq8Q

Tutoriel indispensable à sed, qu'il faut absolument garder sous le coude.

imba informatique langage pratique sed tuto tutoriel
http://www.grymoire.com/Unix/sed.html
Comment OVH sauvegarde un million de bases de données chaque jour ?
20/08/2017 14:44:50 archive.org
QRCode
cluster icon
  • Yoshinori Matsunobu's blog: Tables on SSD, Redo/Binlog/SYSTEM-tablespace on HDD : Comment configurer sa base de données avec un SSD ? Réponse rapide (pour InnoDB mais généralisable) : - Sur **disque rotatif (HDD)** : REDO logs,...
  • Administration et optimisation générales Mysql : Une bonne page pour l'optimisation générale de MySQL (dont InnoDB). Ça liste un peu toutes les variables importantes et ce qu'il faut faire.
  • CNAME record - Wikipedia, the free encyclopedia : Merde, les zones DNS d'OVH ne supportent pas le champ DNAME… Du coup, impossible de centraliser l'écriture d'un champ TXT pour DKIM (alors que c'est ...
  • Développer un contrat/programme sur Ethereum - pses2016-contrats-ethereum-SHOW.pdf : La conf de Bortzmeyer sur Ethereum (et le carnage TheDAO) en quelques slides (bimer). C'est super, c'est la première fois que je trouve un document u...
  • OVH News - La goutte DDoS n'a pas fait déborder le VAC* : OVH communique sur une attaque DDoS d'ampleur qu'ils ont subi il y a quelques jours, et en profite pour faire un peu de pédagogie auprès de nos amis (...

Comment OVH gère le backup de dizaines de milliers de bases de données (MySQL et PostgreSQL) ?

TL;DR:

  • répartition homogène des backup dans le temps grâce à une fonction de hachage sur le nom de la base ;
  • dump avec verrouillage de tables si présence de tables MyISAM ;
  • dump avec transaction si 100% InnoDB ;
  • backup en sus au format SGBD (avec XtraBackup) si base volumineuse (temps de restore > 10 minutes) ;
  • mysqlcheck pour réparer au préalable les tables, mais en prenant soin de doubler la RAM temporairement ;
  • backup exportés et dédupliqués (cluster Ceph, disques locaux si prod externe, Cloud Storage)

via : http://sebsauvage.net/links/?8vhoGw

backup database DB imba informatique MySQL OVH technique
https://www.ovh.com/fr/blog/realiser-un-million-de-backup-bases-de-donnees-par-jour/
Blog Stéphane Bortzmeyer: jq, traiter du JSON en ligne de commande
10/08/2017 03:16:05 archive.org
QRCode
cluster icon
  • BashPitfalls - Greg's Wiki : Plein, plein, plein d'erreurs courantes en shell (que ce soit bash, zsh, sh, ksh, POSIX, etc.). Et aussi un site merveilleux où on peut trouver plein...
  • GitHub - p-e-w/maybe: :rabbit2: See what a program does before deciding whether you really want it to happen. : À garder sous le coude : un utilitaire (sous Python) qui décortique des programmes sous Linux, via l'interception des appels systèmes. Ça ne marche pa...
  • Administration et optimisation générales Mysql : Une bonne page pour l'optimisation générale de MySQL (dont InnoDB). Ça liste un peu toutes les variables importantes et ce qu'il faut faire.
  • Choosing R or Python for data analysis? An infographic | Diego Marinho de Oliveira | LinkedIn : Une comparaison de R et Python pour l'analyse de données. Ça me laisse un peu pantois : on sait déjà tous un peu ça, et les faits ne facilitent pas le...
  • HobbesWorld - Calculatrice IP : Ahhh, enfin un calculateur de masques IP vraiment pratique. Il fait tout, y compris calcul de masque à partir d'une plage, et donne toutes les notatio...

Un tutoriel pour la commande jq en shell, qui permet de formater et d'interroger du JSON. Pratique !

commande informatique JSON langage pratique programmation shell utile
https://www.bortzmeyer.org/jq.html
Debian 9 comes with thefuck (https://github.com/nvbn/thefuck)
07/08/2017 23:28:40 archive.org
QRCode
cluster icon
  • BashPitfalls - Greg's Wiki : Plein, plein, plein d'erreurs courantes en shell (que ce soit bash, zsh, sh, ksh, POSIX, etc.). Et aussi un site merveilleux où on peut trouver plein...
  • Deprecated Linux networking commands and their replacements | Doug Vitale Tech Blog : Comme net-tools n'est plus maintenu sur Linux (depuis des années !?) il est remplacé par la suite iproute2. Donc les commandes réseau de Linux évoluen...
  • GitHub - p-e-w/maybe: :rabbit2: See what a program does before deciding whether you really want it to happen. : À garder sous le coude : un utilitaire (sous Python) qui décortique des programmes sous Linux, via l'interception des appels systèmes. Ça ne marche pa...
  • Home | Linux Journey : Pas mal : un site avec toutes les bases des OS Linux, avec des exercices. Génial. via : http://sebsauvage.net/links/?xJLq8Q
  • ddrescue, dd_rescue, myrescue : récupérer ses données après un crash disque - LinuxFr.org : Super utile ! Méthode et outils pour sauver un disque mourant. À garder définitivement sous le coude. via : http://sebsauvage.net/links/?YqhZOA

OK donc y a un outil Linux qui s'appelle TheFuck et qui corrige les erreurs de commandes…

bash commandes informatique Linux pratique
https://framasphere.org/posts/3321120
https://www.ietf.org/id/draft-ietf-dmarc-arc-protocol-08.txt
07/08/2017 23:23:01 archive.org
QRCode
cluster icon
  • Newsletters spam test by mail-tester.com : Pratique et surtout utile : ce service vérifie ce qui peut coincer dans la délivrance de mails. Pour moi, ce n'est pas brillant : la faute au bloc Or...
  • Blog Stéphane Bortzmeyer: RFC 6186: Use of SRV Records for Locating Email Submission/Access services : Trop super ! Je cherchais à implémenter l'autoconfiguration POP/IMAP pour mon courrier depuis les DNS (et depuis au moins un an). J'avais fini par la...
  • CNAME record - Wikipedia, the free encyclopedia : Merde, les zones DNS d'OVH ne supportent pas le champ DNAME… Du coup, impossible de centraliser l'écriture d'un champ TXT pour DKIM (alors que c'est ...
  • DMARC - Resources : Génial. Tout ce qu'il faut comme outil pour créer et tester son installation DMARC pour le suivi de delivery de mail. Et aussi pour tester DKIM et SPF...
  • How DNS works : Une petite BD sympathique pour comprendre le protocole DNS de résolution de noms. Ça aborde les serveurs d’autorité, les résolveurs, et même un court ...

Une tentative de protocole pour résoudre les problèmes de relais de courrier et authentification DMARC.
Bon, c'est un draft qui vient juste d'être initié, donc pas prêt de voir le jour.

courrier DMARC draft IETF informatique protocole SPAM
https://www.ietf.org/id/draft-ietf-dmarc-arc-protocol-08.txt
SSTIC_2017-06-09_P09.mp4
07/08/2017 23:15:00 archive.org
QRCode
cluster icon
  • Attaque par démarrage à froid ou : Impressionnant : qu'est-ce qu'une attaque informatique « à froid ». Où on apprend que la RAM peut conserver ses données plusieurs minutes après extinc...
  • Crypto : le webdoc’ | Agence nationale de la sécurité des systèmes d'information : Pour plus tard : l'ANSSI vient de réaliser un webdoc sur la cryptologie en abordant pas mal de facettes différentes. À voir certainement. via : htt...
  • OVH News - La goutte DDoS n'a pas fait déborder le VAC* : OVH communique sur une attaque DDoS d'ampleur qu'ils ont subi il y a quelques jours, et en profite pour faire un peu de pédagogie auprès de nos amis (...
  • Une étude de l’écosystème TLS | Agence nationale de la sécurité des systèmes d'information : Une thèse intéressante sur la pile TLS. Je conseille la version de synthèse. Bon, je suis un peu circonspect sur l'utilité de l'énorme travail qui a ...
  • [Épisode 49] La Threat Intelligence : Le Comptoir Sécu : Émission en podcast sur la *Threat Intelligence*. Je ne connaissais pas ce podcast. C'est très intéressant, loin du marketing, drôle et à la fois acc...

Présentation de l'attaque de TV5 Monde + analyse + remédiation par les équipes de l'ANSSI, qui sont intervenues en mode pompier.

Je suis surpris que ce ne soit pas très surprenant.

via : https://mastodon.xyz/users/Sniperovitch/updates/208016

ANSSI attaque cyber-défense cyberwar informatique sécurité TV5-Monde
https://static.sstic.org/videos2017/SSTIC_2017-06-09_P09.mp4
Friends don't let friends use BTRFS for OLTP | PostgreSQL Addict
03/08/2017 17:06:53 archive.org
QRCode
cluster icon
  • Yoshinori Matsunobu's blog: Tables on SSD, Redo/Binlog/SYSTEM-tablespace on HDD : Comment configurer sa base de données avec un SSD ? Réponse rapide (pour InnoDB mais généralisable) : - Sur **disque rotatif (HDD)** : REDO logs,...
  • Cache is the new RAM | MemSQL - The Database for Speed, Scale & Simplicity : Très bon historique des technologies de stockage de données. Où l'on voit que tout n'est qu'un problème de performance et de bottleneck. via : http...
  • What PostgreSQL has over other open source SQL databases: Part I : Un super article pour décrire les capacités de PostgreSQL face à ses principaux concurrents (les RDBMS open-source). Beaucoup de ces features ne se re...
  • Comment OVH sauvegarde un million de bases de données chaque jour ? : Comment OVH gère le *backup* de dizaines de milliers de bases de données (MySQL et PostgreSQL) ? TL;DR: - répartition homogène des backup dans le ...
  • Administration et optimisation générales Mysql : Une bonne page pour l'optimisation générale de MySQL (dont InnoDB). Ça liste un peu toutes les variables importantes et ce qu'il faut faire.

BTRFS est-il adapté pour les bases de données d'analyse ? Non.

Intéressant benchmarking.
Shorter: l'utilisation du copy-on-write plombe les performances de 50%, quelque soit le système de fichier qui l'emploi. Mais en plus, BTRFS, à cause de sa popote interne obtient une variabilité impressionnante dans les perfs.

Moralité ? Si on veut faire du live-snapshot sans outil couteux (ou base de données très chère qui le gère en interne) il vaut mieux utiliser un autre système de fichier COW compatible ou directement du LVM Linux.
L'avantage de ce dernier, c'est aussi de pouvoir passer en COW que lorsque nécessaire, donc d'impacter les performances la nuit quand la base est à peu près au repos.

bases-de-données BDD BTRFS COW database filesystem informatique Linux technique W
https://blog.pgaddict.com/posts/friends-dont-let-friends-use-btrfs-for-oltp
Yoshinori Matsunobu's blog: Tables on SSD, Redo/Binlog/SYSTEM-tablespace on HDD
03/08/2017 16:56:10 archive.org
QRCode
cluster icon
  • Friends don't let friends use BTRFS for OLTP | PostgreSQL Addict : BTRFS est-il adapté pour les bases de données d'analyse ? Non. Intéressant *benchmarking*. *Shorter*: l'utilisation du *copy-on-write* plombe les ...
  • Cache is the new RAM | MemSQL - The Database for Speed, Scale & Simplicity : Très bon historique des technologies de stockage de données. Où l'on voit que tout n'est qu'un problème de performance et de bottleneck. via : http...
  • Comment OVH sauvegarde un million de bases de données chaque jour ? : Comment OVH gère le *backup* de dizaines de milliers de bases de données (MySQL et PostgreSQL) ? TL;DR: - répartition homogène des backup dans le ...
  • Administration et optimisation générales Mysql : Une bonne page pour l'optimisation générale de MySQL (dont InnoDB). Ça liste un peu toutes les variables importantes et ce qu'il faut faire.
  • Comparison of JavaScript charting frameworks - Wikipedia, the free encyclopedia : Décidément, je fais bien de vider les Shaarli du patron (Seb) que j'avais mis de côté (certains datent de deux ans !) Ici, le tableau Wikipedia des f...

Comment configurer sa base de données avec un SSD ?

Réponse rapide (pour InnoDB mais généralisable) :

  • Sur disque rotatif (HDD) : REDO logs, BIN logs, tablespace (system ou general), buffer data
  • Sur disque solide (SSD) : UNDO logs, table files (donc les table-space si on utilise separate table-space)

C'est assez dingue en soit : ça veut dire que les bases de données sont largement optimisées pour fonctionner sur disque classique, et que seule une petite partie du traitement est à accès aléatoire (donc déplaçable sur SSD).

Random i/o oriented:

  • Table files (*.ibd)
  • UNDO segments (ibdata)

Sequential write oriented:

  • REDO log files (ib_logfile*)
  • Binary log files (binlog.XXXXXX)
  • Doublewrite buffer (ibdata)
  • Insert buffer (ibdata)
  • Slow query logs, error logs, general query logs, etc

D'ailleurs, fait intéressant dans l'article : il obtient une perf meilleure en HDD + SDD que en dual SSD. Peut-être parce que les SSD sont en bus SATA commun et que ce dernier sature, alors que ses HDD sont en bus SAS (donc séparé).

Pour aller plus loin, et configurer proprement la base :

  • (mysql) Paramétrer les emplacements de fichiers
bases-de-données database informatique infrastructure MySQL performances technique TODO W
https://yoshinorimatsunobu.blogspot.fr/2009/05/tables-on-ssd-redobinlogsystem.html
page 1 / 10
2412 links
Shaarli - Le gestionnaire de marque-page personnel, minimaliste, et sans base de données par la communauté Shaarli - Theme by kalvn