Comment OVH gère le backup de dizaines de milliers de bases de données (MySQL et PostgreSQL) ?
TL;DR:
- répartition homogène des backup dans le temps grâce à une fonction de hachage sur le nom de la base ;
- dump avec verrouillage de tables si présence de tables MyISAM ;
- dump avec transaction si 100% InnoDB ;
- backup en sus au format SGBD (avec XtraBackup) si base volumineuse (temps de restore > 10 minutes) ;
- mysqlcheck pour réparer au préalable les tables, mais en prenant soin de doubler la RAM temporairement ;
- backup exportés et dédupliqués (cluster Ceph, disques locaux si prod externe, Cloud Storage)
BTRFS est-il adapté pour les bases de données d'analyse ? Non.
Intéressant benchmarking.
Shorter: l'utilisation du copy-on-write plombe les performances de 50%, quelque soit le système de fichier qui l'emploi. Mais en plus, BTRFS, à cause de sa popote interne obtient une variabilité impressionnante dans les perfs.
Moralité ? Si on veut faire du live-snapshot sans outil couteux (ou base de données très chère qui le gère en interne) il vaut mieux utiliser un autre système de fichier COW compatible ou directement du LVM Linux.
L'avantage de ce dernier, c'est aussi de pouvoir passer en COW que lorsque nécessaire, donc d'impacter les performances la nuit quand la base est à peu près au repos.
Comment configurer sa base de données avec un SSD ?
Réponse rapide (pour InnoDB mais généralisable) :
- Sur disque rotatif (HDD) : REDO logs, BIN logs, tablespace (system ou general), buffer data
- Sur disque solide (SSD) : UNDO logs, table files (donc les table-space si on utilise separate table-space)
C'est assez dingue en soit : ça veut dire que les bases de données sont largement optimisées pour fonctionner sur disque classique, et que seule une petite partie du traitement est à accès aléatoire (donc déplaçable sur SSD).
Random i/o oriented:
- Table files (*.ibd)
- UNDO segments (ibdata)
Sequential write oriented:
- REDO log files (ib_logfile*)
- Binary log files (binlog.XXXXXX)
- Doublewrite buffer (ibdata)
- Insert buffer (ibdata)
- Slow query logs, error logs, general query logs, etc
D'ailleurs, fait intéressant dans l'article : il obtient une perf meilleure en HDD + SDD que en dual SSD. Peut-être parce que les SSD sont en bus SATA commun et que ce dernier sature, alors que ses HDD sont en bus SAS (donc séparé).
Pour aller plus loin, et configurer proprement la base :
Excellent post pour comprendre comment s'effectue un déploiement horizontal de fibre en appartement. C'est très détaillé, merci Guigui.
D'ailleurs, il ne faut pas hésiter à cliquer sur le lien : une visite dans les NRO de Free, pour comprendre le fonctionnement de tout ça. Si vous aimez la technique, allez-y, c'est long et assez hardu. Bref, j'ai adoré :smiley:
Wow, une étape de plus a été franchie dans le délire censeur des majors et des FAI. Bouygues Telecom intercepte les requêtes DNS et ment sur les réponses !
Va maintenant falloir passer par des résolveurs qui supportent le chiffrement.
C'est plus du tout du net neutre là.
via : https://twitter.com/JohnShaftFr/status/807600947639762944
Woah ! Un long billet de David de Science Étonnante qui détaille tout son making-off pour produire ses vidéos. C'est extrêmement riche, et je me rend compte que je ne connais rien en :
- photographie / vidéo(graphie ?)
- son
- montage
- éclairage / scenographie / etc.
Bref, je ferais un piteux technicien du spectacle, mais ça m'a quand même donné envie d'en savoir plus.
Ça a pas mal tourné : les tests pratiques de Google quand ils sont donnés par un non-technicien.
Ouch, le mec n'a aucun répondant, aucune réflexion. Tout juste bon à être bot.
(Tu fais quoi dans la vie ? Bot.)
OVH communique sur une attaque DDoS d'ampleur qu'ils ont subi il y a quelques jours, et en profite pour faire un peu de pédagogie auprès de nos amis (hem) journalistes.
Du coup, on en apprend un peu sur les techniques utilisées pour mitiger les attaques, et que notamment leur prochain VAC utilisera du FPGA :)
C'est vraiment une sacré belle boîte, et je les soutiens à 100% dans leur démarche et leur boulot.
La conf de Bortzmeyer sur Ethereum (et le carnage TheDAO) en quelques slides (bimer).
C'est super, c'est la première fois que je trouve un document un peu plus technique pour parler de ce truc assez inatteignable : la blockchain.
Très inspirant, ça me donnerait presque envie d'essayer.
Merde, les zones DNS d'OVH ne supportent pas le champ DNAME…
Du coup, impossible de centraliser l'écriture d'un champ TXT pour DKIM (alors que c'est possible avec un CNAME pour le DMARC et avec un include pour le SPF)
Quand je vois le bordel que c'est déjà pour arrêter trois mecs qui sont déjà dans les mains des forces de l'ordre, je m'attends au pire quand viendra le moment de la censure / chasse sur Internet… Pff…
Ouah, c'est beau. Ça me donnerait presque envie de retourner à Barcelone.
L'hyperlapse, je ne connaissais pas.
via : https://twitter.com/Paingout/status/487995606762532864
Une vidéo où l'on voit les rues vides de Paris. Ce qui est intéressant, c'est la technique utilisée.
Article très bien détaillé sur l'algorithme JPG du Hollandais Volant.
Pour les techos intéressés, j'ai exploré le SAN en iSCSI (sur Synology, mais c'est agnostique)
Juste un post pour expliquer le fonctionnement de tout ça, et la mise-en-œuvre.
Je m'demande comment on peut être aussi chaud dans la vie.
Ce mec ne fait pas que tirer à l'arc. Il est incroyable de rapidité, de technicité, de flexibilité. J'avais jamais vu un truc comme ça. Et j'ai fais un peu de tir à l'arc, mais rien à voir.
Bon, je traine ça dans mes bookmarks depuis quelques jours, et il a déjà été publié de partout.
Donc, Paris s'il était vidé de ses habitants. Et tout ça grâce à des techniques graphiques, donc virtuellement. Le résultat est surprenant. Limite un petit malaise.
EDIT : gros travail n'empêche
Tiens, ce reportage m'a permis d'apprendre qu'il fallait désormais indiquer sur les bouteilles la présence éventuelle d'œuf.
Pour rappel : le collage à l'œuf est une technique ancienne pour assouplir les tanins et les éclaircir.
Sérendipité oblige : ne soyez pas dégoutés de ce qu'on peut utiliser pour le collage (comme du sang séché, de la gélatine de porc, de l'extrait de vessie de poisson, etc.) : https://fr.wikipedia.org/wiki/Collage_%28alcool%29