Twitter IS a shared memory

2010-12-16T05:19:00.001-08:00

Twitter is the more expensive shared memory ever.

Python API
http://javiergodinez.blogspot.com/

A bit of shred: full speed in tight space

2010-12-11T09:47:00.000-08:00

|-----------------------------------------------------------9-11-\-12---------------------------|
|-------------------------------------------------------9-----------------11---------~----------|
|---------------------------------7---------------10--------------------------10-\-11---------|
|----------------------------7-------7-9-\-11---------------------------------------------------|
|-------------5-6-7-\-9--------------------------------------------------------------------------|
|---5-6-7-----------------------------------------------------------------------------------------|

Mixing chromatics, legato and sweeping. That the kind of play I am trying to push forward.
Video commin' soon...

Do U want some crawler code in $bash?

2010-12-08T13:40:00.000-08:00

Temporary code that will evolve ;-)

#!/bin/bash

# Basic problem: the web is a directed cyclic graph, this methods fall in traps when
# there is no links in a reached page; this is why the algorithm
# starts over from a random adress previously visited. Then the second
# problem is that in DAGs and specially in the web, you can find
# pretty easily CYCLES, that will skrew this type of crawling...

###########################################################################
# Performs an random walk on the web (.html prefixes), starting at SEED_URL

#Usage: $./crawl.sh SEED_URL TTL BLACK_LIST

random () { # $1: file to get a random line from, result stored in $next
    lines=`cat $1 | wc -l`
    rand=$RANDOM
    line=$(( rand % lines + 1 ))
    next=$(head -$line $1 | tail -1)
}

next=$1
touch pastUrls
TTL=$2
BLACK_LIST=$3

for ((i=1;i<=TTL;i++)); do
    wget -t 7 -w 5 --waitretry=10 --random-wait --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" -e robots=off -nd $next -O file -q #-o ./results.log

    #extracts all urls ending with "html", and put that in a list
    sed 's/http/\^http/g' file | tr -s "^" "\n" | grep http| sed 's/[\ |\\\|\"].*//g' | sed "s/['].*//g" | grep -E "html$|htm$|.fr$|.com$|.org$|.net$" | sort | uniq > urls

    #get a random URL from the list, put it in next
    lines=`cat urls | wc -l`
    if [ $lines -eq 0 ]; then #avoids the 0 link trap
   next=$1
   continue
    fi
#    rand=`od -d -N2 -An /dev/urandom`
    random urls

    #avoid traps: self loop
    if [[ $next == $(tail -1 pastUrls) ]]; then
   echo $(date): self loop @ $next >> operation.log
   cat pastUrls
   random pastUrls

   #blacklist inspection
   grep $next $BLACK_LIST
   while [ $? -eq 0 ]; do
            random pastUrls
            grep $next $BLACK_LIST
        done

   echo "choice -> " $next
    fi

    #maintain a list of the previous 100 urls visited, the most recent at end
    lines=`cat pastUrls | wc -l`
    if [ $lines -gt 99 ]; then #avoids the 0 link trap
   head -99 pastUrls | sort | uniq > tmp
   cat tmp > pastUrls
   echo $next >> pastUrls
    else
   cat pastUrls | sort | uniq > tmp
   cat tmp > pastUrls
   echo $next >> pastUrls
    fi

    #PROCESS PAGE CONTENT HERE!
   grep -E '\bXXX\b' file #| sed -n '/je/ p'
#'/<br>/,/<br>/p'

    echo $next

    rm tmp urls
#    sleep 2
done

rm pastUrls

echo $(date): out from seed $1 >> operation.log

Euskal Herria: Antifaxista

2010-12-08T13:24:00.000-08:00

Une personne m'a demandé de retrouver sur le web le logo suivant:

mais en plus grosse définition, pour éventuellement en faire des t-shirts. Effectivement, personne ne semble plus avoir online ce jpg en version large.

Voici donc un petit passage par Gimp et wikimedia:

En format sans perte (GIF).
Marteze vo mat deoc'h evel se!
Ha bevet Euskal Herria!

Email et discrétion, notes pour militants et utilisateurs consciencieux

2010-12-04T02:45:00.000-08:00

Mots clés/Keywords: email, confidentialité, anonymat, mailing lists, communication. ´Email pour militants´
Résumé: l'email standard ne permet en rien l´anonymat ni conservation de vie privée.

Le niveau de compréhension moyen du Réseau par l'utilisateur militant, ainsi que les "bruits qui courent" contribuent à faire de l'outil email une boite noire. Une utilisation approximative peut conduire l'utilisateur non seulement à la compromission du contenu rédigé, mais également à celle de ces contacts ou destinataires.

Premier fait, qu'il semble important de rappeler à tous: l'email ne fourni en rien l'Anonymat.

Lieux d'interception et de perte possible de confidentialité:

l'ordinateur où l'on rédige le message

Cela inclue toute forme de piratage ou de surveillance de l'ordinateur lui même:

logiciel/dispositif espion de détection de touches frappées ("keylogger"), dans un cybercafé par exemple.
piratage de l'ordinateur par installation d'un cheval de troie. Rappelons que ce genre de goujaterie est maintenant LéGALEMENT (depuis la très fraîche adoption de la loi LOPPSI 2) l’apanage des barbouzes de l'Etat.

le fournisseur de service email de "l'écrivain" (e.g. gmail, hotmail...)

sur commission ou pression d'un Etat ou autorité, une fournisseur de service peut très bien fournir les logs, contenus de messages et contacts de votre boite email. Un exemple? Yahoo balance des dissidents Chinois, à cause de l'utilisation de leur service d'email.

source: Vanish @ Usenix SS´09

les machines de transits du message du serveur mail de l'écrivain vers son "lecteur"

si l'email transite "en clair", c'est à dire de manière non sécurisée par la cryptographie (petite icône de cadenas dans votre navigateur généralement), alors interception possible par Etats avec des systèmes comme Echelon par exemple, ou par piratage d'individu grâce à la compromission d'un des médium de transit (serveur, lien de communication).

Contenu lui même:
Comme précisé dans le point précédent, si les message transitent en clair, leur contenu peut bien sûr être intercepté et interprété. Deux types de sécurisation possibles:

Le chiffrement du médium de communication (c'est à dire du moyen de communication entre votre fournisseur de service mail et le fournisseur de service mail de votre destinataire).
Le chiffrement du message lui même, grâce à des logiciels comme GNUPG, qui rendent illisible ce contenu, pour celui qui intercepte le message mais ne possède pas la clé de déchiffrement.

Vos destinataires:
Les gens sous estiment souvent, voire ignorent, l'importance de la liste des destinataires, et de la façon dont elle est utilisée.

Première manie: introduire des informations "personnelles" dans le court texte qui accompagne l'adresse email elle même. Exemple: " Gérardeau Michelux (CGT - Paris) <pseudo@hotmail.com>". Conséquence? Non seulement tous les destinataires (note: qui ne se connaissent d'ailleurs pas forcément!) peuvent coller une identité précise sur une adresse email, mais également en tirer des informations sur la personne concernée.
Les indexations de la part des grands fournisseurs de mails: les utilisateurs ont pris pour habitude de ne plus lire les chartes d'utilisation à leur inscription au service. Des fournisseurs comme Google expliquent indexer et traiter le contenu des mails (incluant donc les emails des contacts), à des fins "commerciales" ou "autres". Cela signifie donc que tout mail reçu est scanné pour traitement; le contenu est enregistré et "sauvegardé" quand bien même vous effacez ce message par la suite. Selon les pays et les législations, les fournisseurs ont l'obligation de conserver les informations sur chaque opération utilisateur; l'on pourra alors venir vous retrouver plusieurs années après vos propos ou vos mises en contact.
Comme les contacts sont très souvent mis en clair par des rédacteurs, ceci permet de regrouper les destinataires par "intérêt", grâce à leur adresse mail au minimum et d'autant plus que celles ci comportent des noms qui permettent de les identifier.Tout comme dans tout système de sécurité, la robustesse d'une sécurisation ne tient que sur son maillon le plus faible. S'il tombe, alors le système dans sa globalité est compromis. Prenons par exemple l'utilisateur A, qui exècre les grands fournisseurs de service pour les précédentes raisons exposées; un autre utilisateur, B, peut alors "forcer" A à participer au système qu'il avait refusé en incluant A comme contact destination d'un de ces mails. L'entreprise "EvilCorp" à maintenant des information sur A, alors qu'il avait toujours refuser d'entrer en relation avec EvilCorp pour un service donné. un joli graphe social peut alors être créé malgré les utilisateurs prudents et/ou passifs...

Le googleling de l'adresse mail:
Comme toute donnée texte sur le web, une adresse email est indexable, c'est à dire "enregistrable" par les moteurs de recherche (yahoo, google, bing...) dans leur base de données, afin de permettre la recherche par mot clé que nous employons tous les jours.

Cela inclue ce que je nommerai la "one shot fatal error", c'est à dire le fait de poster un message sur un lieu public de l'Internet, accompagné de votre adresse email. Non seulement le message sera probablement perpétuellement enregistré, mais l'association d'identité pourra se faire bien longtemps après. Plus de retour en arrière, c'est à dire plus d'effacement possible (je pense en particulier au newsgroups dont le but est précisément d'éviter la perte, interdisant donc l'effacement).
Une solution pour éviter ce désagrément: l'excellent service Français jetable.org, qui vous créé une adresse mail temporaire, donc jetable et inutilisable par la suite par les spammeurs et autres. NB: ce service créé seulement un alias, mais ne fourni pas l´anonymat, car le fournisseur de ce service est dans l'obligation de conserver l´historique des opérations (logs) effectué sur son site.CF aussi spamgourmet.com pour un service similaire.

Anonymiseurs: (´risques et périls´ bien entendu)

Le Chaos Computer Club fourni un service de boite temporaire ici; par le biais d'une adresse email temporaire, dont les logs sont annoncés comme détruits chaque jour (ce qui complexifie considérablement une tâche d'espionnage). Couplé avec le relevé de cette boite par le biais d'un proxy Tor, le niveau de confidentialité s'en trouve extrêmement élevé.
Mixmaster est plus difficile d'utilisation pour l'utilisateur lambda, mais fourni probablement le plus haut niveau de sécurité pour l'envoi de mail anonyme. Ceci par le biais de multiples réémissions successives par des serveurs de mails du monde entier, et au prix de perte de message fréquentes et d'une grande latence (on enverra donc plusieurs fois le mail pour améliorer la probabilité de réception de la part du destinataire).

Conclusion
Si vous avez appris ne serait ce qu'une seule chose dans cette modeste note, alors n'espérez pas convoyer une quelconque information confidentielle par email.
Certes il est toujours important d'avoir à l'esprit ¨quel est l'adversaire¨: s'il s'agit simplement du grand public sur Internet, alors quelques précautions de base et de bon sens permettrons d'éviter la divulgation de liaisons ou d'appartenance. Si l'adversaire est ¨plus puissant¨, comme un Etat par exemple, l´artillerie lourde est nécessaire mais pas forcément toujours suffisante devant les moyens potentiellement déployés. Il est certainement plus profitable dans ce cas d'utiliser la bonne vieille méthode de la communication vocale directe, voire même de la bonne vieille lettre papier.

Lectures et liens d'intérêt:

Note du CNRS
Une vidéo plus qu'intéressante sur le sujet, from the CCC
Anonbox du CCC
Mixmaster (lien assez technique)
Autres lien
Why Internet can help totalitarianism (not so convincing to my taste but...)
Mail + crypto = Hushmail

Tutoriel à venir
Comment remplacer la communication par email par l'écriture d'un message en format chiffré dans une image (stéganographie), et alerte de votre destinataire par utilisation de Twitter. ---> Discrétion bien améliorée...

Disclaimer
Tout ceci n'engage bien sûr que moi et mes connaissances du moment. Ce blog n'a pas vocation lui à un quelconque anonymat de son rédacteur; il est orienté ¨vulgarisation¨ n´ayant donc pas de prétention autre...

Je suis preneur de toute remarque afin d'améliorer et de compléter itérativement cette note.
Merci à JYL pour ses remarques.

Human0.9 Un-ordered thoughts

Twitter IS a shared memory

A bit of shred: full speed in tight space

Do U want some crawler code in $bash?

Euskal Herria: Antifaxista

Email et discrétion, notes pour militants et utilisateurs consciencieux