Patchwork UTF-8 : portabilité unicode et graphèmes clusters

Unicode et graphèmes clusters
pour PHP

 Unicode : bases et concepts

 Unicode : état de lřart

 PatchworkUtf8

PHP Tour Ŕ Nantes 2012
https://github.com/nicolas-grekas/Patchwork-UTF8

Peace

和平 ☮


P U+0050
LATIN CAPITAL LETTER P
U+0633
ARABIC LETTER SEEN

和 U+548C
CJK UNIFIED IDEOGRAPH-548C ☮ U+262E
PEACE SYMBOL

 A chaque caractère son numéro, un nom et des propriétés (catégorie, script, etc.)


 Représentations binaires
 Majuscules, minuscules, folding
 Compositions, ligatures
 Comparaison : normalisations et collations
 Segmentation : caractères, mots, phrases et césures

 Locales : conventions culturelles, translittérations
 Identifiants et sécurité, confusables
 Affichage : direction, largeur


á U+00E1

 De point de code UTF-16BE
LATIN SMALL LETTER A WITH ACUTE

00 E1

à séquence dřoctets UTF-8 C3 A1

◦ UTF-8 : 1, 2, 3 ou 4 octets
◦ UTF-16 : 2 ou 4 octets あ U+3042
HIRAGANA LETTER A

◦ UTF-32 : 4 octets UTF-16BE 30 42
UTF-8 E3 81 82

BOM U+FEFF
UTF-32BE 00 00 FE FF
 UTF-32LE FF FE 00 00

Byte Order Mark UTF-16BE
UTF-16LE
FE FF
FF FE
UTF-8 EF BB BF (ï»¿)


Octet 1 Octet 2 Octet 3 Octet 4

0xxxxxxx

110xxxxx 10xxxxxx

1110xxxx 10xxxxxx 10xxxxxx

11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 Sur-ensemble dřASCII
 Auto-synchronisé
 Caractéristique


 Concerne un peu plus de 1000 caractères

 Folding Ŕ comparaison insensible à la casse
◦ Comparer les chaînes en minuscules
◦ Une majuscule, deux minuscules : Σ ⇔ σ/ς
◦ Exception turque : I ⇔ i vs İ ⇔ i et I ⇔ ı
◦ Full folding : ß ⇔ ss


Å
Å
U+00C5
LATIN CAPITAL LETTER A WITH RING ABOVE

A+◌̊ 0041, 030A
LATIN CAPITAL LETTER A, COMBINING RING ABOVE

f+i
ﬁ
U+0066, U+0069
LATIN SMALL LETTER F, LATIN SMALL LETTER I

ﬁ FB01
LATIN SMALL LIGATURE FI

U+1103, U+116E, U+11A8
ᄃ+ᅮ+ᆨ
둑
HANGUL CHOSEONG TIKEUT, HANGUL JUNGSEONG U,
HANGUL JONGSEONG KIYEOK

둑 U+B451
HANGUL SYLLABE DUG

 Comment tester lřégalité ? (=, ≠)


 Forme Composée, Décomposée, de Kompatiblité

U+1E0B, U+0323
ḋ+◌ LATIN SMALL LETTER D WITH DOT ABOVE,
COMBINING DOT BELOW
U+0064, U+0323, U+0307
d+◌+◌̇ LATIN SMALL LETTER D,
COMBINING DOT BELOW, COMBINING DOT ABOVE
NFD

U+1E0D, U+0307
ḍ+◌̇ LATIN SMALL LETTER D WITH DOT BELOW,
COMBINING DOT ABOVE
NFC

f+i
ﬁ
U+0066, U+0069
LATIN SMALL LETTER F, LATIN SMALL LETTER I NFKD, NFKC

ﬁ U+FB01
LATIN SMALL LIGATURE FI NFD, NFC


 NFC
D é j à
U+0044 U+00E9 U+006A U+00E0

 NFD
D e ◌ j a ◌
U+0044 U+0065 U+0301 U+006A U+0061 U+0300

 Quel est le 2e caractère ? le 3e ?


 ICU : Java et C/C++
◦ Licence X-like, soutenu par IBM, utilisé comme
implémentation de référence pour Unicode et +

 Perl 6 Parrot : NFG
◦ NFC + Graphèmes Clusters

 JavaScript : Unicode (NFC)

 Python : chaînes typées

 PHP : iconv, mbstring, pcre, intl


NFC : Déjà
NFD : De◌ ◌

 iconv_set_encoding('UTF-8')

◦ iconv($in_charset , $out_charset , $str)
◦ iconv_strlen($str)
◦ iconv_substr($str, $start, $length)
◦ iconv_strpos($haystack, $needle, $offset = 0)
◦ iconv_strrpos($haystack, $needle)

 Manipulation de chaînes UTF-8 : fait !


NFC : Déjà
NFD : De◌ ja◌

 mb_internal_encoding('UTF-8')

◦ Équivalents dřiconv
◦ mb_strtolower/upper (), pas de folding
◦ mb_stripos(), folding simple

 Manipulation de chaînes UTF-8 : fait ! (bis)
 Manipulation de la casse : fait ! % folding


NFC : Déjà
NFD : De◌ ◌

 Avec le modificateur u : /./u
 Donne accès aux propriétés Unicode
◦ x{00E9} ou simplement é ssi source UTF-8
◦ p{Greek}
◦ p{Mn}
◦ X ⇔ (?>PMpM*) pour PCRE < 8.32

 Vérifier la validité UTF-8 de $str :
preg_match('//u', $str)

 Manipulation de chaînes UTF-8 : fait ! (ter)
 Manipulation des propriétés Unicode : fait !


 Normalizer

 Gestion des graphèmes clusters

 Collator, NumberFormatter, Locale,
MessageFormatter, IntlDateFormatter,
Spoofchecker, Transliterator, Fonctions IDN,
Uconverter (PHP5.5)


NFC : Déjà
NFD : De◌ ◌

 use Normalizer as n;

 n::isNormalized($str, $form = n::NFC)

 n::normalize($str, $form = n::NFC)

 n::NFC, n::NFD, n::NFKC, n::NFKC, n::NONE

 Tester lřégalité de chaînes : fait !


NFC : Déjà
NFD : De◌ ◌

 grapheme_extract ŕ Extrait un groupe de graphèmes d'une chaîne UTF-8
 grapheme_stripos
 grapheme_stristr
 grapheme_strlen
 grapheme_strpos
 grapheme_strripos
 grapheme_strrpos
 grapheme_strstr
 grapheme_substr

 Manipulation par graphème cluster : fait !
◦ Encore un peu jeune, attention aux bugs
◦ https://bugs.php.net/55562, 61860 et 62759


 Chaînes UTF-8 : iconv, mbstring, pcre
 Casse : mbstring
 Normalisation : intl
 Graphèmes : intl et pcre
function toAscii($s)
{
if (preg_match("/[x80-xFF]/", $s))
{
$s = Normalizer::normalize($s, Normalizer::NFKD);
$s = preg_replace('/p{Mn}+/u', '', $s);
$s = iconv('UTF-8', 'ASCII//TRANSLIT', $s);
}

return $s;
}

 Quid :
◦ Case folding ? Complexité ? Disponibilité ?


 Portabilité PHP, optimisé pour UTF-8

◦ Iconv : 99%

◦ Mbstring : les 45% nécessaires

◦ Intl : Normalizer et grapheme_*()

◦ utf8_en/decode() - Windows-1252 enhanced


 HTML5 : se substitue à ISO-8859-1
x0 x1 x2 x3 x4 x5 x6 x7 x8 x9 xA xB xC xD xE xF

0x NUL SOH STX ETX EOT ENQ ACK BEL BS HT LF VT FF CR SO SI

1x DLE DC1 DC2 DC3 DC4 NAK SYN ETB CAN EM SUB ESC FS GS RS US

2x SP ! " # $ % & ' ( ) * + , - . /

3x 0 1 2 3 4 5 6 7 8 9 : ; < = > ?

4x @ A B C D E F G H I J K L M N O

5x P Q R S T U V W X Y Z [ ] ^ _

6x ` a b c d e f g h i j k l m n o

7x p q r s t u v w x y z { | } ~ DEL

8x € ‚ ƒ „ … † ※ ˆ ‰ Š ‹ Œ Ţ

9x Ř ř Ŗ ŗ • Ŕ ŕ ˜ ™ š › œ ţ Ÿ

NBS
Ax ¡ ¢ £ ¤ ¥ ¦ § ¨ © ª « ¬ - ® ¯
P

Bx ° ± ² ³ ´ µ ¶ · ¸ ¹ º » ¼ ½ ¾ ¿

Cx À Á Â Ã Ä Å Æ Ç È É Ê Ë Ì Í Î Ï

Dx Ð Ñ Ò Ó Ô Õ Ö × Ø Ù Ú Û Ü Ý Þ ß

Ex à á â ã ä å æ ç è é ê ë ì í î ï

Fx ð ñ ò ó ô õ ö ÷ ø ù ú û ü ý þ ÿ


PatchworkUtf8

grapheme_*
Normalizer

mbstring
xml
iconv

pcre

 Les fonctions PHP, version UTF-8

◦ Limité au sous-ensemble qui le nécessite

◦ Préfixe u:: pour déclarer lřintention dans le code


NFC : Déjà
NFD : De◌ ja◌

 strlen - chr - ord
 substr - str_split
 strpos - strrpos - strstr - strrchr - stripos - strripos - stristr - strrichr
 strtolower - strtoupper - ucfirst - lcfirst - ucwords
 trim - ltrim - rtrim
 strtr - str_ireplace - substr_replace - str_replace déjà compatible
 strcmp - strnatcmp - strcasecmp - strnatcasecmp - strncasecmp - strncmp
 strspn - strcspn - strpbrk - substr_compare - substr_count - str_word_count -
count_chars
 number_format - wordwrap - str_pad - strrev - str_shuffle
 utf8_encode - utf8_decode Ŕ Windows-1252 enhanced

 Manque la famille printf

 Ajoute isUtf8 - toAscii - strtocasefold - strtonatfold et nombreux workaround


 Quelques extras, workarounds et
bootstrapping

 Couvert par de nombreux tests unitaires

 Licences Apache-2.0 et GPL-2.0


 https://github.com/FSX/php-utf8
 Mediawiki, PhpBB, Drupal, etc.

 Différences majeures
◦ Gestion des graphème clusters
◦ API déjà documentée : cf. documentation PHP
◦ Bootstrapping via autoload possible
◦ Testable et comparable en même temps


 Editeur de code en mode UTF-8 sans BOM

 Vérifiez la validité UTF-8 de vos entrées
 Mais ne supprimez pas les caractères erronés
◦ javaxFFscript:alert("XSS")
◦ preg_match('//u', $v) or $v = u::utf8_encode($v);

 Normalisez vos entrées UTF-8 : NFC on demand

 require 'bootup.utf8.php';
 use PatchworkUtf8 as u;


 NFC repousse les graphèmes clusters

 Pour manipuler des données (cf. MySQL),
pas les identifiants.

 A utiliser avec discernement


 Questions ?

composer : {"require": {"patchwork/utf8": "1.0.*"}}

 Unicode.org
 Wikipédia
 « PHP et UTF-8 »
http://julp.lescigales.org/php/utf8/
 « Handling UTF-8 with PHP »
http://www.phpwact.org/php/i18n/utf-8


14Mo
4Mo
2Mo
-


Patchwork UTF-8 : portabilité unicode et graphèmes clusters

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (16)

Patchwork UTF-8 : portabilité unicode et graphèmes clusters