El documento presenta conceptos fundamentales sobre la capacidad de canales de comunicaciones. Introduce las nociones de entropía, entropía conjunta e información mutua. Explica la capacidad de canales discretos sin memoria y analiza ejemplos como el canal binario sin ruido y el canal binario simétrico. También estudia el modelo de canal AWGN y la fórmula para calcular su capacidad en función de la relación señal-ruido. Por último, presenta el modelo de canal con desvanecimiento plano.

1. Tema: Capacidad de Canal
Adriana Dapena Janeiro (adriana@udc.es)
´
Facultad de Informatica
˜
Universidade da Coruna
˜
Campus de Elvina s/n
˜
15071. A Coruna
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p.
ı

2. Objetivos
Presentar el concepto de capacidad del canal.
Estudiar el caso de canales SISO:
Canales AWGN.
Canales con desvanecimiento plano.
CSI en recepción.
CSI en recepción y en transmisión.
Canales con desvanecimiento selectivo en frecuencia.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p.
ı

3. Bibliografía recomendada
A. Goldsmith, Wireless Communications, Cambridge University
Press, 2005.
http://wsl.stanford.edu/andrea/Wireless/
C. E. Shannon, “A mathematical theory of communication,” Bell
System Technical Journal, vol. 27, pp. 379-423 and 623-656, July
and October, 1948.
http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html
A. Goldsmith, P. P., Varaiya, “Capacity of fading channels with
Channel Side Information,” IEEE Trans. on Information Theory,
vol. 43, no. 6, pp. 1986-1992, November, 1997.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p.
ı

4. Conceptos básicos
Cantidad de información
Entropía
Entropía conjunta
Información mutua
Capacidad de canales discretos sin
memoria
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p.
ı

5. Cantidad de información
Sea x una variable aleatoria que toma valores discretos xk en un
alfabeto X con probabilidad p(xk ), p(xk ) = 1.
El valor de p(xk ) expresa la probabilidad de que ocurra un
determinado valor xk pero también nos está indicando la
cantidad de información que se adquiere cuando ese valor es
observado.
Si p(x2 ) > p(x1 ), entonces es mayor la incertidumbre sobre el
evento x = x1 que sobre x = x2 y, por ello, también es mayor la
información que se adquiere cuando éste ocurre.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p.
ı

6. Cantidad de información (cont.)
La cantidad de información adquirida al observar xk está
relacionada con la inversa de su probabilidad y se define como
sigue:
1
I(xk ) = log = − log(p(xk ))
p(xk )
donde la base del logaritmo es arbitraria.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p.
ı

7. Entropía
La cantidad media de información de x recibe el nombre de
entropía: H(x) = E[I(xk )] = − x∈X p(x) log(p(x)) = −E[log p(x)]
H(x) = 0 si la variable aleatoria x describe un proceso
determinista.
H(x) es máxima cuando la variable aleatoria es uniforme,
H(x) = − log(|X |) donde |X | es el tamaño del alfabeto de x.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p.
ı

8. Entropía conjunta
Consideremos que tenemos un sistema cuya entrada x toma
valores en un alfabeto X y su salida y es una versión perturbada de
x que toma valores en otro alfabeto Y .
Entropía conjunta:
H(x, y) = − p(x, y) log(p(x, y)) = −E [log(p(x, y))]
x∈X y∈Y
donde p(x, y) es la probabilidad conjunta de ambas variables
aleatorias.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p.
ı

9. Información mutua
Incertidumbre sobre la entrada que permanece sin resolver
después de observar la salida H(x|y) = H(x, y) − H(y)
Incertidumbre sobre la salida que no es resuelta al observar la
entrada (perturbación) H(y|x) = H(x, y) − H(x)
p(x,y)
Información mutua I(x; y) = x∈X y∈Y p(x, y) log p(x)p(y)
H(x)
H(y)
H(x|y) I(x,y) H(y|x)
H(x,y)
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p.
ı

10. Resumen
Entropía
H(x) = − x∈X
p(x) log(p(x))
Entropía conjunta
H(x, y) = − x∈X y∈Y
p(x, y) log(p(x, y))
Entropía condicionada
H(x|y) = − x∈X y∈Y
p(x, y) log(p(y|x))
Información mutua
p(x,y)
I(x; y) = x∈X y∈Y
p(x, y) log p(x)p(y)
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

11. Capacidad de un canal CDM
Un Canal Discreto sin Memoria (CDM) es un sistema que
consiste en un alfabeto de entrada X y un alfabeto de salida Y
que son conjuntos finitos numerables y cuyos elementos están
relacionados por una colección de funciones de masa de
probabilidad (ff.m.p.) condicionales, p(y|x) ≥ 0, que expresan la
probabilidad de que se observe la señal y ∈ Y a la salida del
sistema cuando la entrada es x ∈ X .
La capacidad de información del canal (X , p(y|x), Y) se define
como
C = max I(x; y)
p(x)
donde el máximo se toma sobre todas las posibles ff.m.p. p(x).
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

12. Canal binario sin ruido
1
x=0 y=0
1
x=1 y=1
p(y = 0|x = 0) = 1, p(y = 1|x = 0) = 0,
p(y = 0|x = 1) = 0, p(y = 1|x = 1) = 1
Al no haber errores tampoco hay incertidumbre H(x|y) = 0.
C = max I(x; y) = max H(x) − H(x|y) = max H(x)
p(x) p(x) p(x)
El valor máximo se alcanza para una distribución uniforme y es
C = log2 2 = 1bit. Se puede transmitir la máxima información
posible de la fuente.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

13. Canal binario simétrico
1−p
x=0 y=0
p
p
x=1 y=1
1−p
Supongamos que la fuente produce símbolos equiprobables a una
velocidad de 1000 bits/seg. Si durante la transmisión el canal
introduce errores de forma que (en media) la mitad de los bits
recibidos son incorrectos (p = 1/2)
¿Cuál es la velocidad de transmisión? ¿500 bits/seg?
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

14. Canal binario simétrico .....
1−p
x=0 y=0
p
p
x=1 y=1
1−p
p(y = 0|x = 0) = 1 − p, p(y = 1|x = 0) = p,
p(y = 0|x = 1) = p, p(y = 1|x = 1) = 1 − p.
La capacidad es C = maxp(x) (H(y) − H(y|x)) = 1 − H(p) con
H(p) = −(1 − p) log(1 − p) − p log p.
H(p) resta bits de información: cuanto más impredecible sea el
error menor será la capacidad.
Para p = 0 (o p = 1) estamos en el caso sin ruido: C = 1bit.
Para p = 1/2, la salida es completamente aleatoria C = 0bit.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

15. Canal híbrido (ejercicio)
1
x=0 y=0
1−p
x=1 y=1
p
p
x=2 y=2
1−p
Suponemos p(x = 0) = P , p(x = 1) = p(x = 2) = Q tal que
P + 2Q = 1.
H(x) = −P log P − 2Q log Q.
H(x|y) = 2Qα con α = H(p) = −(1 − p) log(1 − p) − p log p.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

16. Canal híbrido (cont.)
Calcular P y Q que maximice C = H(x) − H(x|y) es
equivalente a calcular los máximos del Lagrangiano:
L = −P log P − 2Q log Q − 2Qα − λ(P + 2Q − 1)
Los valores obtenidos son:
P = βQ = β/(2 + β), Q = 1/(2 + β)
con β = eα (para una base e cualquiera).
Para p = 0 (o p = 1), la capacidad del canal es máxima
C = log 3.
Par p = 1/2, la capacidad es C = log 2.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

17. Capacidad de un canal AWGN
Modelo del canal
Cálculo de la capacidad
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

18. Modelo de un canal AWGN
Vamos a considerar el siguiente modelo de un canal AWGN
(Additive White Gaussian Noise):
x[i] es la señal transmitida en el instante i.
n[i] es un ruido blanco gaussiano: media cero, densidad
espectral de potencia Sn (f ) = N0 , función de autocorrelación
2
RN (τ ) = N0 δ(τ ).
2
y[i] = x[i] + n[i] es la señal recibida en el instante i.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

19. Capacidad de un canal
AWGN....
Sean Pr , Pn y Pt + Pn , respectivamente, la potencia de recibida de
la señal transmitida, potencia del ruido y la potencia total recibida.
Si el canal es de banda limitada a B Hz (ancho de banda 2B ), las
entropías en bits/seg vienen dadas por:
H(y) = B log(4π(Pr + Pn ))
H(n) = B log(4πPn )
Por tanto, la capacidad es
C = H(y) − H(y|x) = H(y) − H(n) = B log(1 + Pr /Pn )
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 1
ı

20. Capacidad de un canal AWGN
(cont.)
Definiendo la relación señal a ruido (SNR) como γ = Pr /Pn
obtenemos:
C = B log(1 + γ)
Como el ruido tiene densidad espectral de potencia N0 /2, la
potencia total en un ancho de banda 2B es
Pn = 2B × (N0 /2) = N0 B .
Por tanto, γ = Pr /(N0 B).
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

21. Ejemplo.....
Supongamos que la potencia recibida de la señal viene dada por
Pr (d) = Pt (d0 /d)3 donde d0 = 10m y d es la distancia entre
transmisor y receptor, N0 = 10−9 W/Hz y B = 30kHz . La figura
muestra la relación señal a ruido γ = Pt (d)/Pn (dB) y la capacidad
del canal para distancias entre 100m y 1Km y Pt = 1W (potencia en
transmisión).
20 160
140
15
120
10
100
Capacidad (kbps)
5
SNR (dB)
80
0
60
−5
40
−10
20
−15 0
100 200 300 400 500 600 700 800 900 1000 100 200 300 400 500 600 700 800 900 1000
distancia d distancia d
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

22. Canales con desvanecimiento
plano
Modelo de canal
Capacidad con CSI en recepción.
Capacidad con CSI en recepción y en
transmisión.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

23. Modelo de canal
El término g[i] ≥ 0 es una ganancia que modelaremos con un
proceso estacionario ergódico con distribución p(g).
S es la potencia media de la señal transmitida.
N0 /2 es la densidad espectral de potencia del ruido.
B es el ancho de banda del canal.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

24. Modelo de canal (cont.)
Valor instantáneo de la SNR en recepción:
Sg[i]
γi =
N0 B
Valor medio de la SNR en recepción:
Sg
γ=
N0 B
Consideraremos dos casos:
CSI en recepción.
CSI en recepción y en transmisión.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

25. CSI en recepción
Suponemos que el receptor conoce g[i] para cada instante i.
Capacidad de Shannon (ergódica)
∞
C= B log(1 + γ)p(γ)dγ
0
Se cumple C ≤ CAW GN = B log(1 + γ).
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

26. CSI en recepción (cont.)
Capacidad con outage
Máxima velocidad a la que se puede transmitir sobre el canal
admitiendo que puede decodificarse incorrectamente con una
cierta probabilidad pout .
Suponemos que la SNR en recepción, γ , es constante durante
un intervalo de tiempo.
El transmisor fija un valor de SNR mínimo (en recepción), γmin ,
y transmite a una velocidad cercana a la capacidad para ese
valor
C = B log(1 + γmin )
Los datos serán correctamente recibidos si γ > γmin .
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

27. CSI en recepción (cont.)
Capacidad con outage
Se define la probabilidad de outage como
γmin
pout = p(γ < γmin ) = p(γ) = P (γmin )
0
La capacidad promedio es
Co = (1 − pout )B log(1 + γmin )
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

28. CSI en recepción (cont.)
Capacidad con outage
Curva de Capacidad/B en función de la probabilidad de outage.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

29. Ejemplo....
Vamos a calcular la capacidad de un canal con desvanecimiento
plano que introduce las siguientes ganancias:
g[i] g[1] = 0.025 g[2] = 0.25 g[3] = 10
Supongamos
p(g[i]) 0.1 0.5 0.4
Pt = 10mW , N0 = 10−9 W/Hz y B = 30kHz .
SNR en recepción:
γ1 = 0.833(−0.79dB) γ2 = 83.333(19.2dB) γ3 = 333.33(25dB)
3
Su capacidad es: C = k=1 B log(1 + γk )p(γk ) = 151.58kbps
Capacidad de un canal AWGN con γ = 137.58 (21.80dB):
CAW GN = B log(1 + 137.58) = 213.43kbps
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 2
ı

30. Ejemplo (cont.)
Probabilidades de las SNR en recepción::
γi γ1 = 0.833 γ2 = 83.333 γ3 = 333.33
p(γ) 0.1 0.5 0.4
pout = P (γ) 0.1 0.6 1
Capacidades C = B log(1 + γi ) para γi :
γi γ1 = 0.833 γ2 = 83.333 γ3 = 333.33
C 26.23 kbps 191.94 kbps 251.55 kbps
Para pout = P (γ1 = 0.1), podemos transmitir a velocidades
cercanas a C = 191.94kbps pero solamente decodificaremos
correctamente cuando la SNR sea γ2 o γ3 . La capacidad real
es Co = (1 − 0.1)191.94kbps = 172.75kbps.
Para pout = 0.6 la capacidad real es C = 125.78kbps
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

31. CSI en ambos lados
Asumiremos que g[i] es perfectamente conocido tanto en
transmisión como en recepción.
∞
La capacidad promedio es C = 0
B log(1 + γ)p(γ)dγ .
El transmisor adapta su potencia S(γ) en función de la SNR en
recepción γ tal que
∞
S(γ)p(γ)dγ ≤ S
0
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

32. CSI en ambos lados (cont.)....
La capacidad de un canal variante en tiempo es
∞
S(γ)
C= B log 1 + γ p(γ)dγ
0 S
El objetivo es maximizarla sujeto a la restricción
∞
0
S(γ)p(γ)dγ ≤ S .
Se obtiene:
1 1
S(γ) γ0 − γ γ ≥ γ0
=
S 0 γ < γ0
Solamente se transmite en los intervalos donde se cumple la
condición.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

33. CSI en ambos lados (cont.)
Asignación de potencia óptima: Watter-Filling
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

34. CSI en ambos lados (cont.)
La capacidad resultante es
∞
γ
C= B log p(γ)dγ
0 γ0
El valor de corte debe satisfacer
∞ ∞
S(γ) 1 1
p(γ)dγ = − p(γ)dγ = 1
γ0 S γ0 γ0 γ
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

35. Ejemplo .....
Vamos a continuar con el ejemplo anterior...
Consideremos que las probabilidades de las SNR en recepción
γi γ1 = 0.833 γ2 = 83.333 γ3 = 333.33
son:
p(γ) 0.1 0.5 0.4
Calculemos el umbral γ0 de forma que
1 1
− p(γi ) = 1
γi >γ0
γ0 γ
3 3
p(γi ) p(γi )
− =1
i=1
γ0 i=1
γi
1
En nuestro caso γ0 = 1.13 = 0.8 < γ1 y, por tanto, la SNR más
débil nunca se utilizará.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

36. Ejemplo (cont.)
Calcularemos el umbral γ0 eliminando γ1 ,
2 2
p(γi ) p(γi )
− =1
i=1
γ0 i=1
γi
En nuestro caso resulta, γ0 = 0.89.
La capacidad resultante es
3
γi
C= B log2 ( )p(γi ) = 200.82kbps
i=2
γ0
La capacidad es mayor que la obtenida con CSI en recepción y
se aproxima a la de un canal AWGN.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

37. Canales con desvanecimiento
selectivo en frecuencia
Modelo de canal (canales invariantes
en tiempo)
Capacidad
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

38. Modelo de canal
Supondremos un canal invariante en tiempo.
Canal con respuesta en frecuencia H(f ) conocida tanto el el
transmisor como en recepción.
Se transmite una potencia total S .
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

39. Canal con desvanecimiento
selectivo en frecuencia (cont.)
H(f ) puede dividirse en subcanales de ancho de banda B .
|Hj |2 Sj
La SNR en cada canal es N0 B donde Sj es la potencia
localizada en el j -ésimo canal, j Sj ≤ S . La capacidad del
j -ésimo canal es
|Hj |2 Sj
Cj = B log2 1+
N0 B
.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 3
ı

40. Canal con desvanecimiento
selectivo en frecuencia (cont.)
Como tenemos varios canales en paralelo, nos planteamos
maximizar la capacidad (ejercicio)
|Hj |2 Sj
max C = B log2 1+ s.a. Sj ≤ S
j
N0 B
k
Se obtiene
1 1
Sj γ0 − γj γj ≥ γ0
=
S 0 γ < γ0
|Hj |2 S
donde γj = N oB .
El parámetros γ0 debe ser elegido de forma que
1 1
j ( γ0 − γj ) = 1. La capacidad resultante es
γj
C= γj >γ0 B log2 γ0
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 4
ı

41. Canal con desvanecimiento
selectivo en frecuencia (cont.)
Watter-filling para canales con desvanecimiento selectivo en
frecuencia.
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 4
ı

42. Ejemplo....
Vamos a calcular la capacidad de un canal selectivo en frecuencia
considerando que se puede aproximar por tres canales de
B = 1M Hz y con H1 = 1, H2 = 2 y H3 = 3. Consideraremos que la
restricción en potencia es S = 10mW y que N0 = 10−9 W/Hz .
|Hj |2 S
SNR en recepción: γj = N oB : γ1 = 10, γ2 = 40, γ3 = 90.
3 1 1
Utilizando j=1 ( γ0 − γj ) = 1, obtenemos γ0 = 2.64 < γ1 .
3 γj
C= j=1 B log2 γ0 =
1000000 (log2 (10/2.64) + log2 (40/2.64) + log2 (90/2.64)) =
10.93M bps
´ ´
Teor´a de la comunicacion para redes moviles.- Adriana Dapena – p. 4
ı