通信-信息论-开坑自埋

draft 此文章点子来自: 你不了解的「WiFi」从技术原理 应用 讲到行业的未来 一个视频彻底讲清楚 「硬核无线技术」系列视频 WiFi 篇
一串听下来发现对于通信这方面的知识还是很欠缺, 甚至有些家常知识点都没太了解.

分割线

WIFI

名字

音响领域有高保真 HIFI (High Fidelity), 之后出现的无线起名 WIFI (Wireless Fidelity),

Science Fiction -> SciFi (发音与上面类似,一方面考虑好记)

频段

2.4G 频段: 2.4~2.4835 GHz

5G 频段: 5.15~5.85 GHz

每个频段可分为若干信道(频宽从 1~160MHz 不等), 满足多连接/多设备尽可能不互相干扰下使用.

  • 在小区/宿舍里经常发现信号范围内有一排别人的 WIFI/热点

    甭管有没有密码, 必然会对我们当前设备使用 WIFI 无线电信号产生干扰

    2.4G 频段窄而且电磁波穿透力比 5G 频段强,另外默认用 2.4G 频段的设备多

    所以, 把自己的设备切换使用为 5G 频段可以一定程度上抗干扰

  • 其实也不止 WIFI 影响 WIFI,还要好多设备也是用 2.4G 频段通信会有干扰:

    蓝牙,无线鼠标,无线录音麦…etc

调制手段

何为调制?

把数字信号转为电磁波通过天线发送, 接收端再把电磁波解为数字信号的过程,如下图
20220107015502
https://www.txrjy.com/thread-1080059-1-1.html

编/解码过程用到傅里叶变换和逆变

  • 从 802.11b 到 802.11ax 应用的三种调制方式:

    802.11 (eight O two eleven, 0 读 O, dot 不用读)

    DSSS (D triple S, 直接序列扩频)

    FHSS (调频)

    OFDM (Orthogonal Frequency-Division Multiplexing. 正交频分复用/同频分解多调制)

  • 由于民用频宽范围比较有限,DSSS 这种依靠大频宽保证可靠性的技术不适用,逐渐过渡到了 OFDM:

    这种调制方式大幅降低所需频宽, 图中上面为 OFDM

    20220107020556

标准制定

上面所提到的 802.11 xxx 就是无线电协会所制定的 WIFI 标准, 其每次更新是为了规划未来一段时间的 WIFI 走向, 避免各做各的无法正常通信.

20220107023524

802.11ac 引入波束赋形 Beam Forming, 追踪设备并把信号尽可能聚束到此方向

2019 年协会才把标准整体命名为 WIFI1-WIFI6, 调制方式 OFDM -> OFDMA(4GLTE 蜂窝网络的调制方式)

WIFI 发展越加偏向/近似蜂窝网络

理论与实际

  • 无线通信理论速率与实际速率差距蛮大的:

    20220107030252

    生活中都有经验,离路由器越近越好

  • 用不用追新设备?

    先上结论: 不用

    我们大多数人不咋组内网,组内网的话也是插线而不是走 WIFI,路由器唯一线路就是走公网

    路由器跑的快不快在于宽带套餐,100-300M 宽带还是绝大部分家庭/学校的选择,而出于 2013 年的 WIFI5 标准完完全全够跑满

    WIFI6 标准的路由器可以认为, 杀鸡用牛刀

分割线

傅里叶变换

引言

傅里叶变换的精彩讲解
简单来说傅里叶变换的作用: 从混合的波(声波/电磁波)中分离出某个频率的波

高数确实是一门神秘且棘手的学科,所以听到这个傅里叶变换心理也是略有抵触的.
后话: 不做应用的单纯的数学雀食烦…但是结合应用的话就有趣起来了 \(^o^)/

  • 多个不同频率的波叠加

    傅里叶变换就是在研究如何从混合波中分析出其组成波 (类似从混合色中分析原色)

    20220113234230

fourier-transform

  • 对于某个混合波,我们想知道它是哪几种波混合的结果,如何得知?

    20220114170236

    1. 我们把波形绕成环,并且可以调整 cycles/second -> Frequency 的比例

    2. 视圆环图像质量均匀,取"质心 center of mass" 的坐标 (x,y)

    3. 取 x 坐标为 Y 轴, Frequency 为 X 轴作图

    4. 可见 2Hz+3Hz 的波,Frequency 在 2 和 3 出出现明显波峰

  • 分别叠加也符合:

    20220114172006

实际应用-除噪

  • 比如现有声波里有一个已知高频噪音 (蚊子),但我们无法从声波中直接过滤掉,如何去掉它?

    20220114174154

    1. 做傅里叶变换

    2. 找到那个频率的波峰并通过某种方法干掉它

    3. 傅里叶反变换得到没有蚊子叫的声波

inverse-fourier

对傅里叶变换的图像再次变换可以大致获得原始波

20220114174856

质心与傅里叶公式的关系

  • "质心"实际指的就是公式变换的结果,下面分别为离散/连续的计算公式

    20220114175932 20220114180011

  • 需要注意的是,上面公式与傅里叶变换公式有小小的区别:

    上面的公式只是在求 单点,实际傅里叶变换公式不需要除以时间

    使得对应频率的 x 根据时间 t 倍增延长 (也就是变换后产生波峰的原因)

    20220114182317

  • 比如某频率的波持续 3 秒,其对应大小乘 3 倍

    20220114182518

    持续时间越长,对应频率的波峰越大

缺点

比如有一段 2s 的声波,第一秒为 1Hz,第二秒为 2Hz

通过傅里叶变换只能识别出存在 1Hz 和 2Hz 的波,并可以比较持续时间,但并不能分析其在时间轴上的定位

针对其不能时频联合分析的缺点, 出现了 短时傅里叶变换

短时傅里叶变换

一文道破傅里叶变换的本质，优缺点一目了然

分割线

极化码

信息熵-如何度量信息

所用代码及结果展示

哈特莱

哈特莱首先提出使用对数 log 来描述信息

后称信息熵:H(p)=nlog⁡10s=log⁡10sn后称信息熵: H(p) = n\log_{10} s = \log_{10} s^{n}

信息符合加法: h(x,y)=h(x)+h(y)h(x,y)=h(x)+h(y)

概率符合乘法: p(x,y)=p(x)p(y)p(x,y)=p(x)p(y)

log 可以把乘法变加法: log⁡p(x,y)=log⁡p(x)p(y)=log⁡p(x)+log⁡p(y)\log p(x,y) = \log p(x)p(y) = \log p(x)+\log p(y)

操作原理就是 通过概率间接量化信息, 哈特莱这里底数取得是 10, 下面香农改为了 2 (更适合计算机计算)

香农

  • 香农首先提出信息熵来度量信息,可以粗略解释为:

    n 个连续的 “是(1)” 或 “否(0)” 可以消除 2n2^{n} 比特内容的不确定性(疑义度)

    信息熵:H(p)=−k∑i=1npilog⁡2pi信息熵: H(p) = -k \sum_{i=1}^{n} p_{i} \log_{2} p_{i}

  • 比如:

    常用的汉字大约有 7000 个,假设每个字使用概率相等,至少需要用 13 比特表示才能完全消除一个字的疑义度 (2132^{13}=8192 > 7000)
    那么在此条件下每个字的信息熵为 13 比特
    现实中每个字的使用频率概率, 出现场景, 上下文关联都会影响实际的信息熵 (比如文盲说话的信息熵不如学者高)
    信息的度量——信息熵

  • 关于为什么前面带了个 -k

    与直觉相反, 一个事件发生概率越大,实际所带的信息越小
    比如太阳从东边升起,没什么信息含量; 换为从西边升起,即使概率无限接近 0, 它所含信息权重也是很高的 [3]

  • 具体计算一个:

    H(0.1)=0.1⋅log2(0.1)=0.33H(0.2)=0.2⋅log2(0.2)=0.46H(0.3)=0.3⋅log2(0.3)=0.52H(0.1) = 0.1 \cdot log_2 (0.1) = 0.33 \\ H(0.2) = 0.2 \cdot log_2 (0.2) = 0.46 \\ H(0.3) = 0.3 \cdot log_2 (0.3) = 0.52

基尼系数

我们把曲线 −log⁡P- \log P 换为 1−P1-P, 得到的就是基尼系数

基尼系数:G(p)=∑i=1npi(1−pi)=1−∑i=1npi2基尼系数: G(p) = \sum_{i=1}^{n} p_i (1-p_i) = 1- \sum_{i=1}^{n} p_{i}^2

基尼系数与熵是十分近似的, 在决策树中可以用基尼系数来代替熵 (效率更高)

第二定义: 社会财富分配

分割线

欧拉式-两点分布

  • 两点分布的熵:

    令P(0)=1−pp(1)=p H(p)=−(1−p)log⁡2(1−p)−plog⁡2pGini(p)=(1−p)⋅[1−(1−p)]+p⋅(1−p)=2p(1−p)令 P(0) = 1-p \qquad p(1) = p \\ \ \\ \begin{aligned} H(p) &= - (1-p) \log_2 (1-p) - p \log_2 p \\ Gini(p) &= (1-p) \cdot [1-(1-p)] + p \cdot (1-p) \\ &= 2p(1-p) \end{aligned}

    可见在概率为 0.5 时,信息熵 (不确定度) 最高

相对熵

也叫互熵/交叉熵/鉴别信息/Kullback 熵/KL 散度/K-L 距离…

D(p∣∣q)=∑i=1npilog⁡piqiD(p||q) = \sum_{i=1}^{n} p_{i} \log{\frac{p_i}{q_i}}

单位

  • 经典熵底数为 2,单位为 bit

    在做数据分析时有用 e 为底数的定义, 单位为 nat (奈特)

    H(p)=−k∑i=1npiln⁡piH(p) = -k \sum_{i=1}^{n} p_{i} \ln p_{i}

分割线

信道容量-最大互信息

  • 信道容量(Channel Capacity) 也叫最大互信息

    互信息: 它是一个随机变量包含另一个随机变量信息量的度量

    比如一条河从 A->B 端, 但只有 70% 的河水能流到 B,其他的河水流失了; 那么在这里 A->B 端河水的互信息为 70%

    当然, 互信息的度量单位并不是百分比, 概念上也略有偏颇

    视频中的例子: X->Y 传递信息熵为 H(X) 的信息, 传递过程中丢失/不能还原的信息熵为 H(X|Y), 那么

    互信息:I(X∣Y)=H(X)−H(X∣Y)互信息: I(X|Y) = H(X) - H(X|Y)

  • 什么是信道/信道容量? 举个栗子:

    有个工厂里有好多流水线从 A->B 处输送产品; 每条流水线可以理解为是一个信道

    流水线运输速度太快会使产品不合格,需要限制在 T 时间内运输 N(T) 件产品才可以保证质量; 同样道理通信时一味地加速发送会使通信状态变差,也需要限制在一定范围之内,这个范围就是信道容量

    (理论条件下,单位时间内可以传过去的信息量)

    信道容量:C=Lim⁡T→∞log⁡N(T)T信道容量: C=\operatorname{Lim}_{T \rightarrow \infty} \frac{\log N(T)}{T}

香农极限

实际条件下,通信接收方会因为丢包/信号干扰/磁场等噪声无法接收到部分信息,导致无法真实达到信道容量

香农提出通过合适的编码,信道容量 C 可以被尽可能的无限逼近,但对于大于 C 的速率不成立.即香农极限(香农提出,后人证明)

20220203184654

  • 经典教材计算机网络也有提及

    Gh3a7A.png

极化码-PolarCodes

  • 核心思想: 通过异或操作把信息分流

    20220203221617

    通过异或操作,把信道一/二两个实际信道转换成信道W−/W+W^-/W^+

    20220203222548

    这里可能会疑惑信道W+W^+第四种情况 “U2=U1=Y1” 中 U1 从何得知?

    实际上这里我们让W−W^-信道不传输信息,U1 是通信双方预先约定好的内容

  • 当处理的码长(信道数)足够多时,好信道的互信息会无限逼近 1 [1]

    20220203224853

    当然凡事不是越多越好:

    1. 这里信息传输的条件是信道连接能保持稳定

    2. 每增加信道数,需要做的处理指数级增长

具体如何编码/构建, 详见论文 [1] (🥵hardtoo🥵 ^{too}_{hard}

分割线

音频

有-无损压缩

对于大部分人的木耳来说,完全听不出来差别; 极小部分人金耳才能听出来 (年轻,耳朵从出生没受过损伤)

可以试试双盲测试: [2]

耳机厂商为什么不把耳机煲好了再卖？

分割线

借物表

[1]: “太极混一”——极化码原理及 5G 应用

[2]: 【双盲测试】你听得出有损和无损的区别么

[3]: https://www.bilibili.com/video/BV16L411w7oQ?p=6