linux vlan协议-802.1q

转 作者 辛龙 | 发表于 | 分类于 2008级

内核版本：2.6.34

802.1q

1. 注册vlan网络系统子空间，

[cpp] view plain copy
  1. err = register_pernet_subsys(&vlan_net_ops);  
  2. static struct pernet_operations vlan_net_ops = {  
  3.  .init = vlan_init_net,  
  4.  .exit = vlan_exit_net,  
  5.  .id   = &vlan_net_id,  
  6.  .size = sizeof(struct vlan_net),  
  7. };  

        每个子空间注册成功都会分配一个ID，在register_pernet_subsys() -> register_pernet_operations() -> ida_get_new_above()获得，而vlan_net_ops中的vlan_net_id记录了这个ID。注册子空间的最后会调用子空间的初始化函数vlan_init_net()，它会把vlan_net(有关vlan的proc文件系统信息)加到全局的net->gen->ptr数组中去，下标为之前分配的ID。这样，通过vlan_net_id便可随时查到vlan_net的信息，主要与proc有关。

2. 注册vlan_notifier_block

[cpp] view plain copy
  1. err = register_netdevice_notifier(&vlan_notifier_block);  
  2. static struct notifier_block vlan_notifier_block __read_mostly = {  
  3.  .notifier_call = vlan_device_event,  
  4. };  

        关于register_netdevice_notifier()做的工作并不复杂，首先会注册vlan_notifier_block到netdev_chain：

[cpp] view plain copy
  1. err = raw_notifier_chain_register(&netdev_chain, nb);  

        然后通知事件NETDEV_REGISTER和NETDEV_UP事件到网络系统的中的每个设备：

[cpp] view plain copy
  1. for_each_net(net) {  
  2.  for_each_netdev(net, dev) {  
  3.   err = nb->notifier_call(nb, NETDEV_REGISTER, dev);  
  4.   err = notifier_to_errno(err);  
  5.   if (err)  
  6.    goto rollback;  
  7.   
  8.   if (!(dev->flags & IFF_UP))  
  9.    continue;  
  10.   
  11.   nb->notifier_call(nb, NETDEV_UP, dev);  
  12.  }  
  13. }  

        此时nb就是vlan_notifier_block，调用通知函数vlan_device_event()。假设此时主机上拥有设备lo[环回接口], eth1[网卡], eth1.1[虚拟接口]，来看vlan_device_event()函数：
         判断是否为vlan虚拟接口，则执行__vlan_device_event()，这个函数的作用就是在proc文件系统中添加或删除vlan虚拟设备的相应项。显然，符合条件的是eth1.1，而事件NETDEV_REGISTER会在/proc/net目录下创建eth1.1的文件。

[cpp] view plain copy
  1. if (is_vlan_dev(dev))  
  2.  __vlan_device_event(dev, event);  

        然后判断dev是否在vlan_group_hash表中[参考最后”vlan设备组织结构”]，它以dev->ifindex为hash值，显然，只有eth1才有正确的ifindex，lo和eth1.1会因查询失败而退出vlan_device_event。

[cpp] view plain copy
  1. grp = __vlan_find_group(dev);  
  2. if (!grp)  
  3.  goto out;  

        下面的事件处理只有eth1会执行，以NETDEV_UP为例，通过vlan_group_hash表可以根据eth1查到所有在其上创建的虚拟网卡接口，如果这些网卡接口没有开启，则开启它，这里开启用到的是dev_change_flags(vlandev, flgs | IFF_UP)。跟踪该函数可以发现它仅仅是修改flags后，通知NETDEV_UP事件，等待设备去处理。这里的含义可以这样理解，如果ifconfig eth1 up，则在eth1上创建的所有vlan网卡接口都会被up。

[cpp] view plain copy
  1. case NETDEV_UP:  
  2.  /* Put all VLANs for this dev in the up state too.  */  
  3.  for (i = 0; i < VLAN_GROUP_ARRAY_LEN; i++) {  
  4.   vlandev = vlan_group_get_device(grp, i);  
  5.   if (!vlandev)  
  6.    continue;  
  7.   
  8.   flgs = vlandev->flags;  
  9.   if (flgs & IFF_UP)  
  10.    continue;  
  11.   
  12.   vlan = vlan_dev_info(vlandev);  
  13.   if (!(vlan->flags & VLAN_FLAG_LOOSE_BINDING))  
  14.    dev_change_flags(vlandev, flgs | IFF_UP);  
  15.   netif_stacked_transfer_operstate(dev, vlandev);  
  16.  }  
  17.  break;  

        可以看出，vlan_device_event最后都是操作的vlan虚拟接口，这点是很重要的，不要越权处理其它设备。

3. 添加协议模块vlan_packet_type到ptype_base中        

[cpp] view plain copy
  1. dev_add_pack(&vlan_packet_type);  

        在[net\8021q]目录，主要是关于报文接收的

[cpp] view plain copy
  1. static struct packet_type vlan_packet_type __read_mostly = {  
  2.  .type = cpu_to_be16(ETH_P_8021Q),  
  3.  .func = vlan_skb_recv, /* VLAN receive method */  
  4. };  

        vlan_skb_recv() [net\8021q\vlan.c]
        检查skb是否被多个协议模块引用，如果是则拷贝一份，并递减计数，必要时释放skb，这部分要和netif_receive_skb()中的pt_prev连起来理解，就明白为什么要使用pt_prev而不是直接使用ptype。如果使用ptype，则会多出一次拷贝。

[cpp] view plain copy
  1. skb = skb_share_check(skb, GFP_ATOMIC);  
  2. static inline struct sk_buff *skb_share_check(struct sk_buff *skb, gfp_t pri)  
  3. {  
  4.  might_sleep_if(pri & __GFP_WAIT);  
  5.  if (skb_shared(skb)) {  
  6.   struct sk_buff *nskb = skb_clone(skb, pri);  
  7.   kfree_skb(skb);  
  8.   skb = nskb;  
  9.  }  
  10.  return skb;  
  11. }  

         skb_share_check()会调用3个函数：skb_sharde(), skb_clone(), kfree_skb()，都很重要。
         skb_shared()检查skb->users数目是否为1，不为1则表示有多个协议栈模块要处理它，此时就需要使用skb_clone()来复制一份skb；kfree_skb()并不一定释放skb，只有当skb->users为1时，才会释放；否则只是递减skb->users。

        这一步是核心，此时skb->dev为真正的设备，经过vlan处理后，报文应该被上层协议看作是由vlan虚拟设备接收的，因此这里设置skb->dev为虚拟的vlan设备。

[cpp] view plain copy
  1. skb->dev = __find_vlan_dev(dev, vlan_id);  

       以收到ARP请求报文后回应为例，看下skb->dev的变化，使得报文在协议栈中流转：
 

        更新网卡接收报文的信息：

[cpp] view plain copy
  1. rx_stats->rx_packets++;  
  2. rx_stats->rx_bytes += skb->len;  

        设置skb->len和skb->data指针，从而跑过vlan标签，而对skb->csum的计算会忽略，因为在网卡驱动收到报文时，skb->ip_summed== CHECKSUM_NONE。

[cpp] view plain copy
  1. skb_pull_rcsum(skb, VLAN_HLEN);  

        重置skb->protocol为vlan标签后面接的协议类型，之前的protocol为0x8100(即ETH_P_8021Q)

[cpp] view plain copy
  1. vlan_set_encap_proto(skb, vhdr);  

        最后调用netif_rx()，它会将skb重新放入接收队列中，让skb在协议栈中继续向上走。要注意的是这时候skb->protocol已经是vlan标签后的协议标识，因此重新进入netif_receive_skb()时会被更上一层的ptype处理掉。

[cpp] view plain copy
  1. netif_rx(skb);  

        此时协议模块802.1q已经处理完，此时skb会被释放掉，此时skb->users是1。

[cpp] view plain copy
  1. kfree_skb(skb);  

         netif_rx()这个函数很重要，可以说是各个协议模块之前报文流向的纽带，这里详细讲解下：
         获取当前CPU的softnet_data结构体

[cpp] view plain copy
  1. queue = &__get_cpu_var(softnet_data);  

         softnet_data这个结构体在设备初始化时会被赋值，见[net\core\dev.c中net_dev_init()]；对于每个CPU，都会分配一个softnet_data，里面重要的是backlog.poll = process_backlog；在软中断处理中，会调用poll_list链表上的poll方法，在稍后会看到加入poll_list链表的是queue->backlog，因此当再次在软中断中处理该报文时，会使用process_backlog()函数；作为对比，可以看在网卡驱动中加入poll_list链表的是bp->napi，这时候的poll方法是网卡驱动自己的b44_poll()。

[cpp] view plain copy
  1. for_each_possible_cpu(i) {  
  2.  struct softnet_data *queue;  
  3.  queue = &per_cpu(softnet_data, i);  
  4.  skb_queue_head_init(&queue->input_pkt_queue);  
  5.  queue->completion_queue = NULL;  
  6.  INIT_LIST_HEAD(&queue->poll_list);  
  7.  queue->backlog.poll = process_backlog;  
  8.  queue->backlog.weight = weight_p;  
  9.  queue->backlog.gro_list = NULL;  
  10.  queue->backlog.gro_count = 0;  
  11. }  

        判断input_pkt_queue队列长度，如果长度为0，则将queue->backlog加入poll_list中，并触发软中断，同时也将skb加入input_pkt_queue队列；如果长度>=1，则表明input_pkt_queue队列中还有未处理的skb，并且队列头的skb已经触发了软中断，只是还未被处理，因此此时只需将skb加入input_pkt_queue队列，而不用再次触发软中断。
这里有两个地方要注意，第一是skb加入的链队是input_pkt_queue，但加入poll_list的却是backlog，这是因为在软中断中调用的是backlog.poll方法，而它会处理input_pkt_queue；第二是软中断的触发只在队列为空时再发生，因为每次软中断net_rx_action()中，不只是处理一个skb，而是队列上所有的skb：while (!list_empty(list))。

[cpp] view plain copy
  1. if (queue->input_pkt_queue.qlen) {  
  2. nqueue:  
  3.  __skb_queue_tail(&queue->input_pkt_queue, skb);  
  4.  local_irq_restore(flags);  
  5.  return NET_RX_SUCCESS;  
  6. }  
  7.   
  8. napi_schedule(&queue->backlog);  
  9. goto enqueue;  

        整体流程如图所示： 

 4. 添加ioctl供用户空间调用        

[cpp] view plain copy
  1. vlan_ioctl_set(vlan_ioctl_handler);  

        添加IOCTL选 项，供用户空间进行内核的vlan配置，比如ADD_VLAN_CMD会创建vlan虚拟接口；DEL_VLAN_CMD会删除vlan虚拟接口。

        VLAN设备的组织结构
        如果只是vlan模块的接收与发送，那了解到vlan_skb_recv()与vlan_dev_hard_start_xmit()函数就可以了。但vlan的实现考虑的要多很多，比如：新创建的eth1.1存储在哪里？eth1.1和eth1如果进行关联？这些都是下面要讲的。
数据结构vlan_group_hash是vlan虚拟网卡存储与关联的核心结构：
static struct hlist_head vlan_group_hash[VLAN_GRP_HASH_SIZE]; [net\8021q\vlan.c]
当通过vconfig创建了eth1.1, eth1.2, eth1.100三个虚拟网卡后，vlan_group_hash的整体结构如图所示，先有个整体印象： 

         vlan_group_hash是大小为32的hash表，所用的hash函数是：

[cpp] view plain copy
  1. static inline unsigned int vlan_grp_hashfn(unsigned int idx)  
  2. {  
  3.  return ((idx >> VLAN_GRP_HASH_SHIFT) ^ idx) & VLAN_GRP_HASH_MASK;  
  4. }  

        而传入参数idx就是dev->ifindex，比如eth1的就是1。因此可以这样理解，vlan_group_hash表插入的是真实网卡设备信息(eth1)。对于一般主机来说，网卡不会太多，32个表项的hash表是完全足够的。
在添加vlan时，会创建新的vlan虚拟网卡：
        register_vlan_device() -> register_vlan_dev()

        首先查找网卡是否已存在，这里的real_dev一般是真实的网卡如eth1等。以real_dev->ifindex值作hash，取出vlan_group_hash的表项，由于可能存在多个网卡的hash值相同，因此还要匹配表项的real_dev是否与real_dev相同。

[cpp] view plain copy
  1. grp = __vlan_find_group(real_dev);  

        如果不存在相应的表项，则分配表项struct vlan_group，并加入vlan_group_hash：

[cpp] view plain copy
  1. ngrp = grp = vlan_group_alloc(real_dev);  

        结构定义如下，它可以代表在vlan下真实网卡的信息。real_dev指向真实网卡如eth1；nr_vlans表示网卡下创建的vlan数；vlan_devices_arrays用于存储创建的vlan虚拟网卡：

[cpp] view plain copy
  1. struct vlan_group {  
  2.  struct net_device *real_dev;  
  3.  unsigned int  nr_vlans;  
  4.  int   killall;  
  5.  struct hlist_node hlist; /* linked list */  
  6.  struct net_device **vlan_devices_arrays[VLAN_GROUP_ARRAY_SPLIT_PARTS];  
  7.  struct rcu_head  rcu;  
  8. };  

       创建完表项vlan_group，紧接初始化vlan_devices_arrays二维数组中相应元素

[cpp] view plain copy
  1. err = vlan_group_prealloc_vid(grp, vlan_id);  

        最后，设置vlan_devices_arrays相应元素指向创建的vlan虚拟网卡(如eth1.1)的struct net_device。这里值得注意的是vlan_devices_arrays是二维数组，内核支持的最大vlan数是4096，为了查找效率，应用了二级目录的概念。vlan_devices_arrays指向大小512的数组，数组中每个再指向大小8的数组，像eth1.100则位于第12组的第5个(vlan_devices_arrays[11][4])。

[cpp] view plain copy
  1. vlan_group_set_device(grp, vlan_id, dev);  

        以一个例子来说明，当主机收到报文，交由vlan协议模块处理后(vlan_rcv)，此时需要更换skb->dev所指向的设备，以使上层协议认为报文是来自于虚拟网卡(比如eth1.1)，而不知道网卡eth1的存在。更换设备就需要知道skb->dev更换的目标。这由两个因素决定：skb->dev和vlan_id。skb->dev即报文来自主机的哪个网卡，如来自eth1，则skb->dev->name=”eth1”；vlan_id即vlan号，这在报文中的vlan报文中可以提取出。有了这两个信息，从vlan_group_hash出发，首先根据skb->dev->ifindex查找vlan_group_hash的相应项(eth1)，取出vlan_group；然后，根据vlan_id，在vlan_devices_array中查找到虚拟网卡设备(eth1.1)。
一般支持的最大vlan数是4096，为了查询效率，vlan_devices_array并不是一个4096的数组，而是二维数组，将每8个vlan分为一组，共512组，像eth1.100则位于第12组的第5个。