写这篇文章的时候,是大年三十,本来应该和家人一起看春节联欢晚会的,但是看了一个小时感觉没有什么劲,我想今年春晚又会被吐槽吧。哈哈哈哈。书归正传,还是按照我们的老规矩,走起。(PS:本来是早就应该写完的文章,发现自己还是太懒。到了现在真正的写完。反省反省….)
在写这篇文章之前,看了很多关于HashMap解析的文章。对于大多数人来说,可了跟着别人的文章走一遍。大家都能了解HashMap的内部结构,使用方法以及注意事项。我还是觉得知道用是一回事。知道原理是另一回事。只有了解了其数据结构设计初衷。才能更好的使用它。
此系列文章主要分为两个部分,具体目录如下:
- 哈希表初识(一)
- 哈希表之HashMap(二)
其中第一篇是带领着大家理解为什么会设计此种数据结构,及其遇见的问题及解决办法。我相信通过阅读这篇文章后,你再去理解HashMap,我相信你会有一种豁然开朗的感觉。建议先阅读第一部分。
前言
哈希表是我们程序员开发者经常会使用到的数据结构。我们都知道是其主要用于映射(键值对)关系的数据。哈希表在查找、删除、添加数据方面效率都比较高。既然哈希表有如此多的优点,那么我就带着大家从哈希表实际应用例子出发,通过相应例子,带领大家彻底的了解哈希表的使用情景及其遇到的问题,以及相应的解决方法。
哈希表简介
哈希表(Hash table,也叫散列表),是根据关键值(Key value)而直接进行访问的数据结构。也就是说,它通过把关键键值映射到表中一个位置来访问记录,以加快查找的速度。这个映射函数叫做哈希函数,存放记录的数组叫做哈希表。
上文提到了两个比较重要的知识点。哈希表是基于数组且通过哈希函数来构建映射关系。接下来我们通过生活中的几个例子,来了解一下哈希表在实际使用中会出现的问题以及解决方案。
学号作为键,存储学生信息
假如现在我们要做一个学校的学生信息记录。这个学校大概有1000人。学生的记录信息包括学号、年龄、性别等信息。假设学生的学号是从零开始的有序自增长,那么如果要求我们需要从快速检索某一个学生的信息。那我们应该使用什么样的数据结构呢?
我们可能首先想到的就是数组。即数组下标对应着相应学生信息,具体数据结构如下图所示:
如果我们需要找到Jennifer这个学生。我们只需要通过数组下标拿到相应信息就行了。
1 | Student andy = StudentArray[2]; |
如果我们需要增加一个Jack学生,我们只需要在数组的末尾添加新添加的学生信息。
1 | StudentArray[storeNumber++] = new Student("Jack"); |
我们发现通过上述结构设计,我们能很快的找到某个学生,或者删除一个学生,因为学生的信息是与学号进行关联的。同时每个学生的学号与数组的下标是相对应的。通过数组下标的操作。我们就能完成我们想要的数据操作。当然上述情况只是理想的数据情况,我们可以直接通过将学号作为数组的下标来作为键值对的映射关系。实际开发常见中,我们并不能遇到如此良好的数据映射关系的。
字典作为键,查找英语单词
上文描述了理想情况下的数据映射关系,下面我们来看看“不良好”的数据关系。
假如,我们希望在我们的程序中存储100000个单词,如果我们考虑每个单词都占据一个数组单元,那么我们就需要创建一个容量为100000的数组,通过上述步骤,我们能快速的对单词进行存储。但是数组下标与单词有什么关系呢?我们如何能快速的找到某个单词的位置呢?
把单词转换为数组下标
因为数组中的数组单元与单词是没有关系的。为了达到映射关系,我们可以通过ASCII的编码思想来解决相应的问题,我们都知道ASCII 码使用指定的7 位或8 位二进制数组合来表示128 或256 种可能的字符。其中ASCII包含了所有的所有的大写和小写字母,数字0 到9、标点符号。其中小写英文字母的对应的十进制范围是97-122。那么我们可以采用简单的编码方式, 从字母a到z进行依次从1递增进行编码。
例如单词 abandon
其中
a = 1
b = 2
a = 1
n = 14
d = 4
o = 15
n = 14
求和 1+2+1+14+4+15+14 = 51
那么我们可以将abandon放入下标为51的数组中。
这样就能直接通过words数组下标进行访问了,代码如下:
1 | Stirng words = words[51]; |
但是通过这种方式来存储单词,会出现一个问题。假如我们规定单词的最大长度为10,那么对应的单词求的和就有260种可能,而我们总共的单词有100000个,那么每个数组单元要存储大约380个单词(10000除以260),那么我们可以考虑的是数组单元使用子数组或者链表的方式来存储数据,但是每个数组单元有380个单词,在对数据进行操作的时候,效率是不是很低下呢?所以我们能不能想一个办法。让每个数组单元的存储数据个数尽量减小。让数组单元存储的数据尽量分散呢?
幂操作
因为直接使用简单编码进行相加的方式会导致产生的数组下标较小(数据比较集中),数组单元个数太多的情况,所以我们采用幂的方式。
还是使用单词abandon
其中
a = 10^0+1
b = 10^1+2
a= 10^2+1
n= 10^3+14
d = 10^4+4
o = 10^5+15
n = 10^6+14
求和 1+12+101+1014+10004+100015+1000014 =1111161
那我们是不是就可以直接将abandon放入下标为1111161的数组中?
不要忘了我们的单词的最大长度是10。那么我们数组中的最大下标为:
10^0 + 10^1 +10^2 +10^3 +10^4 +10^5 +10^6 +10^7 +10^8 +10^9
算都不用算,我们知道这是很大的数,我们不可能申请这么大容量的数组。
通过以上分析,我们如果如果采用第一种方案的话,产生数组的下标比较少(数据比较集中),如果使用第二种方案产生的数组下标会更多(数据比较分散),且申请了不必要的空间。那么为了将第二种方案的下标范围进行压缩,那么我们该使用什么样的解决方法呢?继续往下看。
哈希函数
通过一种算法将一个大范围的数字转化一个小范围的数字,这个算法对应的函数称为哈希函数
如何将一个大范围的数字区间转换成一个小范围的数字区间,我们常用的方式是取余(也叫取模操作)。
我们都知道对于给定任意一个整数p,任意一个整数n,一定存在不等式:
n= kp+r
其中k、r是整数,且r大于等于0小于p ,r为n除以p的余数。
既然我们已经知道了一个数(n)在除以另一个数(p)是余数的取值范围(大于0且小于p减去1)。
那么我们把一个范围是0~199(bigerRange)的数据压缩到0~9(smallerRange)的范围。我们可以进行如下操作:
对应的伪代码为:
1 | smallerRange = bigerRange % 10; |
同理对应我们上述提到的单词存储,我们也可以进行如下操作。
1 | smallerRange = bigerRange % arraySize; |
冲突
经过取余操作后,我们现在已经将单词从一个较大的范围压缩到了一个小的范围,但是细心的读者肯定会发现。假如通过这种方式进行单词的存储,假如某个单词和另一个单词进行幂操作后,进行取余的值是相同的,那么就会出现冲突的问题。也就是同一数组下标中存储了两份不同的数据。 列如上图中,数组中words[196]与words[6]。
既然出现了冲突的问题,一般我们会采用两种方式,第一种方式是找到数组的一个空位,并把这个单词填入,第二种方法创建一个存储链表的数组,数组内部不存储单词,产生的冲突的数据直接添加到这个数组下标所对应的链表的下一个节点。这两种方法分别对应着我们下文要讲的开发地址法与链地址法。
开放地址法
当数据不能直接放入由哈希函数计算出来的下标对应相应的数组单元,我们需要获取数组中的其他的位置。根据获取新位置的计算方式的不同,开发地址法分为了三种方法。线性探测、二次探测、再哈希化。下面我们就来具体来讲讲这三种方式的分别实现以及一些问题。
线性探测
线性探测是在产生冲突时,我们就顺势下推,寻找数组中空白的地址。列如,当前我们需要存储单词abandon,但是当前0下标对应的数组单元已经存储了数据(a)。那么我们就尝试使用1标,如果1下标对应的数组单元也同样存储了数据(apple),那么我们继续判断数组下标2。这样通过依次递增的方式去寻找能够进行存储的数据单元。具体实现如下图所示:
对应添加元素伪代码为:
1 | public void insert(int key ,Word word){ |
线性探测聚集问题
但是聪明的你,肯定会发现一个问题,就是当我我们的数据越插入的越来越多的时候,哈希表会变得越来越臃肿,这导致我们在插入新的元素的时候,会探测很长一段距离。当数组填的越满时,聚集就越可能发生。具体问题如下图所示:
从上图来看,如果我们与数组0(a)产生冲突的时候,我们需要线性的向下寻找空白单元。当我们的数组数据存储比例(当前数组存储数据与数组容量的比例,也可以叫做装填因子)较高时。那么我们查询空白单元。所耗的时间也比较长。(这里先不讨论数组扩容的问题,下面我们才讨论扩容。)
二次探测
上面我们讨论了,在使用线性探测时会出现聚集的问题,当数据量大时,查询空白数据单元的次数也会相应的增加。为了减少这种聚集的问题,我们可以采用二次探测。二次探测的原理就是尽量探测相对较远的数据单元,而不探测相邻的数据单元。
在线性探测中,如果通过计算获得的数组下标为x,则对应的线性探测步长就是x+1,x+2,x+3,那么在二次探测中,探测的步长为:x+1^2,x+2^2,x+3^2,也就是x+1,x+4,x+9。具体实现如下图所示:
对应添加元素伪代码为:
1 | public void insert(int key ,Word word){ |
二次探测聚集问题
二次探测虽然消除了线性探测中产生的聚集问题,但是又出现了更细的聚集问题,出现这种更细的聚集问题是因为多个数据经过计算后,获得相同的数组下标,在探测空的数据单元的时候,所寻找的数据单元是相同的。
如现在我们需要将a,apple,abandon,access等4个单词插入哈希表中,假如它们计算后的数组下标都是一样的。那么假如已经插入a单词,那么当apple插入时(假设查询步长为1后,直接插入成功),所走的步长为1,abandon会先走1的步长,然后再走4的步长(假设走了4的步长后,直接插入成功),那么当access进行插入的时候,它会判断1,4对应步长下,是否可以插入数据,很明显当abandon与access进行插入的时候,他们都判断了1步长对应的数据。
再哈希化
为了解决线性探测与二次探测带来的聚集问题。我们还可以使用再哈希法,从上文我们已经了解了,二次探测出现聚集问题的原因是因为所探测的步长是固定的。解决这个问题的最好办法就是是步长是变化的就行了。那么我们就可以另一哈希函数(用另一哈希函数的原因是,我们要限定始终在数组范围内进行查询)根据关键字(key),来动态的计算步长就行了。
注意:
- 新的哈希函数必须与上一个哈希函数不同(相同,不是写了当没写吗?我直接乘以2就完了,对不对)
- 不能输出0(步长为0,我们还添加个毛线啊)。
那么修改我们上面的伪代码:
1 | public void insert(int key ,Word word){ |
注意:这里又有同学要问了,为什么要使用质数,我们都知道质数在在大于1的自然数中,除了1和它本身以外不再有其他因数。试想,如果当前我们的数组长度为10,通过哈希计算后的数组下标是0,且我们计算后的步长为5,那么探测序列就是,0,5,10,0,5,10。程序会一直探测直到崩溃。
链地址法
上面我们介绍了开放地址法,它们共同点是在数组中寻找空的数据单元进行新的数据插入,而链地址法是在每个数据单元中设置链表,当发生冲突时,直接将新的数据添加到链表中。具体实现如下图所示:
因为链地址法是基于链表的,它是不需要进行探测序列的。因为我们可以直接将元素放在对应末尾。
扩展数组
上面我们讨论了,开放地址法与链地址法。试想一种情况,当我们的数组快满时,增删查数据会变得很慢(因为要去探测空的数据单元),这个时候我们就需要对数组进行扩展,扩展的时机是什么呢?
还记得我们上文提到的装填因子(当前数组存储数据与数组容量的比例),我们不可能等到数组快满时,才进行扩展操作,因为会影响效率。所以我们一般情况下会在装填因子大于或等于0.75的情况下进行数组的扩展(装填因子太小,扩展频率太快,装填因子太大,影响数据操作效率)。
注意:
- 在Java中,数组有固定的大小,不能进行扩展。只能创建一个更大容量的数组,将原来的数组放入较大容量数组中去。
- 我们不能直接将数组的元素直接复制到新的数组中去,也就是数据不能再新数组和老数组在相同的位置上。我们需要重新将元素添加进去,根据相应的哈希函数重新去计算在新的数组中数据所在的位置。
这里肯定有很多同学要问,我为啥不能复制到相同的位置上呢?如果你还记得,数据的位置我们是通过哈希函数来计算的,也就是我们对数组长度进行取余操。假如在新数组中我们需要对某个数据进行查找的时候。因为不是不同的数组长度。那么计算的位置肯定不同。我们就会找不到它,但是它又确实在数组中存在。所以就会造成数据混乱的情况。
总结
- 哈希表是基于数组。
- 哈希表冲突产生时,我们可以通过开放地址法与链地址法。
- 哈希表的容量通常是一个质数,在开放地址法中尤为重要。
- 开放地址法分为线性探测、二次探测、在哈希化。
- 装填因子是当前数组存储数据与数组容量的比例。
参考
站在巨人的肩膀上。可以看得更远。
《Java数据结构和算法》第二版
最后
最后,附上我写的一个基于Kotlin 仿开眼的项目SimpleEyes(ps: 其实在我之前,已经有很多小朋友开始仿这款应用了,但是我觉得要做就做好。所以我的项目和其他的人应该不同,不仅仅是简单的一个应用。但是,但是。但是。重要的话说三遍。还在开发阶段,不要打我),欢迎大家follow和start.