前言

Hyperopt是Python语言中一个为算法超参数空间探索和优化的库，可以结合MongoDB可以进行分布式调参，快速找到相对较优的参数。

安装的时候需要指定dev版本才能使用模拟退火调参，也支持暴力调参、随机调参等策略。实际使用效果比较优，可以在平常小数据集测试上使用。

功能简述

Hyperopt提供了一个优化接口，这个接口接受一个评估函数和参数空间，能计算出参数空间内的一个点的损失函数值。用户还要指定空间内参数的分布情况。

Hyheropt四个重要的因素：

1. 指定需要最小化的函数；

2. 搜索的空间；

3. 采样的数据集(trails database)（可选）；

4. 搜索的算法（可选）。

首先，定义一个目标函数,接受一个变量,计算后返回一个函数的损失值，比如要最小化函数q(x,y) = x^2+y^2，指定搜索的算法，算法也就是hyperopt的fmin函数的algo参数的取值。

当前支持的算法由随机搜索(对应是hyperopt.rand.suggest)，模拟退火(对应是hyperopt.anneal.suggest)，TPE算法。

关于参数空间的设置，比如优化函数q，输入fmin(q,space=hp.uniform(“a”,0,1))。hp.uniform函数的第一个参数是标签，每个超参数在参数空间内必须具有独一无二的标签。

安装指南

1.pip 安装

2.额外安装

a.分布式调参

https://github.com/hyperopt/hyperopt/wiki/Installation-Notes

（需要安装MongoDB才能使用全部功能，详情见Reference）

b.安装hyperopt-sklearn（更好配合sklearn使用）

Api简单介绍

1.可用算法

• hyperopt.rand.suggest

• hyperopt.anneal.suggest

• hyperopt.tpe.suggest

2.探索空间

label : 选择对应的特征维度。

• hp.choice(label, options)

  return：从options随机选择的元素。options可输入一个列表或元组，供random.choice使用,e.g:hp.choice(label,range(1,10,1))

• hp.randint(label,upper)

  return：范围[0,upper]中的随机整数。upper可输入一个int

• hp.uniform(label, low, high)

  return：一个值之间均匀low和high，输出为float

• hp.quniform(label, low, high, q)

  return：round(uniform(low,high)/q)*q的值

• hp.loguniform(label, low, high)

  return：exp(uniform(low，high))绘制的值，使得返回值的对数均匀分布，当优化时，该变量被限制在[exp(low),exp(high)]

• hp.qloguniform(label, low, high, q)

• hp.normal(label, mu, sigma)

  return：正态分布的平均值和标准差σ的实数值。优化时，这是一个无约束的变量

• hp.qnormal(label, mu, sigma, q)

• hp.lognormal(label, mu, sigma)

• hp.qlognormal(label, mu, sigma, q)

一个简单的例子