如何在CentOS 7 Skyline检测异常

介绍

阈值触发器

Skyline组件

Horizon代理

分析器代理

Webapp

Redis数据库

先决条件

• 部署CentOS 7 Droplet。
• 通过遵循添加Sudo用户初始服务器设置教程。本教程中的所有命令都应以此非root用户身份运行。
• 添加交换空间到你的服务器。 4 GB是好的。
• 安装Graphite并按照中的说明collectd 如何保持有效的历史日志Graphite， Carbon，并在CentOS collectd 7教程。

第1步 - 安装Skyline和Redis

sudo yum install httpd gcc gcc-c++ git pycairo mod_wsgi python-pip python-devel blas-devel lapack-devel libffi-devel

cd /opt
sudo git clone https://github.com/etsy/skyline.git

cd /opt/skyline
sudo pip install -U six
sudo pip install -r requirements.txt

sudo pip install numpy
sudo pip install scipy
sudo pip install pandas
sudo pip install patsy
sudo pip install statsmodels
sudo pip install msgpack-python

sudo cp /opt/skyline/src/settings.py.example /opt/skyline/src/settings.py

sudo mkdir /var/log/skyline
sudo mkdir /var/run/skyline
sudo mkdir /var/log/redis
sudo mkdir /var/dump/

sudo yum install redis

cd /opt/skyline/bin
sudo redis-server redis.conf
sudo ./horizon.d start
sudo ./analyzer.d start
sudo ./webapp.d start

python /opt/skyline/utils/seed_data.py

Loading data over UDP via Horizon...                                           
Connecting to Redis...                                                         
Congratulations! The data made it in. The Horizon pipeline seems to be working.

第2步 - 将数据导入Skyline

从Graphite获取数据

sudo cp /opt/graphite/conf/relay-rules.conf.example /opt/graphite/conf/relay-rules.conf

sudo vi /opt/graphite/conf/relay-rules.conf

[default]
default = true
destinations = 127.0.0.1:2004, YOUR_SKYLINE_HOST:2024

sudo vi /opt/graphite/conf/carbon.conf

[relay]
...
DESTINATIONS = 127.0.0.1:2004, YOUR_SKYLINE_HOST:2024
...

sudo systemctl start carbon-relay

允许Skyline访问Graphite-Web

sudo vi /etc/httpd/conf.d/graphite.conf

<Location "/"> 
  AuthType Basic
  AuthName "Private Area" 
  AuthUserFile /opt/graphite/secure/.passwd
  Require user sammy
    Order Deny,Allow
    Deny from all
    Allow from localhost
    Satisfy Any
</Location>

sudo systemctl restart httpd

从Collectd获取数据

sudo vi /etc/collectd.conf

<Plugin write_graphite>
    . . .       
    Port "2013"
    . . .

sudo systemctl restart collectd.service

1. Carbon继电器监听端口2013年明文格式输入数据
2. Carbon中继发送数据格式咸菜
3. Carbon缓存侦听端口2004年 pickle格式输入数据
4. Horizon代理监听端口2024 pickle格式输入数据

第3步 - 设置Skyline

sudo vi /opt/skyline/src/settings.py

• GRAPHITE_HOST = ' YOUR_GRAPHITE_HOST '
• HORIZON_IP = ' 0.0.0.0 '
• WEBAPP_IP = ' YOUR_SKYLINE_HOST_IP '

• FULL_DURATION -这个选项指定的用于该数据将被存储在Redis的和分析的最大时间长度。 较长的持续时间需要较长的分析时间，但它们可以帮助降低噪声并提供更准确的异常检测。 默认值是86400秒。
• CARBON_PORT -此选项指定的 Carbon端口。 默认值是2003 。
• ANALYZER_PROCESSES -此选项指定的Skyline分析仪将产生的进程数。 建议将此参数设置为小于主机上的CPU总数。 默认值为5 。
• WORKER_PROCESSES -此选项指定的工作进程将从Horizon队列消耗的数量。 默认值为2 。
• PICKLE_PORT -此选项指定监听Graphite的pickle的TCP端口。 默认值是2024 。
• UDP_PORT -此选项指定监听MessagePack编码数据包的UDP端口。 默认值是2025 。
• WEBAPP_PORT -此选项指定的端口SkylineWeb应用程序。 默认值是1500 。

sudo /opt/skyline/bin/horizon.d restart
sudo /opt/skyline/bin/analyzer.d restart
sudo /opt/skyline/bin/webapp.d restart

第4步 - 启用电子邮件警报

sudo vi /opt/skyline/src/settings.py

ENABLE_ALERTS = True

ALERTS = (
    (^)("collectd", "smtp", 1800)(^),
)

SMTP_OPTS = {
    "sender": "(^)skyline-alerts@example.com(^)",
    "recipients": {
        "collectd": ["(^)administrator@example.com(^)"],
    },
}

sudo /opt/skyline/bin/analyzer.d restart

第5步 - 测试Skyline

dd if=/dev/zero of=/dev/null

第6步 - 调整算法（可选）

• 平均绝对偏差
• 格鲁布斯测试
• 第一小时平均
• 与平均值的标准偏差
• 与移动平均值的标准偏差
• 最小二乘
• 直方图箱
• Kolmogorov-Smirnov试验

sudo vi /opt/skyline/src/analyzer/algorithms.py

def median_absolute_deviation(timeseries):
    """
    A timeseries is anomalous if the deviation of its latest datapoint with
    respect to the median is X times larger than the median of deviations.
    """

    series = pandas.Series([x[1] for x in timeseries])
    median = series.median()
    demedianed = np.abs(series - median)
    median_deviation = demedianed.median()

    # The test statistic is infinite when the median is zero,
    # so it becomes super sensitive. We play it safe and skip when this happens.
    if median_deviation == 0:
        return False

    test_statistic = demedianed.iget(-1) / median_deviation

    # Completely arbitary...triggers if the median deviation is
    # 6 times bigger than the median
    if test_statistic > 6:
        return True                                                       

ALGORITHMS = [
    'first_hour_average',
    'mean_subtraction_cumulation',
     'stddev_from_average',
     'stddev_from_moving_average',
     'least_squares',
     'grubbs',
     'histogram_bins', 
     'median_absolute_deviation',
     'ks_test',
]

CONSENSUS = 6

结论

• 高速分析大量数据
• 无需为每个指标设置单独的参数
• 能够添加自己的算法用于异常检测

• 通过需要大量计算系统资源的若干算法来分析每个度量的数据。
• 所有数据存储在RAM中，这使系统能够非常快速地操作。有了大量的指标和长时间的分析，你将需要大量的RAM。