JAVA代码接入Aliyun日志服务SLS

最近有业务需求，需要看到接口调用次数、用户ip、平均响应时间、状态码等参数，这里使用日志服务SLS实现，在代码中接入Aliyun的日志服务，将日志信息上传到aliyun存储，采用Java代码作为例子，最后通过SQL查出相应的数据生成图表，最终效果如下：

创建日志存储

进入到阿里云的控制台，搜索日志服务SLS，创建日志过程点几下就行，这里留意三个参数Logstore名称和项目名称、访问端点，后面编程会用到

• Logstore名称

• 项目名称

  

• 访问端点endpoint

  

发送日志

代码编写

1. 将下列依赖加入到您项目的 pom.xml 中。

   <dependency>
       <groupId>com.aliyun.openservices</groupId>
       <artifactId>aliyun-log-producer</artifactId>
       <version>0.3.10</version>
   </dependency>
   <dependency>
       <groupId>com.aliyun.openservices</groupId>
       <artifactId>aliyun-log</artifactId>
       <version>0.6.33</version>
   </dependency>
   <dependency>
       <groupId>com.google.protobuf</groupId>
       <artifactId>protobuf-java</artifactId>
       <version>2.5.0</version>
   </dependency>
   

   jar-with-dependency 版本，可以解决producer依赖的版本冲突

   <dependency>
       <groupId>com.aliyun.openservices</groupId>
       <artifactId>aliyun-log</artifactId>
       <version>0.6.35</version>
     <classifier>jar-with-dependencies</classifier>
   </dependency>
   

2. 测试代码如下，填好参数后直接运行即可发送

   public static void main(String[] args) throws InterruptedException, ProducerException {
     //基本参数
     final String project = "xxxx-cn-shanghai-logproject";
     final String logStore = "xxxx-app-api";
     final String endpoint = "cn-shanghai.log.aliyuncs.com";
     final String accessKeyId = "xxxxx";
     final String accessKeySecret = "xxxxx";
     //设置producer参数，后面有参数详细解析
     ProducerConfig producerConfig = new ProducerConfig();
     producerConfig.setBatchSizeThresholdInBytes(3 * 1024 * 1024);
     producerConfig.setBatchCountThreshold(10000);
     producerConfig.setIoThreadCount(10);
     final Producer producer = new LogProducer(producerConfig);
     producer.putProjectConfig(new ProjectConfig(project, endpoint, accessKeyId, accessKeySecret));
     LOGGER.info("Test started.");
     //构建日志
     LogItem logItem = new LogItem();
     logItem.PushBack("request_method", "post");
     logItem.PushBack("path", "/user/login");
     //发送日志
     producer.send(
             project,
             logStore,
             logItem);
     try {
       producer.close();
     } catch (ProducerException e) {
       LOGGER.error("Failed to close producer, e=", e);
     }
   }
   

查看发送结果

在Logstore可以查看到新加的日志

ProducerConfig

ProducerConfig 用于配置发送策略，您可以根据不同的业务场景为参数指定不同的值，各参数含义如下表所示。

最佳实践

生成Producer

应该单例模式使用Producer ，使用@Bean注解，在启动时注入Producer，后面从容器中取用

关闭Producer

• **服务器上的Spring应用：**在aop类中继承DisposableBean，实现destroy()方法，在该方法中执行 Producer 的close()方法

• **ServerLess上的HTTP函数：**编写接口/pre-stop，在接口中执行Producer 的close()方法

图表生成

生成图表必须先开启索引，新加的索引，不会统计之前的数据，需要的话可以进行索引重建，点击属性进行设置索引页面

使用自动生成索引可以很方便的添加索引

SQL案例

• 统计ip地区，及通过ip_to_province函数得出ip对应的省地址，用group by对地址聚合，用count函数计算出每个地址出现的次数 通过地图进行展示，鼠标悬浮可以展示，对应省的次数，图表类型–地图

* |
select
  count(1) as c,
  ip_to_province(client_ip) as address
group by
  address
limit
  100

• 访问前十的地址，通过split_part函数将request_uri按?分割成array，取分割后的第一个字符串，得出请求的路径，按这个路径group by进行聚合，用count函数计算每个路径访问的次数，用order by对次数进行排序，desc表示顺序是从大到小 通过表格进行展示，

  图表类型–表格

* |
select
  count(1) as pv,
  split_part(uri, '?', 1) as path
group by
  path
order by
  pv desc
limit
  10

• 请求状态及数量跟随时间顺序展示，通过 date_trunc 函数对日志时间按照分钟对齐，使用 date_format 函数提取出小时、分钟，将提取后的时间与访问状态码status通过group by聚合，获取每分钟每个状态码的count值， 最后使用流图展示数据，x轴为time，y轴count，聚合列是status，图表类型–流图pro

* |
select
  date_format(date_trunc('minute', __time__), '%H:%i') as time,
  COUNT(1) as c,
  status
GROUP by
  time,
  status
ORDER by
  time
LIMIT
  1000

• 接口返回错误次数统计（前十），图表类型–表格

*|SELECT code,tip,COUNT(*) as num WHERE code != 0 GROUP by code,tip ORDER by num DESC LIMIT 10

• 统计用户代理访问次数，图表类型–表格

*|SELECT user_agent,COUNT(*) as num GROUP by user_agent ORDER by num DESC LIMIT 10

• 统计所有接口平均响应时间 ，图表类型–线图pro

* |
select
  date_format(date_trunc('minute', __time__), '%H:%i') as time,
 ceiling(avg(request_time)) as avg_request_time
  WHERE  status = 200
GROUP by
  time
ORDER by
  time

相关链接

日志查询语法

发送日志包示例代码

Aliyun LOG Java Producer 快速入门

查询语法与功能