站长资源数据库
异步redis队列实现 数据入库的方法
简介业务需求app客户端向服务端接口发送来json 数据 每天 发一次 清空缓存后会再次发送出问题之前业务逻辑：php 接口 首先将 json 转为数组 去重 在一张大表中插入不存在的数据该用户已经存在 和新增的id入另一种详情表问题所在：当用户因特殊情况清除缓存 导致app 发送json
业务需求
app客户端向服务端接口发送来json 数据 每天 发一次 清空缓存后会再次发送
出问题之前业务逻辑：
php 接口 首先将 json 转为数组 去重 在一张大表中插入不存在的数据
该用户已经存在 和新增的id
入另一种详情表
问题所在：
当用户因特殊情况清除缓存 导致app 发送json串 入库并发高 导致CPU 暴增到88% 并且居高不下
优化思路：
1、异步队列处理
2、redis 过滤（就是只处理当天第一次请求）
3、redis 辅助存储app名称（验证过后批量插入数据app名称表中）
4、拼接插入的以及新增的如详细表中
解决办法：
1、接口修改 redis 过滤 + 如list队列 并将结果存入redis中
首先 redis将之前的历史数据放在redis 哈希里面 中文为键名 id 为键值
<"appName", '<>', ' ')->lists('id', 'appName');
// $str = '';
// foreach ($app_name as $key => $val) {
// $str.= "{$val} {$key} ";
// }
// $redis->hmset('app_name', $app_name);
// echo $str;exit;
$result = $request->input('res');
$list = json_decode($result, true);
if (empty ($list) || !is_array($list)) {
return json_encode(['result' => 'ERROR', 'msg' => 'parameter error']);
}
$data['uid'] = isset($list['uid']) "htmlcode">
<"appName", '<>', ' ')->lists('id', 'appName');
// $redis->hmset('app_name', $app_name);
// exit;
while(1) {
$redis = Redis::connection('web_active');
//队列名称
$res = $redis->lpop('log_app_list');
//开关按钮
$lock = $redis->get('log_app_lock');
if (!empty($res)) {
list($date,$uid) = explode(':',$res);
$result = $redis->hget('log_app:'.$date, $uid);
if (!empty($result)) {
$table_name = 'app_total'.date('Ym');
$list = json_decode($result, true);
$data['uid'] = isset($list['uid']) "INSERT IGNORE INTO app_set_name (id,appName) values";
foreach ($new_app as $key => $val) {
$str.= "(".$val.",'".$key."'),";
}
$str = trim($str, ',');
//$mysql_res = DB::connection('phpLog')->table('app_set_name')->insert($mysql_new_app);
$mysql_res = DB::connection('phpLog')->statement($str);
if ($mysql_res) {
// 设置redis 指针
$redis->set('app_name_total', $total);
// redis 数据入库
$redis->hmset('app_name', $new_app);
}
}
// 详情数据入库
$data['appList'] = implode(',', $app_res);
//app统计入库
DB::connection('phpLog')->statement("INSERT IGNORE INTO ".$table_name." (uid,sex,device,`time`,appList)
values('".$data['uid']."',".$data['sex'].",'".$data['device']."','".$data['time']."','".$data['appList']."')");
//log 记录 当文件达到123MB的时候产生内存保错 所有这个地方可是利用日志切割 或者 不写入 日志
Storage::disk('local')->append(DIRECTORY_SEPARATOR.'total'.DIRECTORY_SEPARATOR.'loaAppTotal.txt', date('Y-m-d H:i:s').' success '.$result."\n");
} else {
Storage::disk('local')->append(DIRECTORY_SEPARATOR.'total'.DIRECTORY_SEPARATOR.'loaAppTotal.txt', date('Y-m-d H:i:s').' error '.$result."\n");
}
}
//执行间隔
sleep(1);
//结束按钮
if ($lock == 2) {
exit;
}
//内存检测
if(memory_get_usage()>1000*1024*1024){
exit('内存溢出');//大于100M内存退出程序，防止内存泄漏被系统杀死导致任务终端
}
}
}
}
3、执定 定时任务监控脚本执行情况
crontab -e
/2 * * * * /bin/bash /usr/local/nginx/html/test.sh 1/usr/local/nginx/html/log.log 2>&1
test.sh 内容 （查看执行命令返回的进程id 如果没有就执行命令开启）
#!/bin/bash
alive=`ps -ef | grep AppTotal | grep -v grep | awk '{print $2}'`
if [ ! $alive ]
then
/usr/local/php/bin/php /var/ms/artisan AppTotal:run > /dev/null &
fi
记得授权哦 chmod +x test.sh
笔者用的laravel 框架 将命令激活丢入后台
执行命令
/usr/local/php/bin/php /var/ms/artisan AppTotal:run > /dev/null &
完事直接 ctrl -c 结束就行 命令以在后台运行 可以用shell 中的命令查看进程id
这样就实现队列异步入库
还有很多问题需要优化！！大致功能已经实现！！！！！！
优化完成后cpu
以上这篇异步redis队列实现 数据入库的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。