Postgresql转存恢复数据经验

恢复数据是dba工作的一部分,特别是pg在做大版本升级时需要停机进行,所以希望恢复数据的时间越短越好。那如何提高数据恢复的性能呢,下面说说哪些参数有影响。   恢复数据的过程其实就是io的...

  • 0
  • 0
  • 石天
  • 发布于 2017-03-27 09:53
  • 阅读 ( 46 )

ab和siege工具对接口进行测试

  请求连接为:http://121.43.59.219:8080/ops-goods/goods?service=goods.freeGetGoodsPageFind&params={%22area_id%22:%22440030%22} 通过如下命令测试: ab -n 30000 -c 50   -v4 -p...

  • 0
  • 0
  • 石天
  • 发布于 2017-03-21 18:21
  • 阅读 ( 46 )

PostgreSQL-集群管理器-pgclusteradmin

pgclusteradmin是一款基于go开发的PostgreSQL集群管理工具,当前主要功能是实现对PostgreSQL服务进行管理,主备切换进行管理;系统支持多用户,操作认证;操作人员通过浏览器从远程登录进入管理...

  • 0
  • 0
  • 石天
  • 发布于 2017-03-16 14:08
  • 阅读 ( 51 )

vim 7.4同时支持python 2.x和3.x问题调研

如果你要在VIM中增加诸如YouCompleteMe这一类的插件的话,那么你需要VIM有Python的支持,这个是在一开始编译的选项里指定的。我一开始怀着美好的愿望,希望vim能完美支持Python2和Python 3,所...

  • 0
  • 0
  • 石天
  • 发布于 2017-03-14 17:36
  • 阅读 ( 50 )

mongoDB 3.2.7 从.wt 文件中提取数据

起因:一朋友的公司mongdb使用的3.2.7的版本,由于硬件问题,导致恢复出来的文件缺少了 _mdb_catalog.wt ,mongodb不能正常启动,报如下错误: 2017-03-08T14:31:43.390+0800 E STORAGE  [inita...

  • 0
  • 0
  • 石天
  • 发布于 2017-03-09 18:02
  • 阅读 ( 65 )

WiredTiger command line utility

WiredTiger command line utility WiredTiger includes a command line utility, wt. SYNOPSIS wt [-LRVv] [-C config] [-E secretkey ] [-h directory] command [command-specific...

  • 0
  • 0
  • 石天
  • 发布于 2017-03-07 17:53
  • 阅读 ( 48 )

Mongodb要点

要点 跟mysqld一样,一个mongod服务可以有建立多个数据库,每个数据库可以有多张表,这里的表名叫collection,每个collection可以存放多个文档(document),每个文档都以BSON(binary json)...

  • 0
  • 0
  • 石天
  • 发布于 2017-03-07 01:50
  • 阅读 ( 49 )

MongoDB 安全 checklist 及最优配置模板

最近 MongoDB “赎金事件”闹得沸沸扬扬,不少公网上裸奔的 MongoDB 中招,有兴趣的同学可以看下耗子叔写的从 MONGODB “赎金事件” 看安全问题,中招的主要原因还是因为用户的安全意识比较薄弱,部...

  • 0
  • 0
  • 石天
  • 发布于 2017-03-06 17:37
  • 阅读 ( 53 )

MongoDB 3.0 WT引擎参考配置文件

MongoDB 3.0 WT引擎参考配置文件mongodb 3.0 改变很多,从2.6版本升级到3.0要关注的细节很多,如权限等等。3.0在数据存储引擎上更换成了wiredTiger,在数据压缩方面很有效,解决大数据量问题的...

  • 0
  • 0
  • 石天
  • 发布于 2017-03-06 16:53
  • 阅读 ( 48 )

用户画像一些理论知识

谈到“用户画像”,很多伙伴都不陌生,什么用户属性、用户行为张嘴就来,但是你真的弄懂了用户画像的意义与构建方法吗?用户画像有什么用?用户画像包括哪些方面?在做用户画像的时候我们应该注意...

  • 0
  • 0
  • 石天
  • 发布于 2017-02-27 11:45
  • 阅读 ( 57 )

MySQL(InnoDB)与Kafka的文件存储实现对比

这篇文章主要围绕几个问题开展: 1.MySQL和Kafka的最小数据单元分别是什么? 2.围绕他们的最小数据单元,InnoDB和MySQL是怎样进行存储的? 3.一个数据的查询,在InnoDB和Kafka的内部是怎么定...

  • 0
  • 0
  • 石天
  • 发布于 2017-02-24 19:03
  • 阅读 ( 52 )

美团DBProxy 安装

DBProxy 是一个在360 altas基础上修改的一个mysql中间件,源码编译的时候确实有点操蛋,需要glib>2.16, Centos上面的glibc的版本都是2.13的,所以要更新glibc,glibc偏偏又是linux操作系统的...

  • 0
  • 0
  • 石天
  • 发布于 2017-02-17 23:05
  • 阅读 ( 61 )

安装使用innodb .ibd文件分析工具

这里的分析工具为innodb_space 使用ruby编写。ruby版本>1,9.3 linux使用的是centos 6.5 所以,我们先安装指定的版本的ruby,关于如何快速安装不同按本的ruby,我这里使用rvm安装。 Step 1:...

  • 0
  • 0
  • 石天
  • 发布于 2017-02-08 16:59
  • 阅读 ( 72 )

美团mysql闪回工具

DBA或开发人员,有时会误删或者误更新数据,如果是线上环境并且影响较大,就需要能快速回滚。传统恢复方法是利用备份重搭实例,再应用去除错误sql后的binlog来恢复数据。此法费时费力,甚至需要...

  • 0
  • 0
  • 石天
  • 发布于 2017-01-16 18:42
  • 阅读 ( 497 )

理解B+树算法和Innodb索引

一、innodb存储引擎索引概述: innodb存储引擎支持两种常见的索引:B+树索引和哈希索引。 innodb支持哈希索引是自适应的,innodb会根据表的使用情况自动生成哈希索引。 B+树索引就是传统意义...

  • 0
  • 0
  • 石天
  • 发布于 2017-01-14 00:47
  • 阅读 ( 64 )

MySQL单列索引和组合索引的区别介绍

MySQL单列索引是我们使用MySQL数据库中经常会见到的,MySQL单列索引和组合索引的区别可能有很多人还不是十分的了解,下面就为您分析两者的主要区别,供您参考学习。   为了形象地对比两者,...

  • 0
  • 0
  • 石天
  • 发布于 2017-01-14 00:29
  • 阅读 ( 52 )

B+Tree index structures in InnoDB

B+Tree index structures in InnoDB [This post refers to innodb_ruby version 0.8.8 as of February 3, 2014.]In On learning InnoDB: A journey to the core, I introduced the innodb_diag...

  • 0
  • 0
  • 石天
  • 发布于 2017-01-13 23:59
  • 阅读 ( 61 )

InnoDB Data Recovery

Quick review of InnoDB internals (B+Tree)●Basics on InnoDB data recovery●Data Recovery toolkit overview●InnoDB Data Dictionary●Recovering table with innodb_file_per_table=OFF●Recov...

  • 0
  • 0
  • 石天
  • 发布于 2017-01-13 01:49
  • 阅读 ( 319 )

Recover Table Structure From InnoDB Dictionary

When a table gets dropped MySQL removes respective .frm file. This post explain how to recover table structure if the table was dropped. You need the table structure to recover a...

  • 0
  • 0
  • 石天
  • 发布于 2017-01-13 01:42
  • 阅读 ( 54 )

InnoDB dictionary(undrop-for-innodb 使用的原理)

Why Does InnoDB Need Dictionary InnoDB dictionary is a set of internal tables InnoDB uses to maintain various information about user tables. It serves as API between a human and t...

  • 0
  • 0
  • 石天
  • 发布于 2017-01-13 00:56
  • 阅读 ( 61 )