如何增量导入MYSQL数据库中的数据

mysql数据库的导入，有两种方法：

呈贡网站建设公司创新互联公司,呈贡网站设计制作，有大型网站制作公司丰富经验。已为呈贡成百上千提供企业网站建设服务。企业网站搭建\外贸营销网站建设要多少钱，请找那个售后服务好的呈贡做网站的公司定做！

1)

先导出数据库sql脚本，再导入；

2)

直接拷贝数据库目录和文件。

在不同操作系统或mysql版本情况下，直接拷贝文件的方法可能会有不兼容的情况发生。

所以一般推荐用sql脚本形式导入。下面分别介绍两种方法。

2.

方法一

sql脚本形式

操作步骤如下：

2.1.

导出sql脚本

在原数据库服务器上，可以用phpmyadmin工具，或者mysqldump命令行，导出sql脚本。

2.1.1

用phpmyadmin工具

导出选项中，选择导出“结构”和“数据”，不要添加“drop

database”和“drop

table”选项。

选中“另存为文件”选项，如果数据比较多，可以选中“gzipped”选项。

将导出的sql文件保存下来。

2.1.2

用mysqldump命令行

命令格式

mysqldump

-u用户名

-p

数据库名

数据库名.sql

范例：

mysqldump

-uroot

-p

abc

abc.sql

（导出数据库abc到abc.sql文件）

提示输入密码时，输入该数据库用户名的密码。

2.2.

创建空的数据库

通过主控界面/控制面板，创建一个数据库。假设数据库名为abc，数据库全权用户为abc_f。

2.3.

将sql脚本导入执行

同样是两种方法，一种用phpmyadmin（mysql数据库管理）工具，或者mysql命令行。

2.3.1

用phpmyadmin工具

从控制面板，选择创建的空数据库，点“管理”，进入管理工具页面。

在"sql"菜单中，浏览选择刚才导出的sql文件，点击“执行”以上载并执行。

注意：phpmyadmin对上载的文件大小有限制，php本身对上载文件大小也有限制，如果原始sql文件

比较大，可以先用gzip对它进行压缩，对于sql文件这样的文本文件，可获得1:5或更高的压缩率。

gzip使用方法：

#

gzip

xxxxx.sql

得到

xxxxx.sql.gz文件。

提示输入密码时，输入该数据库用户名的密码。

3

直接拷贝

如果数据库比较大，可以考虑用直接拷贝的方法，但不同版本和操作系统之间可能不兼容，要慎用。

3.1

准备原始文件

用tar打包为一个文件

3.2

创建空数据库

3.3

解压

在临时目录中解压，如：

cd

/tmp

tar

zxf

mydb.tar.gz

3.4

拷贝

将解压后的数据库文件拷贝到相关目录

cd

mydb/

cp

*

/var/lib/mysql/mydb/

对于freebsd:

cp

*

/var/db/mysql/mydb/

3.5

权限设置

将拷贝过去的文件的属主改为mysql:mysql，权限改为660

chown

mysql:mysql

/var/lib/mysql/mydb/*

chmod

660

/var/lib/mysql/mydb/*

打字不易，如满意，望采纳。

如何实现mysql增量更

Ø 首先，我们需要开启MySQL服务器的二进制日志功能，其实现方法有很多种，最常用的是在MySQL的配置文件的mysqld项中加入log-bin=[filepath]项；也可以使用mysqld –log-bin=[filepath]重新启动MySQL服务器。

Ø 其次，使用mysqldump对数据库进行完全备份，它可以实现对数据据的联机，非阻塞的热备份，不会影响其他进程对数据库的读写操作。（参考指令：mysqldump -uroot --password=123 --single-transaction --flush-logs --master-data=2 --all-databases --delete-master-logs d:/mysql5.0/full_%date:~0,10%_1500_PM.sql）

Ø 第三，使用flush logs指令刷新创建新的二进制日志。可以通过mysqladmin flush logs或者flush logs语句实现。最方便有效的方法是将它做成批处理文件，然后让操作系统定期执行。

Ø 使用mysql *.sql进行完全备份的恢复。

每天数据增量很大时，mysql应该怎么搞

1.优化数据结构，每张数据表字段4-5个，加上索引。还可以将不同的种类的数据存入不同的数据库。减少单个数据库的压力。 2.写入数据只是存的问题，问题在于读取数据会变慢。建议使用缓存memcache，redis在向你招收哦。

mysql数据增量同步到hive

同步业务库的数据到ODS层，之前一直是全量同步数据，主要考虑IO太大，耗时太长，重复拉取同样的数据，现在考虑增量同步的方式实现，同时对库表数据做分区。

增量同步主要分为两步，第一步，存量数据一次性同步；第二步，在存量数据的基础之上，做增量；后期的每一次同步都是增量同步。以下是具体同步方案：

用Sqoop同步表中全部数据到Hive表中；

a．根据hive中最大更新时间，用Sqoop提取更新时间为这个时间之后的增量数据；

1）获取表的所有列，把datetime和timestamp类型，统一在java中映射成TIMESTAMP类型，脚本如下：

2） 用sqoop import拉取数据，脚本如下：

1）创建增量同步的sqoop job，脚本如下：

a、从hive中获取表的最大更新时间

b、以上面获取的最大更新时间，作为起点，创建sqoop job，脚本如下：

c、创建sqoop job之后，就是执行job了，脚本如下：

具体参数详解，参考：

新闻名称：mysql数据增量怎么办,mysql增量恢复
标题来源：http://scgulin.cn/article/hedgoj.html