求助，大量数据迁移：从 MS SQL Server 导出

This topic created in 3874 days ago, the information mentioned may be changed or developed.

合作方说他们用的是 MS SQL Server ，可以很方便地给出 xx.mdf 和 xx_log.ldf 文件，再或者 ACCESS 文件也行。

我请求对方提供 .sql 或者 .sql.zip 或者 .csv 都被拒绝了啊，对方说：“其实 SQL SERVER 和 ACCESS 已经是最常用的两种格式了”。可是今天之前我确实木有见过 .mdf、.mdb 类型的文件呀…

额，我用的 mbp ， google 了一圈也木有找到合适的工具或方法来解析这些数据（给 mbp 用户丢人了…）。

其实数据量小也就算了， lz 凭借熟练的 sublime 快捷键技巧就可以搞定。但对方说量很大呀，每行 20 个字段左右，不压缩的数据量约 1T 左右。

求助各位大大，跟合作方要什么格式好，怎么解析呀？

12 replies • 2015-12-14 18:21:20 +08:00

pynix

Dec 14, 2015

mdf 是 ms 的格式，暂时无法解析吧。

pynix

Dec 14, 2015

安装 Windows 解决

rainex

Dec 14, 2015

很多年不用细节也记不清了，但大概还记得，那两种文件就是 sqlserver 的数据文件和日志记录

导入导出也很简单， windows 的控制面板里有 odbc 数据源，只要系统有那种数据库的 odbc 驱动（基本上数据库产品都有 windows 的 odbc 驱动， windows 一般自带 access 等，其它的比如 mysql 的其官网可以下载，这差不多是全世界数据库支持最多的一个数据接口标准了），然后那个界面就可以帮助你导入导出，相当于可以任意转换不同的数据库。

有些数据库有些特别的约束，那可以灵活的先取消特别的约束（建议你可以本地先装个 sqlserver ，管理器里操作，图形界面），再导出，最后自己再加上。

loading

Dec 14, 2015 via Android

装虚拟机

dong3580

Dec 14, 2015

@2owe
这么大，是倒不出来数据的。
如果不想换成 win ，倒是有个好办法，请求对方写个数据对接 api ，然后对方有个样本的数据内容给你，你这边写个程序从 api 批量或者一条条获取数据。.NET MVC 可以直接生成傻瓜式简单的增删改查代码，然后部署，只要请求方式合理，也不会有太大的性能问题。

loading

Dec 14, 2015 via Android

最好就是你过去他们机器，装上你要的数据库，然后导入~或者自己写 python 导入

2owe

Dec 14, 2015

@pynix @rainex @loading

先感谢各位的帮助，让我在黑暗中重见光明， m(_ _)m

回复关于“使用 windows 系统” 的方案：如果是使用视图界面程序的话，由于对方提供的数据文件非常大（ 1T 左右），我害怕程序会因为没有优化加载、写入而挂掉…虽然是 Windows 环境，还是倾向于命令行方式…可命令行方式的话，理论上 *nix 环境也会有解决方案才对。

也许如 @loading 所说， life is hard, why forget Python, :P （原意并不是想要挑起语言战争…）

2owe

Dec 14, 2015

@dong3580 嗯呐，和对方沟通，求对方给个数据接口。

izoabr

Dec 14, 2015

navicat 做迁移？

或者你装个 MySQL ，用 MySQL 的迁移工具从 SQL SERVER 迁移到 MySQL ，然后就随便你折腾了吧。

jarlyyn

Dec 14, 2015

navicat?

我被折腾过 sql 的.bak 格式

heaton_nobu

Dec 14, 2015

windows 虚拟机上装 sql server ，直接附加文件就可以了

bugsnail

Dec 14, 2015

对于会 ETL 的人来说, 1T 也不是很多楼主....

这样吧, 1T 的数据看你要求也不是很严格, 主要是操作麻烦一点, 建议：

使用 navicat 的 data transfer 功能, 设置好导数据的方式(最好一小部分,一小部分导)

就是要一个 mssqlserver 的数据库账号来连接读取, 而且也要看你们那的网络情况.....