有没有好的方法导入 5000 多个 csv 文件到 mysql 呢

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3443 days ago, the information mentioned may be changed or developed.

Supplement 1 · Jan 4, 2017

已解决，刚请教了一位。
一行代码搞定

copy *.csv sum.csv

csv

MySQL

导入

文件

8 replies • 2017-01-03 21:06:07 +08:00

isofia

Jan 3, 2017

写个脚本跑一下吧，或者 excle 有宏，直接把 5000csv 合并

miaoever

Jan 3, 2017

https://github.com/alibaba/DataX

DataX 可以实现 csv 到 mysql 的快速导入。

ArcherFeel

Jan 3, 2017

我一般是这么弄的

for i in ./*; do cat $i | tail +n 2 | tr -d '"' | awk -F ',' '{insert into xxx values....}'>>/tmp/final.sql ; done

BOYPT

Jan 3, 2017

for LOG in *.csv; do

echo "LOAD DATA LOCAL INFILE '$LOG' INTO TABLE `tbl_xxxx` FIELDS TERMINATED BY ',' (fld_xxx, fld_xxx);" | mysql -u$MYSQL_USR $MYSQL_DB;

done

guodongbin

Jan 3, 2017

试试 mysql 的 load data infile

neoblackcap

Jan 3, 2017

mysql 不是有 csv 引擎吗？不是能直接打开吗？

kxjhlele

Jan 3, 2017

@miaoever 这工具不错.

laobaozi

Jan 3, 2017

将 csv 打开为 excel
在 excel 中使用函数将列拼接成 sql