如何提高效率SQLite大數(shù)據(jù)量操作效率

今天有個(gè)朋友測試 SQLite，然后得出的結(jié)論是：SQLite 效率太低，批量插入1000條記錄，居然耗時(shí) 2 分鐘！

using System.Data;
using System.Data.Common;
using System.Data.SQLite;

// 創(chuàng)建數(shù)據(jù)庫文件
File.Delete("test1.db3");
SQLiteConnection.CreateFile("test1.db3");-
 

DbProviderFactory factory = SQLiteFactory.Instance;
using (DbConnection conn = factory.CreateConnection())
{
  // 連接數(shù)據(jù)庫
  conn.ConnectionString = "Data Source=test1.db3";
  conn.Open();

  // 創(chuàng)建數(shù)據(jù)表
  string sql = "create table [test1] ([id] INTEGER PRIMARY KEY, [s] TEXT COLLATE NOCASE)";
  DbCommand cmd = conn.CreateCommand();
  cmd.Connection = conn;
  cmd.CommandText = sql;
  cmd.ExecuteNonQuery();

  // 添加參數(shù)
  cmd.Parameters.Add(cmd.CreateParameter());
 
  // 開始計(jì)時(shí)
  Stopwatch watch = new Stopwatch();
  watch.Start();
 
  // 連續(xù)插入1000條記錄
  for (int i = 0; i < 1000; i++)
  {
    cmd.CommandText = "insert into [test1] ([s]) values (?)";
    cmd.Parameters[0].Value = i.ToString();

    cmd.ExecuteNonQuery();
  }

  // 停止計(jì)時(shí)
  watch.Stop();
  Console.WriteLine(watch.Elapsed);
}哎~~~~ 一個(gè)常識(shí)性的錯(cuò)誤，我加幾行代碼 (新增代碼標(biāo)記 "// <-------------------")。

using System.Data;
using System.Data.Common;
using System.Data.SQLite;

// 創(chuàng)建數(shù)據(jù)庫文件
File.Delete("test1.db3");
SQLiteConnection.CreateFile("test1.db3");

DbProviderFactory factory = SQLiteFactory.Instance;
using (DbConnection conn = factory.CreateConnection())
{
  // 連接數(shù)據(jù)庫
  conn.ConnectionString = "Data Source=test1.db3";
  conn.Open();

  // 創(chuàng)建數(shù)據(jù)表
  string sql = "create table [test1] ([id] INTEGER PRIMARY KEY, [s] TEXT COLLATE NOCASE)";
  DbCommand cmd = conn.CreateCommand();
  cmd.Connection = conn;
  cmd.CommandText = sql;
  cmd.ExecuteNonQuery();

  // 添加參數(shù)
  cmd.Parameters.Add(cmd.CreateParameter());
 
  // 開始計(jì)時(shí)
  Stopwatch watch = new Stopwatch();
  watch.Start();
 
  DbTransaction trans = conn.BeginTransaction(); // <-------------------
  try
  {
    // 連續(xù)插入1000條記錄
    for (int i = 0; i < 1000; i++)
    {
      cmd.CommandText = "insert into [test1] ([s]) values (?)";
      cmd.Parameters[0].Value = i.ToString();

      cmd.ExecuteNonQuery();
    }

    trans.Commit(); // <-------------------
  }
  catch
  {
    trans.Rollback(); // <-------------------
    throw; // <-------------------
  }

  // 停止計(jì)時(shí)
  watch.Stop();
  Console.WriteLine(watch.Elapsed);
}執(zhí)行一下，耗時(shí) 0.2 秒。這差距是不是太大了點(diǎn)？ 

為什么只是簡單啟用了一個(gè)事務(wù)會(huì)有這么大的差距呢？很簡單，SQLite 缺省為每個(gè)操作啟動(dòng)一個(gè)事務(wù)，那么原代碼 1000 次插入起碼開啟了 1000 個(gè)事務(wù)，"事務(wù)開啟 + SQL 執(zhí)行 + 事務(wù)關(guān)閉" 自然耗費(fèi)了大量的時(shí)間，這也是后面顯示啟動(dòng)事務(wù)后為什么如此快的原因。其實(shí)這是數(shù)據(jù)庫操作的基本常識(shí)，大家要緊記，不好的代碼效率差的不是一點(diǎn)半點(diǎn)。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]