วิธีแยกไฟล์ CSV ขนาดใหญ่เป็นไฟล์ขนาดเล็กใน Windows 11/10

Microsoft Excel เป็นโปรแกรมสเปรดชีตและเป็นเครื่องมือที่ยอดเยี่ยมสำหรับการวิเคราะห์ข้อมูล การค้นหาข้อมูล สร้างแผนภูมิ และนำเสนอต่อผู้มีอำนาจตัดสินใจ Excel ทำงานอย่างมีประสิทธิภาพในทุกระดับ ตั้งแต่เครื่องคิดเลขธรรมดาไปจนถึงการคำนวณทางเทคนิคส่วนใหญ่ แต่ในบางครั้ง คุณพบปัญหาเกี่ยวกับขนาดสเปรดชีตเมื่อต้องจัดการกับข้อมูลขนาดใหญ่ ในบทความนี้ ให้เราเรียนรู้วิธีแยกไฟล์ CSV ขนาดใหญ่ออกเป็นไฟล์ขนาดเล็กหลายๆ ไฟล์

เหตุใดจึงแยกสเปรดชีต Excel ขนาดใหญ่

สเปรดชีต Excel จะเปิดเฉพาะข้อมูล 1,048,576 แถวและ 16,384 คอลัมน์แรกเท่านั้น ในบางครั้ง คุณพบไฟล์ .csv ที่มีข้อมูลมากกว่านั้นมาก

สมมติว่าคุณจำเป็นต้องจัดเก็บข้อมูลของผู้ป่วยในโรงพยาบาล คุณจะต้องนำเข้าไฟล์ CSV ที่มีบันทึกจำนวนมาก กล่าวคือมีมากกว่าหนึ่งล้านรายการ แต่คำถามคือคุณจะนำเข้าและจัดการสเปรดชีตที่มีระเบียนมากกว่าล้านรายการได้อย่างไร

วิธีแก้ปัญหาคือแบ่งไฟล์ CSV ขนาดใหญ่ของผู้ป่วยมากกว่าหนึ่งล้านคนออกเป็นไฟล์หลายๆ ไฟล์ที่มีขนาดเล็กลง เพื่อให้ Excel ใช้งานได้ง่าย

จะเกิดอะไรขึ้นเมื่อคุณเปิดไฟล์ CSV ขนาดใหญ่ใน Excel

Excel จะพบว่าเปิดยาก ไฟล์ขนาดใหญ่จะใช้เวลาสองสามนาทีในการเปิด และคุณจะเห็นเฉพาะข้อมูลที่อยู่ในแถวบนสุด 1048576 หลังจากนั้น คุณจะได้รับข้อผิดพลาดว่า “ไฟล์ไม่โหลดอย่างสมบูรณ์“. คุณสามารถทำงานในแถวที่แสดงเท่านั้น สิ่งนี้ไม่ช่วยเมื่อคุณต้องการวิเคราะห์และศึกษาข้อมูลทั้งหมด ดังนั้นจึงควรแยกไฟล์

ในบทความนี้ ฉันใช้สเปรดชีต CSV Excel แบบสุ่มสองชุดเพื่ออธิบายวิธีแยกไฟล์ CSV ขนาดใหญ่เป็นไฟล์ที่เล็กกว่า

วิธีแยกไฟล์ CSV ขนาดใหญ่

1. ใช้โปรแกรมเพื่อแยกไฟล์ CSV

เราสามารถใช้โปรแกรม CSV Splitter เพื่อแยกไฟล์ CSV ขนาดใหญ่ได้ ตัวแยกสัญญาณเหล่านี้ใช้กันอย่างแพร่หลายทั้งๆ ที่หน่วยความจำมีปัญหา ใช้โปรแกรมใดโปรแกรมหนึ่งที่กล่าวถึงด้านล่างเพื่อแยกไฟล์ สามารถดาวน์โหลดได้ฟรีบนอินเทอร์เน็ต

1. ตัวแยก CSV ขนาดใหญ่

นี่คือตัวแยก CSV ที่ตรงไปตรงมาและใช้งานง่าย มาดูกันว่าเราสามารถแบ่งไฟล์โดยใช้ด้านล่างนี้ได้อย่างไร

2. เมื่อแยกเสร็จจะได้ไฟล์ที่แยกออกมาหลายไฟล์ดังภาพ

2. ตัวแยก CSV

สิ่งนี้ยังทำหน้าที่เดียวกันกับตัวแยกด้านบน เรามาดูวิธีการแยกไฟล์ในโปรแกรมนี้กัน

1. เปิดตัวแยก CSV และป้อนไฟล์ CSV ที่คุณต้องการแยก ใส่จำนวน แถว และสุดท้ายคลิกที่ ดำเนินการ.

2. หลังจากแยกเสร็จแล้ว ไฟล์จะถูกบันทึกในตำแหน่งที่มีไฟล์ CSV ดั้งเดิมของคุณอยู่

มีตัวแยก CSV อื่นๆ อีกมากมายในตลาด ตัวอย่างหนึ่งคือ BitRecover CSV Splitter. คุณสามารถใช้ได้หากต้องการ แต่คุณต้องจ่ายเงินเพื่อรับเวอร์ชันเต็ม

2. แหล่งออนไลน์แยก CSV

คุณยังสามารถแยกไฟล์ CSV ออกเป็นไฟล์ขนาดเล็กได้โดยใช้แหล่งข้อมูลออนไลน์ที่เรียกว่า Split CSV

1. เปิด Split CSV ในเบราว์เซอร์ของคุณ

2. อัปโหลดไฟล์ที่คุณต้องการแยก

3. พูดถึงจำนวนบรรทัดที่คุณต้องการให้ไฟล์มี

4. ทำตามขั้นตอนบนหน้าจอและสุดท้ายคลิกที่ แยก.

บันทึก: Split CSV มีตัวเลือกพรีเมียมบางอย่างเช่นกัน หากต้องการใช้ตัวเลือกเหล่านี้ คุณจะต้องชำระค่าสมัครบางส่วน

3. ใช้แบตช์ไฟล์

เรายังสามารถใช้แบตช์ไฟล์เพื่อแยกไฟล์ CSV ขนาดใหญ่ออกเป็นหลายไฟล์ ให้เราดูวิธีสร้างไฟล์แบตช์แล้วปรับแต่งให้เหมาะกับคนขัดสน

1. เปิดไฟล์ข้อความ (Notepad) เขียนรหัสชุดงานเพื่อแยกไฟล์ CSV (คัดลอกรหัสที่ให้ไว้ด้านล่าง)

2. ตอนนี้ไปที่ ไฟล์ > บันทึกเป็น > batch.bat ไฟล์ >บันทึก

3. ตอนนี้ ไฟล์ได้รับการบันทึกบนเดสก์ท็อปดังที่แสดงด้านล่าง ดับเบิลคลิก ในไฟล์ที่จะเรียกใช้ในพรอมต์คำสั่ง

บันทึก: หากคุณต้องการแก้ไขโค้ด คลิกขวา บนไอคอนแบตช์และคลิกที่ แก้ไข.

4. เมื่อโปรแกรมแบตช์ประมวลผลโค้ด ไฟล์ CSV ขนาดใหญ่จะถูกแบ่งออกเป็นไฟล์ขนาดเล็กหลายไฟล์ตามข้อมูลที่คุณป้อน

5. ตอนนี้ ให้เราดูโค้ดและการเปลี่ยนแปลงใดที่คุณต้องทำ เพื่อให้คุณสามารถแยกไฟล์ CSV เฉพาะของคุณได้

คุณจะต้องเปลี่ยนค่าด้านล่างเพื่อให้โค้ดทำงานแทนคุณ

SET BFN = นี่ควรชี้ไปที่ไฟล์ CSV ที่ต้องการแยก เพียงแทนที่ด้วยเส้นทางไฟล์ CSV ของคุณเอง

SET LPF = นี่คือจำนวนแถวที่คุณต้องการเปิดในไฟล์ใหม่ของคุณ

SET SFN = นี่คือชื่อใหม่ที่คุณตั้งให้กับไฟล์แยกของคุณ

หลังจากเปลี่ยนค่าเหล่านี้แล้ว โปรดบันทึกรหัสของคุณเป็น a .ค้างคาว ด้วยชื่อใหม่และทำตามขั้นตอนด้านบนเพื่อแยกไฟล์ CSV

4. ใช้ Powershell

การเข้ารหัส Powershell ทำได้ง่ายกว่าและเร็วกว่าเมื่อเปรียบเทียบกับการประมวลผลไฟล์แบตช์ ดังนั้นเราจึงสามารถใช้ Powershell สำหรับการประมวลผลนี้ได้ ก่อนเข้าสู่กระบวนการ โปรดคัดลอกโค้ดที่ระบุด้านล่างลงในแผ่นจดบันทึก

1. กด ”วินโดวส์+เอ็กซ์” เพื่อเปิด Powershell ในฐานะผู้ดูแลระบบ

2. แก้ไขโค้ดที่คัดลอกในแผ่นจดบันทึกตามข้อกำหนดของไฟล์ CSV สิ่งที่ต้องแก้ไขคือ

• $InputFilename = รับเนื้อหา 'C:\file\location' :- กรอกข้อมูล ที่ตั้ง ของไฟล์ CSV ของคุณในระบบ ไฟล์ของฉันอยู่ที่ “C:\Users\msdsh_000\Downloads\ Sample-Spreadsheet-500000-rows”

• $OutputFilenamePattern = 'output_done_' :- คุณสามารถเปลี่ยน ผลผลิต ชื่อไฟล์ของคุณในบรรทัดนี้ ชื่อไฟล์เอาท์พุตของฉันเปลี่ยนเป็น ” ตัวอย่างผลลัพธ์”
• $LineLimit = 50000:- คุณสามารถจำกัดจำนวนบรรทัดได้ที่นี่ ผมจำกัดไว้ที่ 10000

หลังจากทำการเปลี่ยนแปลงแล้ว ให้คัดลอกโค้ดทั้งหมดแล้ววางลงในหน้าต่าง Powershell

3. รหัสถูกเรียกใช้ในหน้าต่าง Powershell และผลลัพธ์จะถูกบันทึกเป็น .csv ไฟล์.

5. ใช้ Power Pivot

1. เปิดสเปรดชีต Excel เปล่า ไปที่ ข้อมูล > แบบสอบถามใหม่ > จากไฟล์ > จาก CSV

2. หน้าต่างปรากฏขึ้นเพื่อขอให้คุณนำเข้าไฟล์ CSV

3. แสดงตัวอย่างไฟล์ ตอนนี้คลิกที่ โหลด > โหลดไปที่

4. ตรวจสอบให้แน่ใจว่าคุณทำเครื่องหมายที่ช่องกับ ” เพิ่มข้อมูลนี้ลงในตัวแบบข้อมูล” และคลิกที่ปุ่มตัวเลือก ” สร้างการเชื่อมต่อเท่านั้น”. สุดท้ายคลิก โหลด.

บันทึก: ขั้นตอนนี้บอกว่าเราไม่ได้โหลดข้อมูลไปยังแผ่นงาน Excel

6. ไฟล์ขนาดใหญ่ทั้งหมดถูกโหลด ตอนนี้คลิกที่ จัดการข้อมูล

7. ตาราง Power Pivot จะปรากฏขึ้นบนหน้าจอ ซึ่งคุณสามารถเพิ่มและเปลี่ยนคอลัมน์ได้ตามต้องการ

วิธีการนี้ไม่แบ่งไฟล์ CSV ออกเป็นไฟล์ขนาดเล็ก คุณสามารถจัดการ CSV ใน Excel ได้ ซึ่งมีประโยชน์มาก

นั่นคือทั้งหมด

หวังว่าบทความนี้จะเป็นประโยชน์และให้ข้อมูล

แสดงความคิดเห็นและแจ้งให้เราทราบว่าคุณใช้วิธีใด