Jak rozdělit obrovskou tabulku CSV Excel do samostatných souborů

Excel je vynikající při tolika každodenních úkolech. Ale občas narazíte na jeden z jeho nedostatků: velikost tabulky. Pokud potřebujete vědět, jak zmenšit tabulku aplikace Excel nebo jak rozdělit velké CSV, zakryli jsme se.

Dosažení limitu řádku tabulky je samo o sobě docela vážný úkol. Aktuální limit řádků tabulky Excel je 1 048 576. Správně - přes 1 milion řádků a stejné množství sloupců.

Při určitých úkolech je však zásah do tohoto limitu řádků neuvěřitelně snadný. Pokud prodáváte e-mailem, můžete importovat soubor CSV Jak importovat data do tabulek Excelu úhledný a snadný způsob Jak importovat data do tabulek Excelu úhledný a snadný způsob Už jste někdy bojovali s importem nebo exportem dat do tabulku? Tento tutoriál vám pomůže zvládnout umění pohybujících se dat mezi formáty Microsoft Excel, CSV, HTML a dalšími formáty souborů. obsahující miliony e-mailových adres. Jediným problémem je, jak vlastně spravujete tabulku s tolika adresami? Co když navíc někdo pošle CSV, které již překračuje limit (z jiného programu)?

Dobře, ukážu vám, jak rozložit tento obrovský CSV na snadno ovladatelné kousky.

(Nemáte po ruce velké CSV? K dispozici je několik docela velkých datových souborů CSV 15 masivních online databází, které byste měli vědět o 15 masivních online databázích, které byste měli vědět o Internetu, všechno dokumentuje. je to online encyklopedie nebo databáze - otázkou je, zda víte o těch nejlepších? více na data.gov. Budu používat seznam 260 000 řádků Porovnání nemocnic, takže můžete použít stejný soubor.)

1. Použijte program

Existuje celá řada užitečných CSV splitter programů. Ukážu vám dva z nejlepších.

CSV Chunker

CSV Chunker je open source CSV splitter. Dokáže zpracovat velké soubory a rychle je rozdělit na kousky podle vašeho výběru. Rozdělení CSV v nemocnici do 106 bloků trvalo po 3 sekundách, každý obsahoval 2 500 řádků.

Rozbočovač CSV

CSV Splitter je náš druhý nástroj. Nabízí téměř stejnou funkčnost jako CSV Chunker, i když s mírně elegantnějším designem. Rozdělení CSV Splitteru trvalo přibližně 4 sekundy, než jsme rozdělili CSV nemocnice Porovnání na 106, což opět obsahovalo 2 500 řádků.

2. Použijte dávkový soubor

Programování dávkového souboru Jak vytvořit dávkový soubor (BAT) v pěti jednoduchých krocích Jak vytvořit dávkový soubor (BAT) v pěti jednoduchých krocích Tento článek popisuje, jak vytvořit dávkový soubor pomocí pěti jednoduchých kroků pro provoz Windows Systém. . Pomocí dávkového souboru můžeme CSV zpracovat na menší kousky a soubor upravit tak, aby dodával různé kousky.

Otevřete nový textový dokument. Zkopírujte a vložte následující:

@echo off setlocal ENABLEDELAYEDEXPANSION REM Upravte tuto hodnotu a změňte název souboru, který potřebuje rozdělení. Zahrňte rozšíření. SET BFN = HCAHPSHospital.csv REM Upravte tuto hodnotu a změňte počet řádků na soubor. SET LPF = 2500 REM Tuto hodnotu upravte, chcete-li změnit název každého krátkého souboru. Poté bude následovat číslo označující, kde je v seznamu. SET SFN = HosptialSplitFile REM Neměňte za tento řádek. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A FileNum = 1 Pro / F "delims ==" %% l in (% BFN%) Do (SET / A LineNum + = 1 echo %% l >>% SFN%! FileNum!.% SFX% pokud! LineNum! EQU! LPF! (SET / A LineNum = 0 SET / A FileNum + = 1)) endlocal Pause

Před spuštěním budete muset nakonfigurovat dávkový soubor. Řeknu vám, co každý příkaz dělá, a můžete jej změnit tak, aby vyhovoval velikosti dávkového souboru a požadovanému výstupu.

• “SET BFN =” by měl ukazovat na CSV, který potřebujete rozebrat
• “SET LPF =” je počet řádků, na které chcete nový soubor omezit
• “SET SFN =” je nové schéma pojmenování vašich rozdělených souborů

Jakmile zadáte své proměnné, jděte na Soubor> Uložit jako. Vyberte název souboru a vyberte Uložit. Poté vyberte nově uložený textový soubor a stiskněte F2 přejmenovat. Vyměňte rozšíření TXT za BAT a stiskněte OK když se objeví varování. Nyní můžete rozdělit své velké CSV!

Varuji vás však, že tato metoda nějakou dobu trvá. Pravděpodobně jste lépe pomocí jednoho z výše uvedených rozbočovačů.

Původní skript a vlákno najdete zde.

3. Použijte skript PowerShell

Dávkové soubory jsou užitečné. Můžete je použít pro širokou škálu každodenních úkolů. Skripty PowerShell jsou však rychlejší, zejména pro tento typ zpracování a dělení.

Následující skript rychle rozdělí váš velký CSV na menší soubory. Pro můj příklad jsem opět použil CSV pro nemocnice. Spuštění příkazu trvalo asi 3 sekundy. Otevřete Windows PowerShell ISE. Pokud si nejste jisti, jak to provést, napište powerhell ise do vyhledávání v nabídce Start a vyberte odpovídající možnost. Když je otevřen PowerShell ISE, vyberte Zobrazit skript šipka, která se nachází v pravém horním rohu (na obrázku níže červeně).

Zkopírujte a vložte následující příkaz do panelu skriptu v horní části obrazovky.

$ i = 0; Get-Content C: \ Users \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % $ i ++; $ _ | Out-File C: \ Users \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv

Nejprve musíte změnit umístění vstupního souboru. Za druhé, musíte určit, kolik řádků by vaše výstupní soubory měly obsahovat. Nakonec zadejte umístění výstupního souboru. Nechal jsem tam své cesty k souborům, abych ilustroval situaci. Kromě toho váš výstupní název souboru musí mít “_ $ i.csv”přípona odpovídající dolu. Jinak nebudou vaše výstupní soubory správně očíslovány.

Po úpravě souboru vlastními údaji stiskněte CTRL + S uložit skript.

Původní skript najdete zde.

4. Vložte jej do datového modelu

Naše konečné řešení ve skutečnosti nerozděluje velké CSV na menší části. Vidíte, Jose Barreto, člen týmu OneDrive, nedávno přesně ilustroval, jak můžete načíst velký soubor CSV v Excelu. V tomto případě znamená velké nad limit 1 048 567 řádků. V tutoriálu vysvětluje, že namísto skutečného načtení souboru může aplikace Excel 2016 vytvořit datový odkaz na soubor CSV.

Data z původního CSV budou uživateli k dispozici v rámci datového modelu. Barreto vytvořil kontingenční tabulku pomocí “až 8,5 milionu řádků bez problémů.” Výše uvedený obrázek je převzat z blogového příspěvku Barreta (níže uvedený odkaz), který ukazuje celkem 2 miliony řádků v Excelu. (Naučte se, jak používat kontingenční tabulku pro analýzu dat Jak používat kontingenční tabulku Excel pro analýzu dat Jak použít kontingenční tabulku Excel pro analýzu dat Kontingenční tabulka je jedním z nejvýkonnějších nástrojů v repertoáru Excel 2013. často se používá pro analýzu velkých dat. Postupujte podle naší podrobné demonstrace, abyste se o tom dozvěděli vše.)

Pokud vám toto řešení vyhovuje, řiďte se podrobným tutoriálem Jose Barreto zde. Pamatujte, že to nerozděluje CSV, ale to znamená, že můžete manipulovat s daty v rámci určitých nástrojů Excel. Jak vizualizovat analýzu dat pomocí Power Tools Excel Jak vizualizovat analýzu dat pomocí Power Tools Excel Excel je zabíjí s pokročilým funkce správy dat. Jakmile použijete jeden z nových nástrojů, budete je chtít všechny. Staňte se mistrem analýzy dat pomocí elektrického nářadí! . Pokud přistupujete k datům a přímo s nimi interagujete, mohlo by to vyzkoušet.

Rozebrat to!

Uváděli jsme čtyři řešení, jak rozebrat vaše obrovské soubory CSV, včetně dvou různých nástrojů.

Ze čtyř řešení je dávkový soubor pravděpodobně nejpomalejší. Skript PowerShell je rychlý a snadno přizpůsobitelný, zatímco obě aplikace se snadno používají po vybalení. Nakonec máte možnost přímo importovat data do Excelu, a to miliony řádků.

Další triky aplikace Excel naleznete v tématu Jak oddělit křestní a příjmení v Excelu Jak oddělit křestní jméno a příjmení v Excelu Jak oddělit křestní jméno a příjmení v Excelu Práce se jmény v aplikaci Microsoft Excel? Zde je užitečný návod, který vám ukáže, jak oddělit křestní a příjmení v Excelu. .

Obrázek Kredit: lucadp / Depositphotos