Вопрос: Лучший способ поиска строки (текста) в> 10 больших файлах CSV (по 250 Мбайт каждый)


Мне интересно, что лучший способ или инструмент для поиска определенного текста или строки в более чем 10 больших CSV-файлах. Каждый файл имеет размер 250 МБ.

Моя идея заключалась в том, чтобы написать сценарий powershell, так как я люблю самодельные вещи, с другой стороны, возможно, идеальный инструмент уже, и я только трачу свое время :)


2
2017-08-28 07:48


Источник




Ответы:


Вы можете попробовать версию Grep:

Grep - это утилита командной строки для поиска наборов данных обычного текста для строк, соответствующих регулярному выражению.

Эта ответ JdeBP содержит список версий Grep для Windows.

Я люблю и использую Cygwin набор инструментов ...


4
2017-08-28 08:18





PowerShell имеет Select-String который будет искать текстовые файлы для регулярного выражения:

Get-Item path\to\*.csv | Select-String -Pattern <string>

Вы можете использовать -SimpleMatch переключитесь на поиск строки. Отображаются все строки, соответствующие вашему шаблону поиска.

Если вы хотите сделать более продвинутую фильтрацию, вы также можете использовать Импорт-Csv для преобразования CSV-файла в объекты со свойствами для каждого столбца.


2
2017-08-28 14:45