У меня есть CSV-файл (24.1 МБ)](http://www.filedropper.com/citations), что я не могу полностью прочитать в моей сессии Р. Когда я открываю файл в программе электронных таблиц, я вижу 112,544 строк. Когда я читал его в р с `читать.КШМ я получаю только 56,952 строк и это предупреждение:
cit <- read.csv("citations.CSV", row.names = NULL,
comment.char = "", header = TRUE,
stringsAsFactors = FALSE,
colClasses= "character", encoding= "utf-8")
Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
EOF within quoted string
Я могу прочитать файл в R readLines
:
rl <- readLines(file("citations.CSV", encoding = "utf-8"))
length(rl)
[1] 112545
Но я могу'т получить это обратно в R в виде таблицы (с помощью чтения.формат CSV`):
write.table(rl, "rl.txt", quote = FALSE, row.names = FALSE)
rl_in <- read.csv("rl.txt", skip = 1, row.names = NULL)
Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
EOF within quoted string
Как можно решить или обойти эту сообщение ВФ (который, кажется, больше ошибки не предупреждения), чтобы получить весь файл в мой Р
сессии?
У меня похожие проблемы с другими методами чтения CSV-файлов:
require(sqldf)
cit_sql <- read.csv.sql("citations.CSV", sql = "select * from file")
require(data.table)
cit_dt <- fread("citations.CSV")
require(ff)
cit_ff <- read.csv.ffdf(file="citations.CSV")
Здесь's мой sessionInfo()
R version 3.0.1 (2013-05-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)
locale:
[1] LC_COLLATE=English_United States.1252 LC_CTYPE=English_United States.1252
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C
[5] LC_TIME=English_United States.1252
attached base packages:
[1] tools tcltk stats graphics grDevices utils datasets methods base
other attached packages:
[1] ff_2.2-11 bit_1.1-10 data.table_1.8.8 sqldf_0.4-6.4
[5] RSQLite.extfuns_0.0.1 RSQLite_0.11.4 chron_2.3-43 gsubfn_0.6-5
[9] proto_0.3-10 DBI_0.2-7
Вам нужно отключить цитирование.
cit <- read.csv("citations.CSV", quote = "",
row.names = NULL,
stringsAsFactors = FALSE)
str(cit)
## 'data.frame': 112543 obs. of 13 variables:
## $ row.names : chr "10.2307/675394" "10.2307/30007362" "10.2307/4254931" "10.2307/20537934" ...
## $ id : chr "10.2307/675394\t" "10.2307/30007362\t" "10.2307/4254931\t" "10.2307/20537934\t" ...
## $ doi : chr "Archaeological Inference and Inductive Confirmation\t" "Sound and Sense in Cath Almaine\t" "Oak Galls Preserved by the Eruption of Mount Vesuvius in A.D. 79_ and Their Probable Use\t" "The Arts Four Thousand Years Ago\t" ...
## $ title : chr "Bruce D. Smith\t" "Tomás Ó Cathasaigh\t" "Hiram G. Larew\t" "\t" ...
## $ author : chr "American Anthropologist\t" "Ériu\t" "Economic Botany\t" "The Illustrated Magazine of Art\t" ...
## $ journaltitle : chr "79\t" "54\t" "41\t" "1\t" ...
## $ volume : chr "3\t" "\t" "1\t" "3\t" ...
## $ issue : chr "1977-09-01T00:00:00Z\t" "2004-01-01T00:00:00Z\t" "1987-01-01T00:00:00Z\t" "1853-01-01T00:00:00Z\t" ...
## $ pubdate : chr "pp. 598-617\t" "pp. 41-47\t" "pp. 33-40\t" "pp. 171-172\t" ...
## $ pagerange : chr "American Anthropological Association\tWiley\t" "Royal Irish Academy\t" "New York Botanical Garden Press\tSpringer\t" "\t" ...
## $ publisher : chr "fla\t" "fla\t" "fla\t" "fla\t" ...
## $ type : logi NA NA NA NA NA NA ...
## $ reviewed.work: logi NA NA NA NA NA NA ...
Я думаю, что из-за такой линии (чек на "шип" и "минус" - а)
readLines("citations.CSV")[82]
[1] "10.2307/3642839,10.2307/3642839\t,\"Thorn\" and \"Minus\" in Hieroglyphic Luvian Orthography\t,H. Craig Melchert\t,Anatolian Studies\t,38\t,\t,1988-01-01T00:00:00Z\t,pp. 29-42\t,British Institute at Ankara\t,fla\t,\t,"
Я'm новый-иш пользователя R и думал, что я'd на этот пост, в случае, если это помогает кому-то еще. Я пытаюсь прочитать данные из текстового файла (через запятую), который включал несколько испанских символов и он взял меня навсегда, чтобы выяснить это. Я знал, что мне нужно использовать кодировку UTF-8, набор заголовка параметр в true, и что мне нужно установить arguemnt сентября, чтобы ",", но потом я все-таки получил зависание. После прочтения этого поста я попытался установить заливку параметр в true, но тогда получится такой же "по-ВФ в кавычках" и что мне удалось исправить таким же образом, как описано выше. Мое успешное чтение.таблица выглядит так:
цель <- прочитать.таблица("у системы TARGET2.тхт-то", Заполнение=истина, заголовок=true, то цитата=" не наша"=&сентября и"" Ну, кодировка="в кодировке UTF-8 и")
В результате испанский язык, символы и же димс я изначально, поэтому я'м назвав его успехов! Спасибо всем!
В разделе Помощь Р, как указывалось выше, просто отключив полностью цитировать, просто добавив:
quote = ""
для чтения.КШМ() работал для меня.
По ошибке "ВФ в кавычки на", произошло с:
> iproscan.53A.neg = read.csv("interproscan.53A.neg.n.csv",
+ colClasses=c(pb.id = "character",
+ genLoc = "character",
+ icode = "character",
+ length = "character",
+ proteinDB = "character",
+ protein.id = "character",
+ prot.desc = "character",
+ start = "character",
+ end = "character",
+ evalue = "character",
+ tchar = "character",
+ date = "character",
+ ipro.id = "character",
+ prot.name = "character",
+ go.cat = "character",
+ reactome.id= "character"),
+ as.is=T,header=F)
Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
EOF within quoted string
> dim(iproscan.53A.neg)
[1] 69383 16
И файл читается в отсутствует 6,619 линии. Но при отключении цитировать
> iproscan.53A.neg = read.csv("interproscan.53A.neg.n.csv",
+ colClasses=c(pb.id = "character",
+ genLoc = "character",
+ icode = "character",
+ length = "character",
+ proteinDB = "character",
+ protein.id = "character",
+ prot.desc = "character",
+ start = "character",
+ end = "character",
+ evalue = "character",
+ tchar = "character",
+ date = "character",
+ ipro.id = "character",
+ prot.name = "character",
+ go.cat = "character",
+ reactome.id= "character"),
+ as.is=T,header=F,**quote=""**)
>
> dim(iproscan.53A.neg)
[1] 76002 16
Работал без ошибок и все линии были успешно прочитаны.
Я тоже столкнулся с этой проблемой, и смог обойти подобную ошибку ВФ с помощью:
read.table("....csv", sep=",", ...)
Обратите внимание, что параметр сепаратора определяется в рамках более общего чтения.таблица()`.
На самом деле, используя прочитанное.КШМ()для чтения файла с текстового контента-это не очень хорошая идея, отключить цитата как
цитата=" и"` в-это лишь временное решение, он работал только с отдельными кавычки. Есть и другие причины, приведет в предупреждения, таких как некоторые специальные символы.
Постоянного решения(с помощью чтения.КШМ()`), выяснив, что те специальные символы и использовать регулярное выражение, чтобы устранить их-это идея.
Вы когда-нибудь задумывались о установке{данные пакета.таблица}
и использовать fread операционной (), чтобы прочитать файл. это гораздо быстрее и не будет беспокоить вас с этим предупреждением ВФ. Обратите внимание, что файл он загружает он будет храниться в виде данных.объект таблицы, а не данных.объект в кадре. Данные класса.таблица имеет много хороших функций, но в любом случае, вы можете преобразовать его, используя в качестве.данных.рамка()
при необходимости.
У меня была похожая проблема: ВФ -предупреждение и только часть данных загружается с прочитать.КШМ(). Я попробовал цитаты=" в", но он только снял ВФ -предупреждение.
Но, глядя на первую строку, что не было загрузки, я обнаружил, что существует специальный характер, → стрелка (шестнадцатеричное значение 0x1A) в одну из ячеек. После удаления стрелок у меня есть данные, чтобы нормально загрузить.
У меня тоже была аналогичная проблема. Но в моем случае, причиной проблемы была обусловлена наличием в апострофы (т. е. одинарные кавычки) в некоторых текстовых значений. Это особенно часто при работе с данными, включая тексты на французском языке, например, «Л'другой жур».
Итак, решение было просто отрегулировать настройки по умолчанию цитата аргумент, чтобы исключить «'» символ, и таким образом, используя цитата = " и\" и" по (т. е. двойная кавычка только), все работало нормально.
Я надеюсь, что смогу помочь некоторым из вас. Ура.