http://www.parser.ru/forum/ Parser 3. Обсуждение. Parser 3.4.1 (compiled on amd64-unknown-freebsd8.2) (http://www.parser.ru/) mailbox@parser.ru Thu, 17 May 2012 02:23:01 GMT http://blogs.law.harvard.edu/tech/rss Подскажите в какую сторону копать, чтобы понять кто виновен. Если трейсить, то как это лучше сделать? libapache2-mod-parser3 ставил из sid ветки debian, даже пересобирал его локально на виртуальной машине. Т.к. у готовых пакетов зависимости ушли далеко вперед. Полученные зависимости libc6 (>= 2.3), libgc1c2 (>= 1:6.8-1.1), libgcc1 (>= 1:4.1.1), libstdc++6 (>= 4.2.1), libxml2 (>= 2.7.4), libxslt1.1 (>= 1.1.25), parser3-common (=3.4.1-4). Пока выхожу из ситуации, что пхп работает как cgi там где нужен xsl, но сегодня при попытке зайти в модуль cmsms Gallery, апач упал совсем больно. *** glibc detected *** /usr/sbin/apache2: free(): invalid pointer: 0xb8c159d8 *** В общем хочу найти где они пересекаются, да полечить или хотя бы спросить как можно полечить. maxrip@gmail.com Thu, 17 May 2012 02:23:01 GMT http://www.parser.ru/forum/?id=76872 http://www.parser.ru/forum/?id=76872 Для преобразования из строки в число используется библиотечная функция strtol, а число C27EE5F5 больше, чем допускает long на 32-х битных системах (но проходит в unsigned long). "Много единичек" получаются не только под Windows, но и под 32-х битной Linux версией. Так что в данном случае ошибки нет. Другое дело, что если в парсере обрабатывать - самим, то можно будет использовать strtoul, и тогда ваше число "пролезет". Наверное мы так и сделаем к следующей версии. А какая у вас задача? Не нужно ли вам на самом деле ^inet:ntoa(0xC27EE5F5)? Thu, 17 May 2012 00:25:54 GMT http://www.parser.ru/forum/?id=76871 http://www.parser.ru/forum/?id=76871 ОС: Windows XP SP2 Parser: Parser/3.4.1 (compiled on i386-pc-win32) Есть папка cgi-bin/* и index.html (кодировка UTF8-DOS): <code>######################################## @main[] $result[^math:convert[C27EE5F5](16;2)]</code> Запускаю из командной строки index.html и получаю 1111111111111111111111111111111, а калькулятор выдает 11000010011111101110010111110101. Если запустить index.html в консоли парсером такой же версии, только под линукс, то выводится правильный результат. Как сделать, чтобы парсер под Windows выдавал правильный результат? Wed, 16 May 2012 13:07:29 GMT http://www.parser.ru/forum/?id=76870 http://www.parser.ru/forum/?id=76870 После внесения изменений по предложенным вариантам парсерный скрипт успешно обработал файл 211 мб без ошибок, хотя раньше отваливался на фале 190-200 мб. Всем спасибо за советы. Wed, 16 May 2012 11:28:49 GMT http://www.parser.ru/forum/?id=76869 http://www.parser.ru/forum/?id=76869 Wed, 16 May 2012 09:41:16 GMT http://www.parser.ru/forum/?id=76868 http://www.parser.ru/forum/?id=76868 но я бы не стал грузить миллион записей в живую таблицу в рамках одной транзакции (а кто знает, сколько ещё всего надо загрузить в сопутствующие таблицы). что commit что rollback будут для сервера очень рессурсоёмкими. Wed, 16 May 2012 01:50:30 GMT http://www.parser.ru/forum/?id=76867 http://www.parser.ru/forum/?id=76867 Полностью согласен — иннодб наиболее качественный и производительный движок для мускуля, тем более, что разработчики СУБД считают его основным. Тем не менее для временных таблиц часто эффективнее использовать майисам, особенно если данных очень много и нет суррогатных ключей. :) oleg@volchkov.net Tue, 15 May 2012 16:33:46 GMT http://www.parser.ru/forum/?id=76866 http://www.parser.ru/forum/?id=76866 [quote]при этом живая БД не будет долгое время находится в непотребном состоянии из-за длительного её апдейта.[/quote] Ты не первый раз на этом акцент делаешь. :) Хотя innodb и транзакционность никто не отменял, мы для подобных задач активно этим пользуемся. А с тех пор, как появилась опция innodb_file_per_table, мы стали использовать innodb еще активнее. :) moko@design.ru Tue, 15 May 2012 16:28:33 GMT http://www.parser.ru/forum/?id=76865 http://www.parser.ru/forum/?id=76865 [quote]Рабочие скрипты должны взять информацию из удаленного источника, распарсить, сравнить результаты с тем, что в базе[/quote] вот сравнение с тем, что есть в БД, лучше делать средствами БД. Олег предлагает правильный вариант: 1. простой скрипт, который просто готовит данные к загрузки во временные таблицы/БД 2. быстрая загрузка 3. проверки/слияния с использованием SQL запросов. не будет никаких "бесконечных" циклов и огромного количества SQL запросов (как на чтение так и на запись). при этом живая БД не будет долгое время находится в непотребном состоянии из-за длительного её апдейта. и процесс можно будет прерывать в любой момент на 1 и 2 шаге. Tue, 15 May 2012 15:05:59 GMT http://www.parser.ru/forum/?id=76864 http://www.parser.ru/forum/?id=76864 Получите, распарсите данные внешними скриптами, положите в базу (во временную таблицу) через load data или sql-выражения (разбиение на несколько частей и объединение их через конвеер даст еще и существенный рост производительности, поскольку задачи будут разбиты на несколько процессов). А потом спокойно обработайте в Парсере или в самой БД. И архитектура станет гибче и скорость увеличится в разы. oleg@volchkov.net Tue, 15 May 2012 13:03:25 GMT http://www.parser.ru/forum/?id=76863 http://www.parser.ru/forum/?id=76863 Не все так просто. Рабочие скрипты должны взять информацию из удаленного источника, распарсить, сравнить результаты с тем, что в базе, и только потом уже при разных условиях для разных данных сделать какие-либо действия, например, записать результаты в базу. Вряд ли это можно сделать через ini-файл. Tue, 15 May 2012 12:54:35 GMT http://www.parser.ru/forum/?id=76862 http://www.parser.ru/forum/?id=76862 ...подготовьте с помощью замен в вашем любимом редакторе данные для загрузки с помощью load data infile и попробуйте их загрузить. засеките время (если ваш sql клиент вдруг не показывает время выполнения операции). желание делать иначе с большой долей вероятности отпадёт само собой. Tue, 15 May 2012 12:50:16 GMT http://www.parser.ru/forum/?id=76861 http://www.parser.ru/forum/?id=76861 Спасибо, буду думать. Tue, 15 May 2012 12:44:05 GMT http://www.parser.ru/forum/?id=76860 http://www.parser.ru/forum/?id=76860 систематического import-а многомегабайтных файлов быть не должно, т.к. это достаточно долго при любой реализации. самая быстрая известная мне процедура import-а: прямая загрузка данных в БД с помощью load data [local] infile. существенно быстрее любой другой, опробованной мной. важный момент: во время import-а данных посетители могут видеть на сайте (мы-же про сайты говорим?) полную фигню, т.е. ускорить процедуру import-а данных настолько, насколько это вообще возможно -- важно. исключение -- первичная разовая загрузка данных, но и то, если речь идёт о нескольких часах загрузки, я лучше на perl напишу подготовку данных и проведу загрузку за 5 минут (я ведь знаю, что потом пришлют "подправленные" данные и загрузку надо будет повторить, причем возможно не раз). если речь идёт о <2 MB входных данных, я тоже буду писать import на парсере (мне так привычнее и быстрее). если речь идёт о 20+ MB входных данных, я на парсере import даже не начну писать, т.к. это просто потеря времени. если в промежутке -- возможны варианты. я посмотрю что за данные, что с ними надо сделать, как часто мне придётся их грузить и т.д. но ваш случай, с моей колокольни -- это однозначно НЕ парсер: слишком много МБ, слишком много строк, слишком сложный процессинг каждой строки. Tue, 15 May 2012 12:39:30 GMT http://www.parser.ru/forum/?id=76859 http://www.parser.ru/forum/?id=76859 maxrip@gmail.com Tue, 15 May 2012 11:40:24 GMT http://www.parser.ru/forum/?id=76858 http://www.parser.ru/forum/?id=76858 Меня интересуют возможности парсера в работе с большии объемами данных, т.к. приходится на сайте писать импорт данных именно на парсере. Каждый новый скрипт писать на перле или другом языке займет много времени, которого немного на решение поставленной задачи. Скрипты импорта уже есть, написаны на парсере, советы по данной задаче использую для оптимизации уже имеющихся скриптов и написания новых. Спасибо за советы. Tue, 15 May 2012 09:46:10 GMT http://www.parser.ru/forum/?id=76857 http://www.parser.ru/forum/?id=76857 мне кажется, что данную задачу вы с помощью парсера не решите. используйте другой инструмент (например perl), это нормальная практика. Tue, 15 May 2012 03:20:23 GMT http://www.parser.ru/forum/?id=76856 http://www.parser.ru/forum/?id=76856 [quote]Что в вашем понимании "кусочное сохранение"?[/quote] Мне казалось, достаточно подробно написал здесь: http://www.parser.ru/forum/?id=76816 > Есть какой-нибудь способ передавать любую переменную по ссылке? Повторюсь, преобразуйте параметры в хеш, и будет вам счастье. <code>$params[ $.p1[value1] $.p2[value2]] ^method[$params] $params.p1 - выведет "value1 modified" @method[params] $params.p1[value1 modified] </code> Mon, 14 May 2012 23:10:13 GMT http://www.parser.ru/forum/?id=76855 http://www.parser.ru/forum/?id=76855 ... То лучше не парится и добить в сервер еще 32 гига оперативы и памяти хватит наверняка. sumo@proc.ru Mon, 14 May 2012 22:29:35 GMT http://www.parser.ru/forum/?id=76854 http://www.parser.ru/forum/?id=76854 [quote]Зачем для обработки части данных копировать данные из таблицы? Сделали кусочное сохранение рузультата? Если да, то с какой скоростью обрабатываются данные?[/quote] Если обрабатывать данные исходной таблицы в цикле, то скрипт вылетает из-за переполнения. Что в вашем понимании "кусочное сохранение"? [quote]Если hData это хеш, то он и так передается по ссылке. Если sData это строка, она передается по значению. Можно передавать $.value[Data], тогда это будет тоже хеш.[/quote] В методы могут передаваться числа, строки, таблицы, хеши и т.д. Есть какой-нибудь способ передавать любую переменную по ссылке? В некоторых языках для этого используют спецсимволы. Mon, 14 May 2012 19:58:13 GMT http://www.parser.ru/forum/?id=76853 http://www.parser.ru/forum/?id=76853 [quote]Получившуюся таблицу на 1393105 строк не получается сохранить в файл через ^tData.save[tData.txt], не хватает памяти.[/quote] А зачем, ведь не она является результатом? [quote]Попробовал сделать по-другому: [/quote] Зачем для обработки части данных копировать данные из таблицы? Сделали кусочное сохранение рузультата? Если да, то с какой скоростью обрабатываются данные? [quote]^process, сильно ли это грузит[/quote] Да. [quote]Есть метод @m1[hData;sData][/quote] Если hData это хеш, то он и так передается по ссылке. Если sData это строка, она передается по значению. Можно передавать $.value[Data], тогда это будет тоже хеш. moko@design.ru Mon, 14 May 2012 19:29:31 GMT http://www.parser.ru/forum/?id=76852 http://www.parser.ru/forum/?id=76852 Вернемся к обсуждению. Получившуюся таблицу на 1393105 строк не получается сохранить в файл через ^tData.save[tData.txt], не хватает памяти. Попробовал сделать по-другому: <code>$iTemp(^math:ceiling(^tData.count[]/250000)) ^for[iNum](1;$iTemp){ $tTemp[^table::create[$tData; $.offset(($iNum-1)*250000) $.limit(250000) ]] ^processData[$tTemp] }</code> В итоге не дождался результата и вырубил скрипт, прошло почти 2 часа. Вопросы: 1. Есть ли смысл в таком подходе, ведь создание таблицы на основе существующей должно приводить к ее проркутке и вырезанию по указанным параметрам? 2. В методе @processData[] есть вызов в цикле ^process{^^${sMethod}^[$sData^]}, сильно ли это грузит, стоит ли отказаться в пользу вызова конкретного метода (^m1[$a1])? 3. Есть метод @m1[hData;sData]. Как сделать так, чтобы при изменении параметров (hData и sData) внутри этого метода эти переменные менялись после вызова метода? Mon, 14 May 2012 18:07:09 GMT http://www.parser.ru/forum/?id=76851 http://www.parser.ru/forum/?id=76851 Поиграл с чарсетами и колэйшенами, экспорт-иморт и победа) Спасибо! Sun, 13 May 2012 16:13:00 GMT http://www.parser.ru/forum/?id=76850 http://www.parser.ru/forum/?id=76850 Поэтому может это то, чем вы пытаетесь эти данные смотреть, не поддерживает UTF-8? :) Безотносительно: то, как парсер работает с базой зависит от кодировки парсерных файлов на диске ($REQUEST:CHARSET) и опций подключения к mysql. Все это задается в cgi/auto.p Sat, 12 May 2012 21:57:16 GMT http://www.parser.ru/forum/?id=76849 http://www.parser.ru/forum/?id=76849 В прошлом сообщение символы не запостились правильно. http://postimage.org/image/mljoezn3p/ Sat, 12 May 2012 21:14:45 GMT http://www.parser.ru/forum/?id=76848 http://www.parser.ru/forum/?id=76848 Приветствую, Встала задача переделать сайт, написанный на parser3. Основная проблема в кодировке данных в базе — хранится в какой-то битой кодировке. Русские символы в базе выглядят примерно так: <code>&#208;&#157;&#208;&#190;&#209;‡&#209;&#338;&#209;&#381; &#208;&#178;&#209;‹&#208;&#191;&#208;°&#208;</code> При этом на сайте отображаются вполне нормально. С парсером сам не работал, помогите раскукожить данные обратно, пожалуйста =) Кодировка таблиц utf8. MySQL server variables: ------------------------ character_set_client = utf8 character_set_connection = utf8 character_set_database = utf8 character_set_results = utf8 character_set_server = latin1 character_set_system = utf8 collation_connection = utf8_general_ci collation_database = utf8_unicode_ci collation_server = latin1_swedish_ci ------------------------ Sat, 12 May 2012 21:07:45 GMT http://www.parser.ru/forum/?id=76847 http://www.parser.ru/forum/?id=76847 За P.P.S. спасибо.:) Sat, 12 May 2012 09:36:18 GMT http://www.parser.ru/forum/?id=76846 http://www.parser.ru/forum/?id=76846 Не вариант, т.к. на запускаемом компьютере может не быть базы данных. Sat, 12 May 2012 09:35:36 GMT http://www.parser.ru/forum/?id=76845 http://www.parser.ru/forum/?id=76845 Есть скрипт, который обрабатывает файлы в каталоге. Скрипт запускается на разных компьютерах, файлы могут быть любые, обрабатывать надо все, при этом исходные файлы должны остаться неизменными. Sat, 12 May 2012 09:31:48 GMT http://www.parser.ru/forum/?id=76844 http://www.parser.ru/forum/?id=76844 Sat, 12 May 2012 09:12:12 GMT http://www.parser.ru/forum/?id=76843 http://www.parser.ru/forum/?id=76843 <b>file-spec</b> [quote]символы * ? " < > | преобразуются в "_XX", где XX - код символа в шестнадцатеричной форме[/quote] вы не можете парсером обрабатывать файлы с такими символами в их именах. P.S. что в этом списке делает символ я не знаю, возможно он используется по аналогии с кавычками. в любом случа на *nix по моему можно разрешить эти символы путём корректного \-эскейпинга. P.P.S. мы подумаем, что с этим можно сделать :) Sat, 12 May 2012 01:47:56 GMT http://www.parser.ru/forum/?id=76842 http://www.parser.ru/forum/?id=76842 возможно, это глюк парсера, да. Но их ведь кто-то загружает туда? можно на этом этапе изменить имя файла. mryasov@gmail.com Sat, 12 May 2012 01:33:15 GMT http://www.parser.ru/forum/?id=76841 http://www.parser.ru/forum/?id=76841 Скрипт не знает, какие имена у файлов, обрабатывает все по расширению в каталоге. Sat, 12 May 2012 01:04:37 GMT http://www.parser.ru/forum/?id=76840 http://www.parser.ru/forum/?id=76840 mryasov@gmail.com Sat, 12 May 2012 00:20:22 GMT http://www.parser.ru/forum/?id=76839 http://www.parser.ru/forum/?id=76839 Здравствуйте. Создал файл 12.txt, написал код: <code> $tFiles[^file:list[;^^1.*?\.txt]] $fFile[^file::load[binary;^taint[file-spec][$tFiles.name]]]</code> Пробовал различные варианты подстановки имени файла: 1. taint, untaint и apply-taint. 2. Заменял апостроф на его код согласно ^taint[file-spec]. 3. Вписывал вручную различные варианты имени. Всегда получаю ошибку об отсутствии файла. Проверку -f "..." тоже не проходит. Как решить данную проблему? Fri, 11 May 2012 17:31:34 GMT http://www.parser.ru/forum/?id=76838 http://www.parser.ru/forum/?id=76838 Дело не в контроле версий, а в возможности компилить, которая есть только дома, а править и тестировать надо дома и на работе. Насчет работы с двоичными файлами: не раз доводилось делать импорт данных из экселя, но с экселем парсер не работает, а в .csv/.txt народ путается с разделителями в разных версиях. Наверняка есть и другие примеры, когда понадобится работа с бинарниками для сайта. Fri, 11 May 2012 14:19:57 GMT http://www.parser.ru/forum/?id=76837 http://www.parser.ru/forum/?id=76837 Возможно, но для правки из разных мест парсер удобнее. В процессе написания и правки скриптов нахожу что-то новое, что использую в работе. Fri, 11 May 2012 14:14:11 GMT http://www.parser.ru/forum/?id=76836 http://www.parser.ru/forum/?id=76836 ... с помощью систем контроля версий. Что касается поддержки бинарных данных, то у Парсера концептуально нет работы с байтиками и, надеюсь, никогда и не появится. А для бинарных данных есть языки общего назначения. oleg@volchkov.net Fri, 11 May 2012 14:13:06 GMT http://www.parser.ru/forum/?id=76835 http://www.parser.ru/forum/?id=76835 maxrip@gmail.com Fri, 11 May 2012 14:06:02 GMT http://www.parser.ru/forum/?id=76834 http://www.parser.ru/forum/?id=76834 Сделайте внешний инструмент, который разберет данные за вас. Все таки Парсер, не для таких целей. Да на нем можно сделать, но и чистой регуляркой можно решать какие-то математические задачи. И они будут работать, но вот эффективность у них будет нулевая. maxrip@gmail.com Fri, 11 May 2012 14:04:58 GMT http://www.parser.ru/forum/?id=76833 http://www.parser.ru/forum/?id=76833 Код приходится часто менять как дома, так и на работе, поэтому компил не подходит. Скрипт должен найти заголовки, определить длины различных данных и только после этого разобрать и переконвертить. Надеюсь, что парсер когда-нибудь сможет работать с двоичными данными.:) Все равно спасибо за совет. Fri, 11 May 2012 13:26:46 GMT http://www.parser.ru/forum/?id=76832 http://www.parser.ru/forum/?id=76832 ... и напишите простейшую программу, которая читает типизированный (file of record) файл и выдает на консоль записи в текстовом виде. Только не забудьте про выравнивание байтов в записях — FreePascal поддерживает различные варианты PackRecords. Фактически получите команду cat, но для вашего типа данных, что будет полезно при всяческой отладке. :) p.s. И с переносимостью особых проблем не будет — соберете бинарничек и будете его передавать вместе с Парсером. oleg@volchkov.net Fri, 11 May 2012 13:17:35 GMT http://www.parser.ru/forum/?id=76831 http://www.parser.ru/forum/?id=76831 Раньше писал на Basic, QBasic, Visual Basis, Delphi (немного), но с двоичными файлами не работал, да и на этих языках уже давно не пишу. Данные из хекса стал доставать сначала вручную, смотря в кодировку файла в Total Commander, потом уже написал функцию для получения данных разных типов. Дома и на работе из общих языков программирования есть только парсер, поэтому можно править скрипт из разных мест. Fri, 11 May 2012 13:08:40 GMT http://www.parser.ru/forum/?id=76830 http://www.parser.ru/forum/?id=76830 Знание про двоичные и данные и hex у вас появились явно не при изучении парсера, значит какой то язык программирования вы наверно изучали раньше. Может написать скрипт на нём? Fri, 11 May 2012 12:53:13 GMT http://www.parser.ru/forum/?id=76829 http://www.parser.ru/forum/?id=76829 Если бы я знал какой-нибудь питон и т.д.:) Т.к. по работе пишу все на парсере, то и скрипт получения данных написал тоже на нем. Кроме того, скрипт должен работать еще у пары человек, поэтому просто загоняю в архив cgi-bin/* и рабочие файлы - работает. Fri, 11 May 2012 12:40:08 GMT http://www.parser.ru/forum/?id=76828 http://www.parser.ru/forum/?id=76828 ... на каком-нибудь Питоне, который возьмет двоичные данные и сформирует из них CSV-строки. Потом их можно будет обработать Парсером или просто положить в СУБД, а там уже делать любую обработку с выборками. Работать это будет и быстрее и надежнее. oleg@volchkov.net Fri, 11 May 2012 12:33:11 GMT http://www.parser.ru/forum/?id=76827 http://www.parser.ru/forum/?id=76827 Есть двоичный файл с последовательностью пакетов. Т.к. парсер не умеет работать с двоичными файлами, я перевожу исходник в хекс-вид, после чего регуляркой выдираю пакеты и получаю из них данные. В регулярке забегание осталось от моего шаблона, т.к. в моем случае подряд могут идти несколько пакетов одного типа. Если не исключать заголовок, то последующий пакет не будет обработан. По тем же причинам нельзя залить данные в базе, т.к. сначала надо получить сами пакеты, в которых минимальный размер данных - 2 символа. Если бы парсер работал с двоичными файлами, то все было бы намного проще, но увы, поэтому приходится переводить файл в хекс-вид, затем разбирать данные и получать из хекса integer, string и single. Fri, 11 May 2012 11:52:36 GMT http://www.parser.ru/forum/?id=76826 http://www.parser.ru/forum/?id=76826 я имел ввиду все же кусок реальных данных и более одного паттерна точно. По вашему примеру кстати не понятно зачем вы в регулярке забегание вперед используете, так: <code>$tData[^sText.match[START(.+?)END][g]]</code> тоже должно работать (и работать быстрее). Но основная мысль в том, что наверняка у ваших данных есть какие то разделители (в данном случае START и END), т.е. данные структурированы. Тогда их лучше загрузить в базу данных, приблизительно так (что произойдет очень быстро) <code>LOAD DATA INFILE filename INTO TABLE table LINES STARTING BY START TERMINATED BY END</code> и уже с этой таблицей работать Fri, 11 May 2012 11:32:51 GMT http://www.parser.ru/forum/?id=76825 http://www.parser.ru/forum/?id=76825 Код в нескольких файлах, т.к. обрабатываю сразу каталог файлов и добываю разные данные. Вот простой пример: <code>$sText[START1234567890END] $tData[^sText.match[START((?!END).+?)END][g]] ^tData.menu{ ... ^if(^tData.line[] % 1000==0){ ^memory:compact[] } }</code> Thu, 10 May 2012 16:49:28 GMT http://www.parser.ru/forum/?id=76823 http://www.parser.ru/forum/?id=76823 Thu, 10 May 2012 16:17:53 GMT http://www.parser.ru/forum/?id=76822 http://www.parser.ru/forum/?id=76822